1890年中區填海工程預留一塊皇后像廣場旁的臨海地段予香港會興建新會館，這班權貴和紳士於是建造了一座維多利亞文藝復興混合意大利式的四層高白色大樓，內設宏偉的入口大堂，設施包括有圖書館、酒窖、冷藏庫、酒吧、高級餐廳、會客室、宴會大廳、保齡球場、桌球室及多個豪華客房等等，1897年啟用。香港會到1970年代才開始接受非白人會員，各行各業精英和富豪雲集，是在香港交友和結識權貴的不二之選。

若果你們有興趣享受這座經典建築，就一定要趕緊於1980年代之前做個有錢人入會了，因為由於會館老化，保養成本高昂，1981年香港會在只有少數會員反對下拆掉富貴族氣派的舊會所，四年後建成今日所見的這座現代化會所大廈，到今日仍然有不少人認為是香港最失策的拆樓之作之一。今天仍以洋人為主的香港會只有約1400人有資格當會員！