擁有香港大酒店、太子行、皇后行、亞歷山大行等等頂級建築的遮打對住就當然要求過人，1869年遮打於半山干德道一號以全雲石興建一所巨宅，定名雲石堂。雲石堂以意大利入口雲石興建，全屋牆壁、支柱、樓梯皆為雲石打造，室內放滿各式私人珍藏藝術品，包括今日廣為人知的「遮打藏畫」系列；室外則興建了一個兩畝花園，栽種了各式熱帶植物，儼於一個私人的香港植物公園。不過，如此超豪華的雲石堂卻只是遮打其中一座府第而已，他大部份時間生活在比不上雲石堂般豪華的堅道及九龍大宅，至1925年才遷入雲石堂長居，但卻於次年逝世。

若閣下對雲石堂有興趣，就一定要趕於遮打在生時通知我跟他洽購，否則會後悔莫及！因為他是香港最闊綽的慈善家之一，認為自己的財富屬於香港社會，每每向政府及民間大手捐助，於是立下遺囑死後將雲石堂及「遮打藏品」等多項資產無條件送給香港政府。港府接收雲石堂後，於1935年安排作皇家海軍的軍官府第，二戰時這座豪宅受戰火破壞，最後於1953年拆卸，改成為一座平平無奇的政府宿舍，取命遮打堂。