毗連港督山頂別墅的山頂花園一直都是市民郊遊的好去處，每逢重陽節更會吸引大批華人到此登高。入住山頂別墅，你的鄰居便會有猶太裔富商庇理羅士，1890年他在山頂別墅旁建了私人別墅The Eyrie，並以駱駝為往返山頂的交通工具，他後來又在對面山頂公園小山頭上捐建一座西式石亭，供市民享用。庇理羅士是匯豐銀行的大股東之一，更於1880年在中環建成了香港首座多層購物商場柏拱行，絕對是一位值得結交的好鄰居！

1934年港府於新界粉嶺興建莊園式的港督別墅，山頂別墅漸被棄置，日佔時更受到嚴重破壞。1946年香港重光後港府索性把它拆卸，只剩下幾十米外的守衛室，及別墅的基座和石牆，後來改建為山頂公園。