毗连港督山顶别墅的山顶花园一直都是市民郊游的好去处，每逢重阳节更会吸引大批华人到此登高。入住山顶别墅，你的邻居便会有犹太裔富商庇理罗士，1890年他在山顶别墅旁建了私人别墅The Eyrie，并以骆驼为往返山顶的交通工具，他後来又在对面山顶公园小山头上捐建一座西式石亭，供市民享用。庇理罗士是汇丰银行的大股东之一，更於1880年在中环建成了香港首座多层购物商场柏拱行，绝对是一位值得结交的好邻居！

1934年港府於新界粉岭兴建庄园式的港督别墅，山顶别墅渐被弃置，日占时更受到严重破坏。1946年香港重光後港府索性把它拆卸，只剩下几十米外的守卫室，及别墅的基座和石墙，後来改建为山顶公园。