1941年6月余東璇病逝，幾個月後日軍侵港。十八天香港保衛戰期間，淺水灣不單為交火重災區，日軍更佔據淺水灣余園並在古堡內屠殺54名戰俘，成為一代「香港凶宅王」。這座堡壘後交由兒子余經緯打理，他熱衷電影又與利孝和及邵逸夫創辦電視廣播及華星娛樂，所以經常借出余園作拍攝電影之用，粒粒巨星經常出入，可謂星光熠熠耀余園！

不久，淺水灣余園一次又一次傳出放盤或重建的消息，市場訊息較為混亂，但不要緊，我跟業主相熟，可肯定告訴你1982年淺水灣酒店結業拆卸重建為高級服務式住宅影灣園後，余園亦隨後於1984年開始放售，最後拆卸重建為豪華屋苑「淺水灣道56號」，又名為「御苑」以紀念之。