近年衙前圍面臨清拆和重建，村的變化很大，吳耀輝每次回來感慨良多，村屋一間接一間清拆，村內已沒有相熟的人。他最不捨的是昔日的人情味，跟叔伯、阿姑、阿姨一同生活很舒服，但隨着自己年紀漸長，便覺得環境越來越不方便，例如不能像小孩般隨處小便，打風落雨時又怕塌屋，但總體而言未算很不捨。他同意政府的保育計劃，令下一代有機會知道圍村面貌，他家族的其中一間祖屋獲保留，日後改造成博物館之類。