1980年代中期吳肇基家族在衙前圍擁有3間屋。當年鄉長李富的朋友是開了一間地產公司，該公司有意收購衙前圍的村屋，由於他與李富相熟，願意開出特惠條件，業主賣屋後可免租留屋居住，直至衙前圍村清拆。肇基母親相信李富，認為開出的條件優厚，答應出售3間屋。李富和吳肇基兩家在1986年已賣屋，是最早跟地產商成交的村民，由於得到特惠條件，他們不願宣揚賣屋的事，亦不知道其他村民賣屋的情況。1990年母親因病離世，大姑媽不久亦離世。1995至1996年吳肇基二弟和三弟先後移民加拿大，臨行前4兄弟開會，一致認為已賣出的3間屋已無必要保留，決定將3間屋交吉，最終順利完成交易。