吳氏宗祠原位於5604地段，佔地約9千呎(21分地)，祠堂同時用作辦學，約1960年政府徵收地段，村中長老吳渭池(同時是海員工會主席)和吳華友(曾參加過長征的紅軍)反對拆祠堂，兩人向廣東省省長陳郁申訴，經中英兩國輾轉交涉後，英政府同意換地和重建宗祠，新地段大部份用作辦學(後成立至德公立學校)，惠及週邊的適齡學童，學校由吳氏族人與教育司署合辦，後者負責辦學經費。當年換地的契約是英文，其中有條款規定學校地段只准辦學，吳氏先輩不諳英文，不虞有詐而簽契。2008年政府殺校，要求收回校地，但隻字不提賠償，吳展鴻認為此乃強搶民地。近年有東頭邨居民向區議員反映，謂衙前圍重建成住宅大廈後，將形成遮擋風水的屏風樓，吳展鴻反駁此說，他謂衙前圍立村300年，昔日方圓兩公里是吳、陳、李三姓的田地，因先輩無私奉獻土地，七層大廈等公共房屋才得以落成，村民尚未投訴公屋遮擋圍村的風水，認為屋邨居民的投訴是分不清「莊」、「閒」之表現。