吳世明從曾祖母身上聽聞九龍城的故事，曾祖母蘇氏是蘇屋村人，21歲時嫁給吳世明曾祖父，當年九龍城寨正在興建，築城的石頭來自延文禮士山(今九龍仔公園)，城寨的後山則沒有開採，留下來保護城圍。吳世明母親跟吳世明伯婆都姓陳，兩人十分相熟，伯婆從吳世明曾祖母聽了不少故事，又向吳世明母親詳盡講述，母親又將故事轉述給兒子。吳世明指出衙前圍的歷史比城寨久遠多了，他強調「衙前圍」的得名與城寨無關。衙前圍重建時原名「慶有餘」，嘉慶年間清朝在村的後面建立官署徵收糧餉，村民便稱此地為「官營」，新界鄉民出九龍時，看見「官營」這個衙門，便把前方的村稱為「衙前圍」。