衙前圍的圍門有多條石橋櫈，午飯後不少阿婆聚集講是非，或在石櫈上午睡。吳瑞權祖母疼愛他，不准他到處跑，攬住他在石櫈上睡覺。吳展鴻祖母經常向他抱怨，說他們兩婆孫霸佔石櫈。吳瑞權小時不喜歡讀書，放學便放低書包出去玩，只臨急抱佛急温習。母親不管促他讀書，祖母只叮囑他不要弄傷，只要父親嚴厲監督。每晚8點父親問他當天上課內容，答不出便用籐條鞭打，直至11點才放他睡覺，祖母有時從樓上落來勸說: 「畀佢瞓覺，唔好讀囉！」瑞權是家中長子，父親對他特別厲格。