吳世明在農村家庭長大，祖父有兩位妻子，正室姓袁，來自蠔涌的蠻窩村，生吳世明的伯父和父親，她在吳世明父親7歲時便去世；繼室是姓彭的粉嶺人，只生一名女兒。吳世明4歲時衙前圍村舉行打醮，祖父繼室背着他看木頭公仔戲。到他10、11歲時，父親間中帶他到粉嶺探望繼室的弟弟，吳世明最欣賞粉嶺村民所做的白糖餅，他們以耕種維生，曾向世明一家送贈蕃薯和芋頭之類的農作物。當年沙埔村民不論在衣著打扮或生活方式，跟新界鄉村都大同小異。