吳佛全從小跟南丫島的同房族人關係密切。吳翰高祖一房在南丫島大坪村有一條分支，族人受傳統文化影響，通過打醮和拜山認祖歸宗，維持跟衙前圍的關係。吳佛全與南丫島的族人同屬一房，他小時很頑皮和沙膽，1949至1951年在樂善堂學校讀書期間，放暑假他便獨自到南丫島玩樂，在大坪村留宿一晚，住過吳水根和吳有喜的大屋。有喜熱情招待他，不嫌他家貧窮，帶他到榕樹灣游水，又駛船出海捉魚給他吃，兩家的鄉情維繫至今。南丫島的族人有屋有船，在族中算是有錢人。