吳瑞武屬於衙前圍吳氏二房，從小被長輩灌輸一些房的意識。吳氏分為四大房，共同追認吳成達祖為總太公，每年各房輪流主持祭祖。二房的成員只拜成達祖一位太公，不像第四房的人有多位太公。第四房人丁和物業最多，長房、二房和三房沒有物業。幼時吳瑞武聽聞有二房婦女發脾氣，抱怨謂「四房仔呃晒大佬錢」(編按: 四弟把3位兄長的財產全部吞掉)，意即十一世四兄弟中，三位哥哥長期出外謀生，幼弟在家看守祖業，管理物業買賣，父逝時3兄弟返家，已不清楚物業歸屬，悉數由幼子繼承，導致各房財產分配不均。吳瑞武只當作笑話看待，並無考究此說法。