吳志榮在清貧的大家庭成長。當年衙前圍有不少一夫多妻的家庭，例如吳志榮、吳志榮妹夫和江先生等，他們都有兩位母親和眾多兄弟姐妹。吳志榮的家人都不計較「正室」、「妾侍」的身份，只有姑媽視吳志榮的生母為正室。吳志榮童年家貧，家中成人都為餵飽眾多小孩而費心，沒有機會發生磨擦。吳志榮從不計較親疏，他投身工作後，將工資交給細媽調度，因她經常在家照顧小孩。