李炳森幼時家住彌敦道484號，是一座三層高的石屎樓，每層樓佔地約1000至2000呎。他所住的單位以屏風分隔成4至6間房，因單位間格常變，房間數目不固定。騎樓、走廊及廚房內的雜物房亦有住戶，天台同時加建木搭房間。單位騎樓約有200至300呎，供兩伙入住。大廈天台與鄰座的天台相通，是李炳森兒時追逐玩耍的地方。永星里一帶是住宅樓宇，沒有店舖及工廠，李炳森小學時家中從山寨廠接過一些加工小作業，例如造膠花、翻棉紗袋、駁電線、包裝等手藝，他亦幫忙工作。