等船埋岸時，工人玩啤牌、打麻雀，一見到船旗飄揚便立即大喊：「埋頭！」旋即開始工作。起貨到碼頭的工人要伺候船埋岸便立即起貨，最辛苦是起「直水」，即直接從出產地來貨的大船，多是荔枝及蕉，起貨量大、時間長，要以人力把貨物從樓下的船倉拋上船面，即使汗流浹背也不能休息。行規規定十間大欄分三組人，輪流優先起貨，優先的可從船面起貨，運送過程較輕鬆；隨後的工人要搬運倉底貨，像打籃球般將荔枝等貨物逐籮逐籮拋擲給拍擋，然後再搬上碼頭。李杰輝因當年年輕，經常負責落倉底搬運沉重的貨物，例如草菇七、八十斤一個木箱。從碼頭運貨回果欄那組工人，要待上一組的苦力將貨從輪船搬到碼頭才搬入果欄，有時工作晚了，若下組工人早已計劃往看電影，會拜託李杰輝幫忙將貨直接搬入果欄，李杰輝都會應允。