回顧楊家多年的飲食生意，源哥認為經營大牌檔尤如「賣身」，工作時間漫長而艱辛，缺乏休息和娛樂，更談不上私人時間和理想，經營者必須有毅力。1970年代初他打理麗香園時兼讀夜學，體力不勝負荷，在中午生意稍淡時伏桌而睡。麗香園在香港受颱風吹襲時仍照常營業，用麻繩從上而下紮緊檔口，那怕是八號、九號、十號風球，竟有不少熟客光顧，檔口生意興旺如常。雖然大牌檔工作艱辛，源哥仍有不少美好回憶。他最大滿足感來自麗香園咖啡檔，因經營有道，生意興旺，他將收入全數交父母，成為家中經濟支柱。父母仍經營發記和楊財發兩檔，初期生意不錯，無奈家中子弟眾多，後來父母年紀漸大，對生意力不從心，間中被伙記虧空公款，變得無利可圖。1975年麗香園牌主收回牌照，由其兒子打理。1976年源哥買入新填地街舖位，開設茶餐廳，依然取名「麗香園」，創業資金來自經營咖啡檔時的儲蓄，源哥為此感自豪。