1970年代中期市政局為整頓油麻地市容，認為大牌檔有礙衛生和觀瞻，在區內設置數個集中營(即熟食市場)，安排散佈街道上的大牌檔遷入；若牌主拒絕遷入，由政府收回牌照，並賠償六萬元。最早的集中營在佐治五世公園側閔街的市政大廈，隨後砵蘭街、廟街和新填地街分別設置集中營。楊家在1970年代中淡出大牌檔生意，發記、楊財發和麗香園命運各異。當年發記牌主向源哥父母收回牌照，向政府申領賠償金。母親是楊財發的牌主， 1975年母親將牌照出租，1995年母親逝世，牌照由父親承繼，2000年父親離世，轉由源哥妹妹承繼。1975年8月麗香園牌主向源哥收回牌照，易名為「良記」，遷入廟街集中營(即永安公司後面)繼續經營。「麗香園」結業後，做過的士司機、郵政局臨時工等，1976年3月在新填地街買入舖位，開設麗香園冰廳，重操飲食業生意至今。