我們估計孫先生逗留最久的其中一處，是他渡過五年大學生涯的香港西醫書院原址。 香港西醫書院便是1911年成立的香港大學前身，早期附設於荷李活道及鴨巴甸街交界的雅麗氏利濟醫院內，毗鄰道濟會堂。雅麗氏醫院是香港最早期的西醫院之一，以本地華人為服務對象，由一班華洋紳商及倫敦傳道會籌辦，當中以大律師兼醫生何啟最投入，他將英籍妻子的遺產捐作籌建醫院的全部經費，故此醫院以其妻雅麗氏命名。

醫院於1887年啟用，何啟等人認為培育華人西醫非常重要，於是得到港督支持，並請到當時的大清直隸總督李鴻章為榮譽贊助人，向各界籌款開辦附設於院內的西醫書院，同年開校，成為香港第一間專上學院。雅麗氏醫院設門診、外科、內科及眼科，可容納八十名病人，除醫院設施外，內設有西醫書院的課室、圖書館及學生宿舍。

1887年，在廣州博濟醫院習醫的孫先生得知香港西醫書院開校，考慮到新校的課程按英國醫學院學制訂立，及香港的學歷會具較好國際認受和接觸到更多元文化，於是便回港報讀，成為第一屆十二名學生之一，修讀五年後畢業。