辅仁文社会员由於全为新式英文书院学生，当时都被街坊讥为「洋化」组织，而香港警察更时刻对他们加以警惕，以防该会生事。

1894年，孙先生在檀香山组织了革命党「兴中会」，次年回港设立兴中会总会，并与辅仁文社合并，由杨衢云出任会长，孙先生担任秘书。当时杨衢云辈份为革命中人之首，孙先生亦以「衢哥」尊称之。

下一站是中环结志街百子里，这里是被称为香港首个反清革命团体「辅仁文社」的诞生地。辅仁文社位於百子里一号二楼，於1892年由杨衢云丶谢缵泰丶黄咏商丶尢列等十多个接受西学的本地精英组成，会员多受聘於政府丶洋行或学校，由较年长的杨衢云担任社长。这个小型组织原先以开启民智为目的，以「尽心爱国」为座右铭，着重教育丶德育丶爱国及学术交流，以分享书籍和座谈形式联系，提倡中国改革，但後来它眼见满清实在无药可救，就渐渐演变成研究革命的组织。