1919年5月4日下午,浩浩荡荡的游行队伍在东交民巷前受阻,外国巡捕和中国警察以安全为由拒绝他们入内。这更加激发了群众(学生和中途加入的市民)对本国政府外交孱弱的不满,他们开始高呼“到外交部去”,“到卖国贼家去”,于是整个队伍开始转向。
这与游行组织者的初衷是不相合的。“当主席团在天安门前开露天大会决定游行程序时,只说先到总统府要求拒绝在巴黎和约上签字,并惩办曹、陆、章三卖国贼,再到东交民巷英、美、法、意等公使馆,表示外交的声势,并没有决议要到曹、陆、章的住宅去的。”(周予同《五四回忆片断》)而且,北京大学学生领袖傅斯年和段锡朋早就策划好,要使示威成为“有纪律的抗议”,现在岂能任它酿成暴力的风潮?所以大会主席团成员兼游行总指挥傅斯年立刻站出来,劝同学们不要去,但他根本控制不住当时那种喧闹冲动的形势。
下午4点半左右,游行队伍来到即将被他们烧毁的赵家楼。直到这时,因为傅斯年等人的维持,群众还没有真正失去控制。据外国报纸报道:“学生们排着整齐的队伍来到曹汝霖的住宅,很配称作文明国家的学生。”(《字林西报周刊》1919年5月10日)他们要求曹汝霖出来解释与日本签订秘密协定的原因。但驻守在曹宅门前的警察和宪兵毫不理会,并试图强迫游行队伍退走。人们被激怒了,纷纷将手中的小旗和石头抛入院内,接着就有人翻过院墙(据说其中有傅斯年的弟弟傅斯严),打开了大门。愤怒的群众冲了进去,这次游行的性质彻底变了。
这也可以看做是傅斯年对学生运动看法的一个转折点。新潮社中诸人,往往都有一个从激进主义者向保守主义者过渡的历程,傅斯年也不例外。他在1919年《新潮》创刊号上发表过《社会革命——俄国式革命》,对“俄国式革命”表示乐观:“我认为这是现代应当有的事,将来无穷的希望都要靠着他做引子。”并且肯定地指出:“吾则谓俄之兼并世界,将不在土地国权而在思想也”,“俄国式的革命——社会革命——要到处散布了!”