29日，北京政府下令通缉安福国会主要成员徐树铮、曾毓隽、段芝贵、丁士源、朱深、王郅隆、梁鸿志、姚震、李思浩、姚国桢等。8月3日，徐世昌下令解散安福俱乐部，不再承认安福系为政党，而以之为构乱机关，至于自己是安福系选出的总统一事则完全抛诸脑后。因为曹锟、吴佩孚和长江三督等直系将领对该处置的不满，徐世昌又在7日补发命令，通缉王揖唐、方枢、光云锦、康士铎、郑万瞻、臧荫松、张宣。不过，在通缉令发出的几日内，北京政府并没有抓到多少“祸首”，因为这些人要么逃到外省，要么就逃进了使馆区，日本公使馆更是直接收容了徐树铮、曾毓隽、段芝贵、丁士源、朱深、王郅隆、梁鸿志、姚震、姚国桢九人，对于北京政府的照会更是予以严词拒绝。
罪魁祸首徐树铮在日本兵营里躲了三个月，然后由日本在天津的驻屯军司令小野寺协助逃往上海，住进卢永祥部下师长陈乐山购置在英租界麦根路的洋房里。传说当时徐树铮化装成日本女人被装进一个柳条箱，由日本军官带上火车抵达天津，徐树铮在柳条箱内低哼着《关云长单刀赴会》安然离开北京。直到11月16日，日本公使小幡才照会北京外交部，说徐树铮早就从日本兵营离开，“金蝉脱壳”到了上海滩。直皖之战皖系兵败以后，大部分地区的皖系军阀均倒向直系，唯有卢永祥督军的上海和浙江安然无恙，随着徐树铮、段芝贵等先后逃到上海，这里俨然成了皖系的大本营。