8月18日，蒋介石被迫同意红军主力改编为八路军。淞沪战事爆发后，南京、上海、杭州及长江下游地区形势不断恶化，中共中央又向国民党当局提出了统一整编南方各区红军游击队，开赴华中敌后抗战的建议。
八一三事变后，在全国人民强烈要求团结抗日的巨大压力之下，国民党终于同意将南方8省14个地区的红军游击队编成一个军开赴抗日前线。
此时的叶挺，重上战场的愿望更加强烈，他找到了正在上海指挥作战的陈诚，表明自己愿意参加改编南方各省的红军游击队，而且建议将这批游击队改编为国民革命军新编第四军，继承铁军的光荣传统，尽快开赴前线对日作战。
9月下旬，中共中央和八路军驻宁代表博古、叶剑英等，在南京同国民党代表何应钦、张冲等谈判，初议将南方8省的红军游击队改编为一个新的军，在南方举起抗日旗帜。
蒋介石迫于当时的战场形势，同时错误地估计了叶挺，以为叶挺能为其所用，在未征得中共中央同意的情况下，就急急忙忙地由国民政府军事委员会铨叙厅正式通报，任命叶挺为新编第四军军长。