1947年5月，党中央组建了新的中原局。这时，李先念想起了他的老战友郑维山，当时郑维山在晋察冀军区工作。李先念向中央军委提出建议，希望让郑维山跟随刘邓大军一起南下。中央批准了这个请求。
郑维山和李先念一样，早年都来自红四方面军。受家庭熏陶，他们从小接触革命理念，并替父辈给地下党传递消息。1927年黄麻起义爆发后，郑维山就参加了童子团。郑维山加入红军后，成为红一军副军长徐向前的通讯员，年仅18岁就升任红88师政委，是川陕地区赫赫有名的年轻将领。长征期间，他三次翻越雪山，三次穿越草地，两次带领部队与其他红军队伍成功会师。后来，他加入了西路军，在河西走廊经历惨烈战斗。部队失利后，他独自一人靠乞讨回到延安，随后进入抗日军政大学深造。
抗日战争开始后，郑维山被派往前线，前往晋察冀军区任职，但最初只是在军区的军政干校担任军事教官。随后，晋察冀军区成立了教导团，郑维山被任命为教导团的政治委员。由于团长唐延杰同时兼任军区副参谋长，教导团的日常事务主要由郑维山负责。没过多久，他又被任命为教导团的团长兼政治委员，全面主持工作。在抗日战争期间，李先念曾提出要把郑维山调离前线，但聂荣臻坚决反对。要知道，招兵买马容易，但培养一名出色的将领却非常困难，谁也不愿意轻易放走这样一位能征善战的将领。抗日战争结束后，郑维山被派去担任张家口的卫戍司令。但后来张家口失守，他不得不带着部队撤离，随后被任命为察尔军区的司令员。之前李先念试过一次没办成，这次他又通过中央极力想把郑维山调过来，可惜还是没能实现。
郑维山确实下定决心要离开，态度十分坚定。这既出于他个人的想法，也受到外部环境的影响。从个人关系来看，李先念曾是郑维山的直接领导，早年李先念作为红30军的政委时，郑维山就在他手下任职。既然老领导多次邀请他加入，说明对他十分器重，郑维山当然不会拒绝这样的好意。况且，换个新环境也许更有利于展现他的军事指挥能力。从实际情况看，晋察冀军区那段时间确实面临不少困难，特别是在解放战争爆发后，接连几场战斗都没能取得预期成果。面对国民党军队从东西两侧围攻张家口的局面，晋察冀军区与晋绥军区联合发起大同集宁战役和张家口保卫战，可惜这两场战斗都以失利告终。张家口的失守，给部队的军心士气带来了不小的打击。
1946年10月，晋察冀军区在河北涞源举行了一次重要会议，主要目的是分析几个月在战场上屡次失败的原因。会上，当时担任2纵司令员兼政委的郭天民发表了一番惊人的言论，直接批评了聂荣臻的指挥问题。这一举动立刻引起了轩然大波。面对郭天民的指责，平时性格温和的聂荣臻也忍不住发火，当场解除了郭天民的所有职务。那时候，晋察冀军区的情况确实不太乐观，官兵们情绪低落，将领之间也不太团结。正因如此，没过多久，朱德总司令就亲自来到军区了解情况。对于郑维山来说，既然军区出了这些问题，换个地方工作或许也是个不错的选择。郑维山南下之际，原本被冷落的郭天民自告奋勇要去中原，朱德批准了他的请求。然而，当郑维山的调动命令下达时，郭天民却迟疑了。原因是聂荣臻亲自出面，恳请他留下协助工作。聂荣臻原本没打算放人，他多次找郑维山谈心，还特意请来了朱德一起做工作。经过反复劝说，聂荣臻用自己的真心实意最终说服了郑维山。
聂荣臻对郑维山真是舍不得放手，他感慨道："咱们共产党人最重情义，我是真心不想让你走。"要知道郑维山在晋察冀这块土地上已经战斗生活了将近十年，他自己也不愿意在军区处境最艰难的时候选择离开。后来，郑维山陆续担任了华北军区第二兵团第三纵队司令和第十九兵团第六十三军军长等职务，继续在华北地区指挥作战。太原解放后，他又投身到大西北的解放战役中。
