第10军（抗战胜利后整编为整编第3师）自衡阳保卫战首次全军覆没后，就一直在歼灭和重建的循环中。该军在1946年9月的定陶战役中被歼灭，次年12月在祝王寨、金刚寺战斗中又被歼灭，两次覆灭的原因也很相似，都是因为孤军深入被解放军包围后遭到重兵围歼。
祝王寨、金刚寺战斗中，整编第3师指挥层几乎被一锅端了，除师长李楚瀛成功逃出外，其余的高级将领不是死了就是当了俘虏。整编第3师副师长路可贞被俘，整编第3旅旅长雷自修和整编第20旅旅长谭家范阵亡，这导致在重建整编第3师时困难极大。
整编第3师在后方留有整编第3旅第8团的1个营和第9团，此外战后在郑州收容整编第3师的军官485人、士兵869人，官兵比例差距这么大，主要是因为解放军是俘虏政策。当时解放军释放俘虏的标准为：副团长以下凡军校毕业的都释放，行伍出身、身体强健、有点文化的尉官不放，士兵老弱的释放，士兵身体强壮的不放。
由此可以想象，在郑州收容起来的官兵都是怎么样的货色，老弱病残肯定很多。一支部队失去了大量骨干老兵，即便有足够军官也没有办法迅速恢复战力的。想要把整编第3师重建起来，就只能以留守在后方的那1个团又1个营为核心进行重建，这些部队新兵比例也不低。
整编第11师负责重建整编第3师1948年1月，整编第3师在河南漯河再度重建，师长李楚瀛因指挥不利被撤职，原整编第3师残部被缩编整编第3旅，由张桐森担任旅长。张桐森长期在第2军任职，与第10军似乎没有多大渊源。整编第20旅当时虽然也重建了，但不再隶属于整编第3师。
除了整编第3旅外，重建的整编第3师还下辖整编第18旅和整编第49旅，其中的整编第49旅也是重建部队，该旅在1947年4月被歼灭过。而整编第18旅的来头就大了，是整编第11师的基本部队。
随着整编第18旅的加入，意味着整编第3师已经为陈诚的土木系所掌握。
解放战争到了1948年初，国民党军队的颓势越来越明显，大量部队被解放军成建制歼灭，有战斗力的部队越打越少，重建的部队不堪一击。为了重振国民党军队的士气和提升重建部队的战斗力，决定用原有战斗力较强的部队来负责训练重建起来的部队。
如整编5师帮助重建在鲁西南战役中被歼灭的第整编第70师，为此整编5师把整编第96旅调入整编第70师，使之成为战斗核心。整编第2师帮助重建镇嵩军整编第15师，整编第2师的办法是抽调整编第2师的军官进入整编第15师，原整编第9旅旅长陈克非就短暂担任过整编第15师的师长，而不是直接抽调部队。
整编第11师和整编第5师的方法差不多，把该师主力部队之一的整编第18旅直接调入整编第3师，并由第18军老人覃道善担任师长。由于整编第11师给出了完整的1个整编旅，使得整编第11师只下辖整编第11旅和整编第118师，在一定程度上削弱了该师的战斗力。
到了1948年8月，鉴于整编第3师战力已经恢复的差不多了，就把该师的整编第49旅改隶整编第11师。整编第49旅这个部队后来的事情还颇为传奇，该部由于是外来户且战斗力不强，使得这支部队没有跟随第18军主力一起行动，莫名其妙成了漏网之鱼，而时任师长何竹本也是幸运之人。
此人抗战时长期在第10军任职，第10军增援常德时预10师师长孙明瑾阵亡，作为参谋长的何竹本虽然也身负重伤却没有死，衡阳保卫战和之后的定陶战役，他都没有出意外，继任他担任整编第3旅旅长的雷自修却是死在了祝王寨、金刚寺之战中。
同年9月，国民党军队把整编师、旅番号恢复回军、师番号，整编第3师改称第10军，另外新编入第75师。第75师虽然是新组建的部队，但却混合了第18军的辎重团和搜索团，国民党军王牌的直属部队也具有一定的战斗力，并不是什么鱼腩部队。
但此第10军早已今非昔比，在改回番号过程中，就连有悠久历史的整编第3旅（原第3师）都只能改成第114师。只因第3师的番号被抢了，在1948年5月，整编第42旅就提前拿下第3师番号。
第10军和第18军由第12兵团指挥开赴淮海战场一同覆灭淮海战役开始后，黄维的第12兵团奉命参战，经过第18军的整训，第10军可以算是第12兵团的第二号主力。
在被黄维寄予厚望的突围行动中，第10军一个军就用上了第18师和第114师。由于廖运周带领第110师临阵倒戈，再加上黄维兵团中战斗力最弱的第14军遭到解放军攻击而崩溃，致使突围行动还没有开始就宣布失败。
第10军迅速从攻势转入守势，并派部队掩护收容第14军残部，击退解放军的进攻。在双堆集包围圈内，第10军和第18军一样顽强，与解放军进行一庄一庄的反复争夺，直至拼光最后一个人。打到最后，即便是战斗最多的一个团也不过只有3、400人。
1948年12月15日，黄维下令第12兵团全体分散突围。第10军的突围计划是：第18师、第114师和军部向东北突围，第75师向东南突围。
还有点力量的第18师，在师长尹俊的指挥下勉强打开了一个突破口，最终突出重围，第18师突围成功的人数是黄维兵团中最多的。而跟在后面的第114师残部和军部没有及时冲出去，军长谭道善和第114师师长夏建勋成为了解放军的俘虏，另外第75师师长王靖之在突围时身负重伤，被解放军用担架送到国民党统治区。
第10军在双堆集第4次覆灭后，国民党军尽管又在江南把第10军的架子搭了起来，但很快就因兵员不足而寿终就寝。
