常德会战结束两个月后，蒋介石在南岳会议上进行讲评。会上，蒋介石对七十四军尤其是五十一师、五十八师在外围的优异表现做出了特别褒扬，称他们以六个团对抗近六个日军联队，还能够立于主动地位，不断向敌人发起攻击，称得上是抗战史上最辉煌的战绩。
会后，被蒋介石夸赞为“模范军人”的五十八师师长张灵甫获颁云麾勋章一枚，他也是常德会战中有幸受勋的少数将领之一。除此之外，七十四军还有八十九人作为特殊立功人员受到表彰，其中就包括炮兵团团长金定洲、五十七师一七一团团长杜鼎。
七十四军中，唯一遭到处罚的是五十七师师长余程万。蒋介石在讲评中，直接称他是“不名誉的污点”，罪名就是未能坚守待援，致丢失常德。
参加开罗会议期间，蒋介石曾对罗斯福和丘吉尔讲到过常德会战。可以想见，期间他不免做出五十七师将与常德城共存亡之类的表示。尽管西方元首对宁死不降、誓死不退等理念并没有东方人这么执着，可是老蒋还是觉得余程万让他丢了面子。另一方面，如果求全责备一点的话，在未能妥善处置伤员等问题上，余程万也确实难辞其咎。
余程万被押解至重庆受审，据说蒋介石已下达处决手令。当时军内外都有许多人为之鸣不平。常德百姓首先为余程万叫屈，认为余虽驻守常德仅半年，但恪尽职守，爱民惜民，是国民党将领中比较好的一个，且他在常德苦战了十多天，迟迟不见援军到来，是在弹尽粮绝，走投无路的情况下才选择了突围。
蒋介石与桂系两巨头
王耀武对下级要求严格，但也觉得余程万守常德，基本尽到了自己应尽的责任，因此专门写信给陈诚，历数余程万的种种战绩为其求情。
军令部、第六战区长官部都为此专门做了调查。军令部还组织了一个有中外记者参加的战地考察团，到常德视察战场情况。根据实地弹痕、战斗遗迹以及五十七师的伤亡状况，考察团认定，五十七师尽了最大努力，确实是到了弹尽援绝、无兵可守、无地可退的境地后，才不得已退出了常德。
根据各方投寄的请愿材料，军法总监部签请蒋介石减刑。看过材料后，老蒋也渐渐消了气，最后以“不给名义，交第二十四集团军戴罪立功，以观后效”了结此案。
中国军队的特点是，长官权威主要依赖于其临阵的表率作用，一个战将一旦有过类似“污点”，指挥打仗时便很难有说服力，他自己也会因留有心理阴影，而不敢轻易决断和对部下进行处分。换句话说，他在军界的荣耀基本上就算是完结了。余程万是一个典型例子，他后来虽得以重回王耀武所执掌的第二十四集团军，但已难有建树。张灵甫私下评论说，如果当年余程万能够在常德坚持到底，哪怕最后战死，也是一个“死而重于泰山的好机会”，“失去了，太可惜”。
实际上，大多数人置身于同一境遇下，并不见得会比余程万做得更好。在不久之后的常衡会战中，第十军军长方先觉又引起了人们更大的争议。
1944年2月，军长王耀武升任第二十四集团军司令。
第二十四集团军是个已撤销过两次的老番号。最后一次撤销前，集团军司令为在台儿庄会战中声誉鹊起的庞炳勋。庞炳勋指挥的集团军主要在冀察敌后活动，因在与日伪军作战中失利，全军崩溃，庞炳勋自己也在山穷水尽的情况下投降了日军。于是军委会就撤销了这一番号。
现在的这个番号是重新恢复出来的。整个集团军下辖三个军，除第七十四军外，还有第一百军、第七十三军。
第二十四集团军可以说就是为王耀武所建。蒋介石对王耀武的信任也达到了前所未有的程度，王耀武被特许可以自行决定集团军内团级以上军官的人事升迁。
人事的复杂程度，向来不低于指挥打仗。王耀武一升上去，七十四军军长的位置便空了出来。副军长李天霞在抗战前就担任补充旅团长，无论资历还是战功，继任军长都是顺理成章的一件事。
可是当王耀武逐个征求师长们的意见时，五十八师师长张灵甫却在关键时候投了李天霞的反对票：“欢迎施军长回来领导第七十四军。”
无论个性还是作风，李天霞和张灵甫都差异很大。李天霞私生活方面以好赌贪色闻名，不打仗时经常在军中开舞会。张灵甫则比较耿直正派，对李天霞的这些做法很不满意，称之为“乌烟瘴气”。两人时常产生冲突，关系也不好。
王耀武经过慎重考虑，决定按张灵甫的想法办。3月4日，原第一百军军长施中诚出任第七十四军军长，原七十四军副军长李天霞调任第一百军军长。
老蒋的编制没有白给，期望也未落空。在王耀武的调理下，时间不长，第二十四集团军即做到了人事畅通，第一百军、第七十三军在整训上也都逐步趋向规范。其中，第七十三军参加过常德会战，但实战表现不佳，除一个师长战死外，重武器丢了个一干二净，基本失去作战能力，原军长亦因指挥不力而被免职。这时候也开始逐渐恢复元气，整个集团军都呈现出一副生气勃勃的劲旅模样。
自然，第二十四集团军的核心和基本部队仍是“虎部队”七十四军。三年前，在军委会决定成立攻击军时，七十四军还有与其不相上下的竞争对手，最后需要由蒋介石亲自裁定是否具备攻击军的资格和条件。三年后，至少在国内的正面抗日战场上，已经没有任何一支部队可以与七十四军比论高低，其良好的战术意识、敏捷的机动速度以及突出的战绩，使它毫无争议地被中国统帅部指定为战略总预备队。
6月9日，军委会电令王耀武，要他集中主力歼灭南犯之敌，同时争取以最少量的兵力防守宁乡等要地。宁乡是湘中、湘北通往长沙的要点，王耀武即派张灵甫五十八师前往宁乡，以拱卫长沙岳麓山的安全。
张灵甫率部以强行军的方式赶到宁乡，他将师主力控制于沩水河南岸，以一七三团团长何澜率部担任宁乡县城的防务。何澜所指挥的兵力除本团外，还有一七四团第一营以及师属的一个迫击炮连。
6月13日，日军第四十师团的两个联队向宁乡发起进攻。第九战区的防卫阵地被横山勇划分为三层，从外向内，分别是“厚皮地带”、“果肉地带”和“核心地带”。宁乡据于“果肉地带”名单中的第一位。
“果肉地带”是守军的主阵地地带。由于中国军队的防守兵力较多，阵地构筑、指挥体系、后勤供应等方面也都较完备，因此日军第十一军规定要以大兵团进行战略急袭和分割围歼。
保卫宁乡成为保卫长沙的前哨战。何澜首先指挥部队与日军在宁乡外围激战了一天。傍晚时分，日军出动三架飞机进行低空轰炸，结果因飞得过低，还被守军用枪打下了一架。
6月14日，宁乡被团团包围，一七三团连续击退了敌人三次猛攻，自身也伤亡过半。
日军两个主力联队用了足足两天，居然还不能攻破一座小小的县城，这让日军第四十师团吃惊不小。6月15日，他们改变部署，增派两千余人南渡沩水河，对五十八师的后方展开突袭。
五十八师的特点是攻守兼备，到了张灵甫执掌时期，尤其擅长于攻势防御。在正面顶住日军强攻的同时，张灵甫抽出一个营袭击日军侧翼，终将日军逼回了沩水岸边。
当天日军继续从四面向宁乡发起攻击。双方大打白刃战，阵地上响彻喊杀声和受伤者的呼叫声。守军再次遭遇较大伤亡，营长王炎城阵亡。
战至6月16日上午，日军突破南门城垣。经过逐屋争夺的激烈巷战，县城大部分已沦入敌手，守军被迫退守一七三团团部所在地福音堂，所部也仅剩两百多人。中午时分，何澜率数十名士兵从福音堂西南角开始突围，但由于三面被日军火力封锁，一面被沩水所阻，突围遭遇失败，何澜本人也身负重伤。
一七三团团附蔡亚锷因双腿中弹，正在福音堂地下室进行包扎，见此情形，他大声疾呼：“各位弟兄，我们突围逃生，等于白白去送死，不如坚守待援，才有希望存一条活路！”
本已乱成一团的官兵见团附站了出来，都表示愿意听从他的指挥。蔡亚锷清点了一下人数，除八十名伤员外，尚有可作战兵员一百四十人，他将这些战斗人员编成一个连，指定了连长，并再次进行动员：“把‘死’字顶在头上，成功把握在手里。与其生而辱，不如死而荣。”
蔡亚锷又把福音堂内所存有粮食、弹药、医药、饮水的所存量，也都一一公布于众，为的就是要告诉大家，只要死守，这里的东西绝对够撑到援兵到来。
宁乡坚守期间，张灵甫指挥五十八师主力，与集团军内的其他友军一起围攻日军第四十师团主力。第四十师团招架不过来，只能把攻击宁乡的兵力抽调一部分出来，而宁乡守军在已无退路的情况下，防守起来也更为顽强，因此之故，日军始终未能突进仅一百多人据守的福音堂。
蔡亚锷所部坚持至6月19日，第一百军的主力第十九师攻至宁乡城外，日军被迫从宁乡撤退。
就在五十八师与十九师会师宁乡的前一天，长沙失守。固守宁乡失去了意义，同时集团军还面临着日军骤然回攻的巨大压力。6月19日晚上，王耀武下令放弃宁乡，集团军向湘乡方向转移。
在宁乡保卫战中，五十八师以四营兵力守城，与优势敌军激战六个昼夜，军官伤亡五十余人，士兵死伤两千余人，是长衡会战前期较为突出的一个战例。论功行赏，临危不惧、沉着指挥的蔡亚锷被授予云麾勋章一枚，并得到了张灵甫的保荐提升。
长沙失陷后，日军分成数路纵队，夹湘江西岸大举南下。数日间，湘乡等诸县未经激战即先后失守。
在长衡会战中，蒋介石和薛岳从一开始就出现了很大的战略分歧。蒋介石要薛岳坐镇湘江以西，固守湘桂路与湘西，不让日军动摇西南大后方。薛岳则坚持不到湘江以西，认为必须固守湘东南，不让日军打通粤汉路，进而与香港取得联系。
为了贯彻个人的主张，薛岳只留第四军守长沙，第十军守衡阳，而把司令长官部移驻于湘东南位于湘赣边境的桂东，各部队也被陆续转移到桂东。薛岳的这一指挥失误，事后被认为是长衡会战失败的关键所在。
继第四军兵败长沙，衡阳的第十军又马上成为被日军包围的孤旅。按照赵子立的意见，即便这样，此时若能把绝大多数部队集中在湘桂路方面，向衡阳西南面发起反攻，仍有可能为第十军解围。
奈何薛岳就是不肯动身到湘西去，许多部队被分散在湘东两三百公里的区域内，且重点不清，毫无力量。赵子立最为看重的衡阳以西，只有王耀武兵团在活动。由此还出现了一个奇特的现象，即湘江以西的部队由军委会直接指挥，薛岳只负责湘江以东的作战指挥，到后来他所负责的部队也已经被日军冲得七零八落。
衡阳是中国军队的核心防守阵地，也就是“核心地带”。横山勇知道中方会以重兵坚守，外围也会不时投入战略兵团，因此他要求抓紧时间，不惜一切代价予以攻占。
方先觉指挥第十军死守衡阳，随着阵地的日益缩小以及援兵不至，官兵士气逐渐消沉。他们对薛岳移师桂东，未出全力增援，都感到极为愤恨，零星脱险的士兵痛骂薛岳指挥无能：“几次长沙大捷（指第三次长沙会战前的‘大捷’）都是吹牛，第三次长沙会战要我们第十军死守长沙，这次又派第十军死守衡阳。我们已死守了这么多天，（他）把我们置之死地而不顾。”
有可能为衡阳的解围的只剩下王耀武兵团。此时王耀武除指挥第二十四集团军外，还能调动第七十九军、第九十九军以及失守长沙的第四军残部，号称有十七个师的规模。不过这些部队自六月初就投入了战斗，多为建制残破的久战疲师，战斗力已大不如前，难以在日军的阻击线上形成突破。同时兵团内想保存实力，甚至对第十军心存嫉妒的也不乏其人。第二十四集团军下面的一个军长私下就说：“如果衡阳解了围，方先觉岂不成了个人英雄？”
就在各部或真的力不胜任，或犹豫观望的时候，王耀武决定再次动用“虎部队”。长衡会战初期，王耀武只从七十四军中抽调五十八师随其一同进入第九战区作战，五十一师和五十七师都被第六战区留在常德附近担任守备。直至6月底七7初，五十一师和五十七师才得以归建并全部投入会战。
7月中旬，七十四军军长施中诚得到命令，限以急行军方式赶到衡阳以西的金兰寺、鸡窝山一线，以解衡阳之围。
七十四军的三个师也并非都处于最佳状态。五十七师在常德会战中几乎伤亡殆尽，战后开赴桃源整补训练，经过三个月的整训，才刚刚恢复战斗力。五十八师在宁乡保卫战后，又与日军第四十师团在永丰缠斗，部队损失也一直没有时间进行补充。算下来，只有五十一师的情形要稍好一些。在行军阵型上，施中诚以五十八师居前，五十一师在后，五十七师进行侧翼掩护。
第一个目标金兰寺在衡阳西南四十多公里处，原为第七十九军一个营驻守。日军包围衡阳后，为巩固衡阳外围，日军第四十师团派黑须大队攻占了此地。
最初收复金兰寺的任务，系由第一百军承担。7月20日，第十九师以一部断敌退路，主力在攻占金兰寺前的店铺和村庄后，逐步将敌人压缩至金兰寺内。
金兰寺是一座砖石结构的小庙，但日军利用周围地形，把它打造成了一个易守难攻的据点：除以庙内的砖石建筑物负隅顽抗外，庙前的大树有轻机枪手进行俯射，庙后的小高地上还建有防守工事。
第十九师乃增派部队，先将寺后高地予以攻占，接着又集中迫击炮和重机枪，摧毁了树上的俯射火力点。只剩下寺庙无法攻入，对于这样的坚固据点，无论迫击炮还是重机枪都难以逞其技，必须得动用山炮，可是十九师连山炮都没有。盟军飞机几度对金兰寺进行轰炸扫射，也因为寺庙缩在山窝里面，难以命中。
围攻了一周，仍然一筹莫展。第一百军军长李天霞采取了一个投机取巧的办法，他指示十九师想办法将国旗插在寺前树上，以便使盟军飞机看到后，可以向上报告，说第一百军已攻取了金兰寺。
在担任团长至师长时期，李天霞并不乏七十四军将领所惯有的勇猛果敢，但后来便一意热衷于打巧仗、便宜仗，他的这个馊主意可害苦了十九师。为了插旗，十九师连续多次派敢死队员爬上树，但都遭到了日军的狙击，旗未插成，倒白白死伤了九个人。
7月23日，张灵甫挥师出击。五十八师在击退向金兰寺增援的敌军后，紧接着便会同十九师一道向金兰寺发起猛攻。五十八师有军配属的山炮连，在炮兵的支援下，他们摧毁了日军的铁丝网前缘工事，黑须大队余部见势不好，赶紧从东面突围逃跑了。
7月28日，王耀武督令兵团各部向衡阳西南郊全面攻击前进，但是第二天日军援兵一到，各部便全线后退，只有五十八师和十九师在继续向衡阳挺进。两天后，他们迫近衡阳近郊，并与守备该地的日军第四十师团第二三四联队展开殊死搏斗。
