湖口惨败、樟树镇惨败，曾国藩的人生低落到极点。由于得不到咸丰重用，曾国藩干脆借口为母“丁忧”，回到湘乡老家，不再过问军务，试图以退为进，让咸丰挽留。谁知，咸丰不但爽快同意曾国藩“丁忧”之请，还告诉他“暂缓回营，以尽孝道”，其实是告诉他：你不回来也行，少了你无关紧要。
曾国藩这一走，就是三年，直到李秀成第二次摧毁“江南大营”，八旗、绿营彻底溃散，曾国藩才重新回到军政舞台，担任两江总督，开始掌握实权。曾国藩离开的日子，湘军自然要靠胡林翼，也正是有了胡林翼之改革，才有湘军胜利之日。
胡林翼重铸湘军之第一步，即是强化一元领导体制，士兵绝对服从营官，营官绝对服从将领，将领则绝对服从主帅，搞垂直管理。与曾国藩配合之岁月，胡林翼便意识到湘军之弊端在“政令不一”，各自为战，小军阀气息浓厚，主帅往往调不动将领。
为何呢？湘军不是一人编练，而是一个集体，内部派系林立，并没明确隶属关系。例如，曾国藩苦战湖北、江西期间，大将王珍就从不听号，自己玩自己的，哪管曾氏死活。曾国藩战败靖港，水师、陆师全部溃散，曾氏亲自挥刀督师，将士却不加理会，继续逃亡，搞得曾氏两次投水自尽。
军令、政令不统一，想要战胜势力如日冲天的太平军，几乎不可能。为此，胡林翼便强化一元化领导体制，让全军、全体将士绝对服从自己；只要归自己调遣的部队，就只能听从自己号令，不容许自作主张。
胡林翼攻打武昌期间，罗泽南从江西战场前来之支援，石达开则乘势进军江西，席卷赣省，将曾国藩围困在南昌孤城，准备将其活捉。此时，曾国藩求救胡林翼，并请咸丰出马，让胡分兵回援江西，可直接遭拒绝。
罗泽南是曾国藩好兄弟，可支持胡之决议：“现在贼粮将尽，势日穷蹙，若得水陆俱下，釜中之鱼，必不能久生，遥湘勇遽然撤去，则润之中丞之兵单，不能独立于南岸，不特前功尽弃，其祸殆有不可知。”可知，胡在强化一元领导。
胡林翼拒绝回师江西，力争湖北上游，无疑是正确的。1856年12月，胡林翼终于拿下武昌，湖北清军开始大规模反攻。可以说，胡林翼此时强化了领导，湘军听从自己指挥，而不是毫无实权且回家“丁忧”的曾国藩。
太平天国灭亡后，为了让湘军之威名传之后世，王恺运编写《湘军志》，评价胡为：“中兴之业，实基自胡”，认为其地位高于曾国藩。此外，王恺运单独给胡林翼湘军写传，命为《胡军篇》，脱离曾氏湘军。
对此，曾氏湘军将领大为不满，认为这不能体现曾国藩之雄才大略，曾国荃于是让王安定写《湘军记》，以抵消《湘军志》之影响。从此可知，胡林翼强化一元化领导，曾国藩后来确实在效仿，大伙心中有主帅。
