1947年，汤恩伯奉命率领国军第一兵团向山东解放区展开重点进攻，此战中，张灵甫的整编74师孤军冒进，其他部队增援迟缓，最终整编74师被歼，张灵甫这个蒋介石的得意门生也被击毙。

消息传到南京后，蒋介石震怒异常，当着众人的面要汤恩伯跪下，并用手杖将汤打得头破血流。

这件事，也成了汤恩伯和蒋介石一生关系的总结和写照。

汤恩伯早期并非蒋介石的嫡系，他原是浙军的一个排长，后来浙军被军阀孙传芳打败。汤恩伯走投无路之际，他的同乡有一名富商，出自寻找一个人结伴到日本留学，汤恩伯被选中，于是去了日本。

到日本后，汤恩伯考入明治大学法科，后又考入日本陆军士官学校，会后后进入湖南陆军担任连长，又去了南京中央陆军军官学校担任军事教官。此后重回军队，汤恩伯逐渐进入蒋介石的嫡系阵营。1934年，因参与对中央苏区的第五次“围剿”有功，汤恩伯被任命为13军军军长，该军为中央军的主力之一，汤恩伯也由此飞黄腾达，和陈诚、胡宗南并称“陈、胡、汤”。

全面抗战初期，汤恩伯率领13军在怀来、南口、居庸关一线与日军血战18日，一战闻名全国，成了抗日英雄。但此后的汤恩伯调任第一战区副司令，以40万部队驻守河南等地，他的名声就急转直下了。

当时河南人民形容河南有四灾，水旱蝗汤，其中的“汤”指的就是汤恩伯。当时民间甚至有歌谣：“宁受敌寇烧杀，不愿汤军驻扎。”可见汤恩伯治下不严，军纪败坏。汤恩伯在河南征粮无度，无视百姓疾苦，就连国民党内的人都看不下不了，比如李宗仁晚年写回忆录，就批评汤恩伯的军队军纪糟糕，曾任上海市市长的吴国桢，则说汤恩伯偷吃空额、倒卖军用汽油，腐朽至极。

1944年，日军向河南发起全面进攻，汤恩伯数十万部队不堪一击，刚一接触就全线溃败，最终其主力被迫撤退。最荒唐的事，在溃败的过程中有传闻说，汤恩伯的部队被当地百姓趁机缴械，可见其部队民愤之大。此战之后，蒋介石给第一战区司令官陈诚发电，要求严查“蒋鼎文、汤恩伯等作战不力，及贪污扰民等情一案，将蒋鼎文撤职，汤恩伯撤职留任……”

这时的蒋介石，对汤恩伯还有一些信心。日军投降后，汤恩伯被任命为首都卫戍司令、陆军副总司令。1947年汤恩伯指挥部队重点进攻山东，结果在孟良崮被华野击溃，汤恩伯因此再度被撤职。

1947年，在豫东战役（蒋介石方面称为“黄泛区会战”）中，汤恩伯因功官复原职，还一度代理国军陆军总司令一职，走上了军旅生涯的最高峰。

解放战争后期，蒋介石委任汤恩伯负责京沪杭地区的警备工作，随后宣布引退。此后，汤恩伯受蒋遥控，时常与李宗仁发生抗衡，李宗仁晚年对此耿耿于怀，说：“汤恩伯当一师长已嫌过分，蒋竟然还把这种人引为心腹。”

渡江战役结束后，汤恩伯率部一路南撤，期间，对他的恩师陈仪试图说服汤恩伯投诚起义，汤恩伯不但拒绝，还不念昔日情面，把此事秘告给了蒋介石。不久后，陈仪被捕，遭到处决。

此事之后，汤恩伯在蒋介石那里也不见重用，反而变得无颜面对亲友，于是滋生到日本度过晚年的想法。1949年5月，汤恩伯让自己的亲信从上海秘密将一笔50万美元的军费汇到了日本，并托人花3万美元在日本东京买了一栋有22间房间的豪宅，打算日后居住。不想，此事走漏了风声，差点为汤恩伯埋下了杀身之祸。

1950年2月，东京报纸刊发文章，说蒋介石透过手下一个高层官员在日本东京购买了一栋豪宅，一时间舆论哗然。蒋介石下令彻查此事，很快就查到了汤恩伯的头上。蒋介石知道后大骂汤恩伯：怪不得在上海和东南败得那样快，原来他早就做好了逃往日本的打算。

汤恩伯眼看东窗事发，急忙购买机票逃去日本，上飞机后，乘务人员要求检查他的证件，汤恩伯声称自己肩负特殊使命，没有签证，和机组人员发生争论。此事再次惊动蒋介石，蒋得知汤恩伯要逃，下令军警赶到机场，把汤恩伯从飞机上拉了下来。

手下大员做出如此恶劣的行为，无论怎么说都应该严加处置，但汤恩伯仅仅获得了免职处分。后来，汤恩伯又疏通关系，成功迁居到了日本，不过到日本才一年，他就因为胃病去世了。汤恩伯去世后，蒋介石还派出军舰到日本，把汤的灵柩接了回来，在台北为他举行了殡葬仪式，还派人送去亲笔题词：“功在旂常”，悬挂于灵堂上方。

像汤恩伯这样无才无德，腐朽没落的军人，死后还能得到这样的荣宠，我们也不难看出蒋介石这个人的水平如何，以及他为什么必败无疑了。