1949年5月初，汤恩伯召开宣传会，吹嘘上海防线“坚若磐石，坚守6个月毫无问题”。上海解放后，愤怒的蒋介石让陈诚在台北召开军事会议，检讨战败的原因。 7月2日下午，军事检讨会召开，由国民党台湾省主席陈诚主持，从上海败逃到台湾的国民党军师以上将领全部参加，部分军政要员也被邀请。 汤恩伯首先在会议上对上海之战的经过做了简要的报告，并对战败进行了解释。在座的国军将领大都一脸的愤怒，在汤恩伯说完后，他们纷纷站出来指责汤恩伯。 罗泽闿是原国民党第37军军长，他这个军当时驻扎在浦东，在装备补给上都受到汤恩伯的刁难。 汤恩伯在下达总撤退令时，不知道是故意还是忘了，居然没有通知罗泽闿，导致37军除了罗泽闿和王大钧（37军副军长）等极少数人换成平民衣服逃走外，其余大部被解放军歼灭。 所以，在这次会议上，罗泽闿和王大钧极为愤怒，对汤恩伯出言痛骂。 会议结束后，汤恩伯和谁都没有打招呼，一个人回到了家中，事后他对亲信发牢骚说：“我们的军队打了那么多败仗，动辄损失十几万、几十万，也不见开检讨会，为何上海战败就要开会，独独针对我一个人？” 这次会议后不久，一直耿耿于怀的罗泽闿见检讨会就这样不了了之，一怒之下写状子将汤恩伯告到了军事法庭。蒋介石得知后，让陈诚去劝说罗泽闿撤回诉状，罗泽闿只能无奈的答应。 如果说军事检讨会，蒋介石只是想杀一杀汤恩伯的威风，还没有要处理他。那么，在后来如何处理陈仪的问题时，汤恩伯则彻底惹怒了蒋介石。 在1949年的年初，时任国民党浙江省主席的陈仪，派人给上海的汤恩伯送去亲笔信，信中让汤恩伯率部起义。汤恩伯和陈仪关系特殊，他早年的发迹离不开陈仪的帮助，他的妻子王竟白是陈仪的干女儿，所以汤恩伯视陈仪为”义父“。 陈仪很信任汤恩伯，但让他没有想到的是，汤恩伯拿到信思前想后，最终还是把信拍照后发给了保密局让转交蒋介石。2月初，陈仪被免去省主席的职务，21日被保密局特务秘密逮捕。 汤恩伯出卖陈仪后，一直觉得心中不安，于是又去向蒋介石求情，希望将陈仪软禁即可，不要处死，但蒋介石在拒绝的同时，痛骂汤恩伯不知廉耻。 1950年6月18日，陈仪被押到台北的马场町执行枪决。陈仪死后，蒋介石对汤恩伯也变得极为厌恶，不再重用这个昔日爱将。 失势的汤恩伯心情抑郁，不愿意留在台湾，有了去日本定居的想法。 原来，早在4月上海作战还未爆发时，汤恩伯就开始筹谋后路，他派出亲信龙佐良、王文成秘密前往日本，为其购买房产。 据后来谷正纲等人披露，在1949年5月初，在日本的龙佐良、王文成收到了汤恩伯偷偷汇来的一笔美元。龙佐良、王文成拿到这笔钱后，到处为汤恩伯找寻住所，后来斥巨资在东京购买了一栋很大的宅子。 汤恩伯以为自己在日本秘密购买房产的事情无人知晓，但是世上哪有不透风的墙，这个消息还是泄露了。 不过消息传来传去，传走样了，在日本媒体口中，内容成了：蒋介石委托亲信将领，在东京为自己购买豪华住宅。 蒋介石看了报道后，气得跺脚，派毛人凤去查，最后查出了日媒口中的这个高级将领就是汤恩伯。蒋介石暴跳如雷，大骂说：”汤克勤原来早就在找退路，怪不得上海这么快就丢了。“ 事发后，汤恩伯被免去一切重要职务，只留了一个战略顾问的虚衔。 离职的汤恩伯一直在寻找机会去日本，1950年3月的一天，汤恩伯登上了去日本的飞机。然而，当汤恩伯登上飞机后，却被蒋介石获悉，他直接下令让机场的宪兵把汤恩伯强行从即将起飞的飞机上拉了下来。 汤恩伯走又走不了，留下来又是整日赋闲在家，昔日的同僚对他也是唯恐躲避不及，这一切使得汤恩伯心理压力很大。 1953年9月12日，是汤恩伯53岁的生日，但是他连一桌客人都没有请，除了家人，也无人想起当年大名鼎鼎的”汤司令“这天过生日。 长期的郁结于心，让汤恩伯身体变得越来越差，一次他去医院检查后，医生告诉汤恩伯，他的肝和胃都非常的不好。 汤恩伯于是又提出去日本看病的申请，蒋介石看了申请书后，讥讽说：”这样一个有大过的人，居然要去日本看病！“ 在申请书上，蒋介石批了“就地治疗”4个字。 1953年10月，汤恩伯的友人见他身体状况很差，建议他住院，汤恩伯悲愤地说：”台湾看了几次都治不好我的病，去日本，他（蒋介石）又不同意，我有何办法，只能等死了。“ 到了1954年4月，汤恩伯病发住院，医生检查后发现他身体内有肿瘤，便建议前往日本动手术。汤恩伯便再次打了申请报告，这一次蒋介石见确实是病情严重，就同意了。 5月26日，汤恩伯在家人陪同下乘飞机来到了日本，住在了东京都庆应义塾大学医院。不过让他没 有想到的是，他一直想到日本治病，一直认为自己的病只有日本医生能治，结果在动手术时却他由于失血过多而死在了手术台上。 汤恩伯死后，蒋介石谈谈的说了句：”死了也好”。
