汤恩伯是台儿庄大捷的名将，但是在到达台湾之前，他却背上了背师求荣的骂名。

因为汤恩伯并非黄埔系出身将领，又与当时掌控台湾时局的“土木工程系”不合，导致他的胃病复发，后来医生诊断他患有胃溃疡和12指肠癌，建议他去美国治疗，可是汤恩伯无法负担去美国治疗的巨额费用，只好去日本。

在日本汤恩伯一共做了三次手术，于1954年6月24日最后一次手术中因医疗事故死在了手术台上，终年54岁。

有人分析汤恩伯是抗日名将，曾经杀过不少的日本人，为他做手术的日本医生，很有可能有亲属死在了侵华战场上，记恨汤恩伯，趁机报复。

根据目击者说汤恩伯在死之前是非常痛苦的，虽然打了麻药，但似乎没有任何效果，他在手术台上痛的哀嚎不已，拼命挣扎，医生用力按住他，直到力竭而亡。

1949年上海战败之后，逃往台湾的国民党军政人员纷纷议论纷纷当时汤恩伯的部队装备精良，可竟然只抵抗了10多天就全线溃败了。为了弄清楚失败的原因，蒋介石特地在台北主持召开了一次上海防卫战失败的检讨会议。

这次会议是在一所宾馆举行的，出席会议的有军政大员汤恩伯被邀请对作战情况进行汇报，轮到其他人发言的时候，一些高级将领将矛头指向了汤恩伯。

散会之后，汤恩伯走出会议室一直低头不语，回到家之后他大发牢骚说：国民党打了那么多的败仗，死伤的人更多，为什么一次检讨会议都没有开？单独要开上海防卫战的检讨会议。

汤恩伯心里很清楚，他以后在台湾的处境肯定不妙，后来台湾军政处一直要求处分汤恩伯，因此就到军事法庭告状，蒋介石觉得不妥，就把这件事情压了下来。

1949年年初，浙江省主席陈仪受到我党影响到上海策动时任京沪杭警备总司令汤恩伯起义，汤恩伯早年去日本留学的名额就是陈仪争取的，费用也是陈仪资助的，因此汤恩伯拜陈仪为义父和恩师。

当陈仪将自己的想法告诉汤恩伯之后，汤恩伯十分反感，为了表示自己的大义灭亲，他竟然把恩师出卖了，2月21日，蒋介石下令逮捕陈仪。

汤恩伯表示当初他向蒋介石谈的条件是绝不能处死陈仪，蒋介石答应了。可是在1950年6月，蒋介石违背了诺言。

为了救陈仪，汤恩伯几次求见蒋介石，蒋介石听后大怒，表示陈仪犯了那么大的罪，汤恩伯心里不清楚吗？这件事情谁求情都不行，汤恩伯活的堕落了，他要为陈仪说话，我绝不见他！

蒋介石不但不见汤恩伯，还要他亲自处决陈仪，以此来检验他是不是真的大义灭亲，但是汤恩伯坚决不肯，蒋介石没办法，只能让陈仪的妹夫来执行陈仪的死刑，1950年6月18日，陈仪被执行枪决，自此之后蒋介石就更不喜欢汤恩伯了。

陈仪事件发生之后，对汤恩伯的刺激也很大，他感到没有脸面去见亲朋好友，因此想要去日本度过余生。

早在上海防卫战的时候，汤恩伯就已经做好逃往日本的准备，1959年5月6日，汤恩伯令亲信从上海秘密将50万美元军费汇到了美国的一个朋友的账户上，再由这位朋友转给了在日本的好友。

随后这位好友用这笔钱为汤恩伯在日本买了一栋有22间房子的豪宅，不过这消息不慎走漏了，蒋介石获悉情况之后十分生气，他大骂汤恩伯混账，怪不得上海失败的那么快，原来他早就做好了要去日本的准备。

1950年3月，汤恩伯以召集日籍志愿军反攻大陆为理由决定去日本，他上飞机时，飞机上的检票人员要求他出示证件，他声称是受政府委派到日本去执行特殊任务的，没有办理签证，可是飞机上工作人员要求他没有签证便要下飞机，随后汤恩伯与飞机上工作人员发生了激烈的争吵。

蒋介石判定汤恩伯想要逃到日本去，于是下令阻止，军警接到命令之后，强行将汤恩伯拉下了飞机。

汤恩伯在台湾不受重视，又不能成功的逃往日本，他思想包袱十分沉重。1953年9月恰逢他55岁生日的时候，他原本是要请几周客人到家里吃饭的，不过后来取消了。

由于长时间怄气导致他的身体越来越消瘦，医生说他肝有问题，后来汤恩伯向蒋介石申请去日本治病，蒋介石嘲讽他犯过大错的人还要去日本治病，随后蒋介石在他的申请报告上写下了4个大字“就地医治”。

1950年10月汤恩伯在家中发牢骚，说：我的病在台湾是治不好的，就算在台湾住院也是没有任何用，要治病就要到国外去。可是我申请去日本治病，总裁又不同意，没办法，我只能在台湾等死。

1954年4月，汤恩伯突然感觉腹部剧烈的疼痛，医生检查之后发现他12指肠的位置上有一个肿瘤判定可能是癌症，建议他到国外做手术。汤恩伯的家人立刻给总统府打了一个电话，蒋介石这才同意。

1954年5月，汤恩伯在家人的护送下大飞机去日本东京，他一下飞机就被送进了日本东京的一家医院。6月29日汤恩伯做手术的时候，因失血过多死在了手术台上，终年56岁。

当时台湾多家报纸报道了汤恩伯在日本病死的消息，蒋介石得知他死了之后反应非常的冷淡，说了这样一句话：死了也好。