1949年5月25日，汤恩伯、石觉、陈大庆等人乘车来到吴淞镇，涌进了刘玉章的军部后，召集52军、21军师长以上将领开会，通知撤退事宜。 汤恩伯指示52军（军长刘玉章），21军（军长王克俊）分批乘船向舟山撤退，最终的目的地则是台湾。 52军在辽沈战役后期，从营口乘船大部撤逃到葫芦岛，成为派去东北的蒋军十几个军中，唯一成建制跑掉的。到葫芦岛后，在杜聿明（杜当过52军25师的副师长）的关照下，新六军在葫芦岛的暂编62师，被划入52军（番号改为296师）。 葫芦岛的蒋军撤离时，52军南运后被派去驻防上海，刘玉章兼任浦西防卫副司令。南京解放后，京沪杭警备总司令汤恩伯指挥的残部，大都涌到了上海，有八个军三十个师的番号。这些部队号称二十万众，但大都是歼灭后重建或新编练的部队，有战斗力的只有刘玉章的52军，阙汉骞的54军等少数部队。 5月25日，眼见大势已去的汤恩伯，决定组织残余部队海运撤离，但船只运力有限，因此他在通知时，优先告知了嫡系部队。52军成为汤恩伯重点关照的部队，21军的防区和52军相邻，也因此占了很大的便宜。 汤恩伯在分配轮船时，给52军的是四艘大货轮，21军的是三艘大客轮，货轮的条件不如客轮，但明显更能装人和装备。两个军的撤退，由刘玉章统一调度指挥。 在让刘玉章组织撤退的同时，汤恩伯写了一个手令，让52军的一个参谋拿着交到杨树浦的37军军长罗泽闿手中，手令的大意是让罗泽闿指挥37军务必坚守阵地到26日午后。 罗泽闿拿到手令没多久，汤恩伯又打来电话，在电话中汤恩伯信誓旦旦的保证，只要37军坚持到规定时间，到时候会派另外的杂牌部队来掩护37军后撤。 汤恩伯部署完毕后，带着石觉、陈大庆等亲信登上了“太湖号”兵舰，对外说是要在船上督战，但实则是准备随时开溜。 52军在从营口撤逃时，其第2师乘坐的一艘轮船锅炉发生爆炸，导致上千官兵葬身大海。心有余悸的刘玉章，这次留了个心眼，派军部参谋带人将几艘轮船里里外外的检查了一遍。 为了避免混乱，刘玉章让各师师长、副师长，带着各师直属警卫部队和工兵营，在码头设立警戒线，维持秩序。撤退的顺序为先是伤兵、非战斗人员、军官眷属，其次为一线官兵，最后为后卫及警戒部队。 汤恩伯的指示是让52军、21军在26日清晨开始船运撤退，但刘玉章感觉时间来不及，在当天的傍晚就下令分批撤退。 尽管刘玉章制定了撤退方案，但执行起来显然不是那么回事。现场指挥的25师师长刘明奎后来在回忆当时撤退的情景时，气愤的指出：一开始还略有秩序，但很快就一团糟。有些师、团长指使手下强行带着他们的眷属和财物上船；到后来，上不了船的士兵向船上的人开枪，船上的人还击，很快就演变成火拼，不少人被打死在码头或坠海身亡。 26日上午，54军也接到了撤退命令，官兵一股脑的向虬江码头跑去。分配给54军第8师的是一艘运力三千吨的货轮，师长施友仁到后，发现船上已经装了二千多吨面粉，而且上面还站满了其他部队的人，在费劲周折差点火拼的情况下，施友仁才勉强带了一千多人上船。 在轮船开走前，75军第6师的一个副师长急吼吼带人过来，又跑上去了一百多人，这艘超载严重的轮船一路上摇摇晃晃，在到舟山之前，船上的人都胆战心惊，唯恐船只倾覆。 就在52军、21军、54军等部装船撤退时，罗泽闿还傻乎乎的带着37军等待“友军接应”。按理说，罗泽闿和他的37军不应在被抛弃之列，该军属于“青年军”系统，在蒋军普遍缺员的情况下，该军却有四个师的番号。 上海战役打响前，蒋介石乘船前来督战时，曾单独召见罗泽闿，嘱咐他“要把37军切实掌握，要能在半天内把全军整个转运”。 蒋介石其实就是暗示，在作战不利时，让罗泽闿保存实力率部撤离。然而上海的蒋军派系复杂，各有各的背景，汤恩伯在组织撤退时，明显是把37军当做炮火部队使用的，根本就没有让该军撤走的打算。 37军并非杂牌部队，是蒋氏父子都想保留下的部队，也是除52军、54军外，上海蒋军战斗力最强的一支部队，为何却遭汤恩伯如此对待？ 原来，在划归汤恩伯指挥后，黄埔六期的罗泽闿仗着是老蒋的学生，又是小蒋的亲信，经常抗命不遵，并多次公开质疑汤恩伯的指挥。汤恩伯恨得牙痒痒，为了报复，在组织撤退时，故意摆了罗泽闿一道。 27日，发现上当的罗泽闿，想组织撤退却发现根本不行，因为压根就没有给37军分配船只。37军覆灭后，化装的罗泽闿只身逃离台湾。 从上海撤到舟山的蒋军，随后又船运到了台湾。52军保留的人数最多，约二万一千人，其次是54军，有一万五千余人，其余各军则大部损失了，即便是跟着52军一起撤退的21军，也只走了七千余人。 52军、54军到台湾后，成为装备、兵员优先补充的部队，这两个军，也成为蒋军唯二的建制尚全的军级单位。52军补充后，兵力达三万三千余人，竟然一跃成为蒋军的头号主力，当然这个前提是其他蒋军主力都覆灭了。
