1948年10月，薛岳建议在青岛编练部队，由李玉堂任司令。蒋介石说：“这个败军之将，庸碌低能，不可再用。”

济南解放后，老蒋在南京召开军事会议，讨论山东战局。“总统府”参军长薛岳认为山东的战事已难以挽回，应将仅存的部队向青岛集中，并设立一个“挺进军总司令部”，收编各类游杂武装。

挺进军的总司令，薛岳向老蒋推荐了李玉堂。老蒋听后脸色铁青，当场出言拒绝。

抗战中，李玉堂曾任第十军军长，归第九战区司令长官薛岳节制。第十军在历次长沙保卫战中立有大功，称为“泰山军”。

抗战胜利后，李玉堂调任第十绥靖区司令官，驻地兖州。李玉堂这个司令官有名无实，归他指挥的部队，号称五万余人，但有近一半都是地方保安团队，有战斗力的只有原东北军将领霍守义的整编十二军约二万余人。

1948年6月下旬，解放军发起兖州战役。李玉堂一面率部顽抗，一面向山东省主席王耀武求援。王耀武派整编96军军长吴化文率部救援，担心被围点打援的吴化文行军迟缓，走走停停。

7月13日，兖州解放，守军二万八千余人被全歼，除李玉堂等个别人逃离外，霍守义等主要将领均被俘。

在解放军攻打兖州前夕，老蒋曾专门召见李玉堂，询问城防工事是否坚固，李玉堂说：“兖州是铁打的，坚守三月不成问题。”

把话说的太满的李玉堂，在兖州解放后，被暴怒的老蒋下令撤职，并批示“永不叙用”。若论损失的兵力数量，李玉堂也就是胡宗南的零头，虽同为黄埔一期生，老蒋对他们的亲疏之别，差距还是很明显的。

淮海战役前夕，薛岳替李玉堂说话，推荐他去青岛接替刘安祺，但遭到老蒋的拒绝。老蒋下野后，代总统李宗仁任命李玉堂为山东绥靖总司令。

山东残存的蒋军，困守青岛一隅之地，由十一绥靖区司令官兼青岛警备司令刘安祺指挥。李玉堂若要上任，只能是去青岛，刘安祺担心李玉堂来夺他兵权，给溪口的老蒋去电请示如何处理。

隐而不退的老蒋，回电刘安祺，说李宗仁的任命不必理会。有了老蒋撑腰的刘安祺，公开抵制李玉堂，使得本就是光杆司令的李玉堂，只能无奈的放弃去青岛。

老蒋在下野前，清楚南京守不了多久，因此拉拢粤系大员，委任薛岳为广东省主席、余汉谋为广州绥靖公署主任。老蒋对这两人的任命，是费了一番心思的，薛岳虽有反蒋的历史，但和陈诚关系很好，算是半个“土木系”的人，余汉谋在粤系中也是属于亲蒋的。

还有一个重要原因，那就是薛岳、余汉谋和桂系的关系很僵，尤其是薛岳，对白崇禧颇有微词。当老蒋和桂系发生冲突时，主持广东军政的薛岳、余汉谋，肯定会支持前者。

青岛解放时，刘安祺率绥靖区残部海运撤离，船运到台湾后，被改编为二十一兵团。广州解放前夕，二十一兵团海运海南。

薛岳在撤到海南后，被任命为防守总司令，他在接到广州守军的求援后，让刘安祺兵团前往支援。刘安祺自知不是解放军的对手，只让兵团的32军军长赵琳带一个师去。

赵琳拖拖拉拉，直到广州解放时，派去的那个师还在半路。薛岳大怒，向老蒋状告刘安祺、赵琳“迟疑不前，贻误战机”。

老蒋并不愿嫡系部队损失在广东，内心其实是赞成刘安祺的做法，但又不能明说，于是便将赵琳推出当替罪羊，将其押去台湾受审。所谓受审，也就是个形式，赵琳很快就被另有任用。

薛岳对海南的这帮蒋系将领深感头疼，想起了赋闲的李玉堂，便向老蒋再次推荐。老蒋此时急需薛岳替他卖命，也就做了个顺水人情。

11月，李玉堂来到海南，就任防守副总司令兼第一路军总司令，指挥32军及部分游杂部队。

不久后，陈石清（地下党员）、陈伯兰（李玉堂妻子）兄妹来到海南，劝说李玉堂起义。已对老蒋失望的李玉堂，虽有起义之心，但却面临着难以发起的困境，因为32军是刘安祺、赵琳的老部队，初来乍到的李玉堂，和该军官兵并无渊源。

李玉堂的打算是，等他在32军安插部分亲信，提高掌控度后，再行寻找机会发起起义。不待李玉堂完成对32军的控制，解放海南岛的战斗打响了。

薛岳在解放军登岛后，让李玉堂跟着他先走一步逃去台湾。薛岳此举倒也是好意，但却断绝了李玉堂起义的机会。

李玉堂在海南期间，解放军派了一个叫李刚的联络员，化名魏天民，被李玉堂安排在32军军部当副官。海南的蒋军逃到台湾后，被打乱建制，重新进行编制，李刚被派去临时的军官队受训。

李刚到军官队后，被人认出，旋即遭到抓捕。被捕后的李刚，熬刑不过，当天便供出了李玉堂在海南策划起义一事。

李玉堂得到消息后，连忙通知陈石清离开，但因李刚叛变的太快，导致消息未能传递出去。很快，李玉堂夫妇、陈石清等人被捕。

老蒋让钱大钧担任主审官，钱大钧对李玉堂印象不错，劝他将事情全推到陈石清、陈伯兰身上。

李玉堂说：“此事和他们无关，一切责任由我一人承担。”

钱大钧想保住李玉堂性命，上报的处理意见是“七年徒刑”，但遭老蒋驳回。最终，李玉堂被判处死刑，和陈石清、陈伯兰一同被枪杀。

李玉堂的死讯传出，在台湾的第十军旧部，无不震惊莫名。