二战后期，希特勒最信任的战将非莫德尔和舍尔纳莫属。二人于1944年3月接手东线战场南部战线，分别担任北乌克兰集团军群和南乌克兰集团军群司令。莫德尔成名更早，早在1942年初他就曾挽救勒热夫突出部危局，所以每当东线某处地域出现险情时，希特勒都会派他去应对危机。1944年8月，西线已成崩溃之势，莫德尔改任西线B集团军群司令。1944年12月，德军在“突出部战役”无果而终，莫德尔从此也失去了希特勒的信任。
自莫德尔离开东线后，舍尔纳成了第二任“东线救火队员”，他在战争最后一年，历任东线三个集团军群司令。南乌克兰集团军群的前身是A集团军群，1944年7月他改任北方集团军群司令，1945年1月，又担任中央集团军群司令（前身是南方集团军群）。
虽然舍尔纳也无法扭转战局，而且失误不断，但他强悍的作风无疑迟缓了德意志第三帝国走向灭亡的进程。为了唤起官兵的斗志，舍尔纳下达的命令往往带着杀气，这一点在他担任北方集团军群司令时给第23步兵师的一封电报就很有代表性：“告诉贝奥里乌中将（该师师长），他要么用一次英勇的行为挽回自己以及第23师的荣誉，要么我将让他带着屈辱被逐出军队。此外，他必须在21时以前向我报告，哪些指挥官因表现怯懦已被枪决，或正准备被实施枪决。”
希特勒对舍尔纳的治军风格深以为然，后者也一直得到元首的信任。1945年4月5日，舍尔纳晋升陆军元帅，成为纳粹德国最后一位晋升元帅的陆军将领。希特勒自杀前，任命舍尔纳为陆军总司令，由此也可以彰显出他在希特勒心中的地位。
在舍尔纳接手南乌克兰集团军群之初，他手上有5个集团军。其中德军第6和第8集团军刚刚从乌克兰溃败到苏罗边境，与罗马尼亚第3和第4集团军会合。新防线左临喀尔巴阡山，东面是黑海，德罗联军虽然实力有限，但依托有利地形，勉强站稳了脚跟。
集团军群另一个集团军——第17集团军远在克里米亚半岛，舍尔纳虽然清楚克里米亚无法长期固守，但他清楚希特勒的脾气，绝口不提撤兵。
1944年4月7日，舍尔纳飞赴克里米亚，在第17集团军司令耶内克的陪同下视察了克里米亚北部的彼列科普地峡防务。他对第17集团军的防御部署感到满意，在返回自己的司令部后，他向统帅部递交了一份报告，称守军“能够坚守很长时间”。
这份报告成了舍尔纳的笑柄，他刚刚离开克里米亚，苏军就于4月8日发起进攻。耶内克只守了三天，他的防线就被苏军洞穿，不得不率领部队向南撤往克里米亚南端的塞瓦斯托波尔要塞。
4月16日，舍尔纳带着耶内克飞赴贝希特斯加登的“鹰巢”，当面请求让第17集团军经海路撤退。希特勒当场答应只允许有限撤退，却于次日解除了耶内克的职务，由阿尔门丁格尔继任第17集团军司令。
撤到塞瓦斯托波尔的第17集团军尚有12.5万人（战前有23.5万人，除7万多非战斗人员已提前撤离，其余则阵亡或被俘），尾随而至的苏军则有24万人。除了兵力处于绝对劣势，苏军在装备上，尤其是火炮和飞机方面同样占有巨大优势，德军第17集团军依靠的则是经营近两年的坚固工事。
为了尽可能地坚守要塞，舍尔纳下令任何士兵只要击毁一辆苏军坦克，就可以立即被送回国内，享受3个星期的假期。这种待遇等同于脱离塞瓦斯托波尔苦海，所以德军击毁苏军坦克的数量开始直线上升。
另一方面，舍尔纳举起了屠刀，他警告部队，任何人胆敢擅自放弃阵地，都将被以“畏战”的罪名就地枪决。
5月5日，苏军发动总攻。5月8日，希特勒在最后一刻下达全面撤退的命令。最终第17集团军累计撤出了13万人，6万余人阵亡，3万余人被苏军俘虏。
希特勒没有追究舍尔纳的责任，反而把这场惨败归咎于第17集团军的两任司令——耶内克和阿尔门丁格尔，前者被送上了军事法庭，后者则被直接解除了职务。舍尔纳清楚自己负有责任，更清楚最应该为这次惨败负责的是希特勒本人，但他毫不犹豫地加入声讨耶内克和阿尔门丁格尔的阵营中，指责二人缺少信念。
驻守在苏罗边境的南乌克兰集团军群主力情况要好得多，希特勒交给舍尔纳的任务是阻止苏军进入罗马尼亚，防止该国东南部的普洛耶什蒂油田落入苏军之手。为此德军统帅部尽可能地给舍尔纳送去了增援部队，至1944年5月，驻守在罗马尼亚境内的德军超过60万人，罗马尼亚部署在前线的两个集团军也有40多万人。其中包括德军的8个装甲师和2个装甲步兵师。
1944年4月至6月，德军和苏军乌克兰第2、第3方面军展开了一场针锋相对的厮杀。斯大林原本计划乘胜进入巴尔干，但得到迅速补充的德军并没有让苏军占到便宜。德国统帅部公布了一个数字，仅在4、5两个月，苏军的两个方面军就损失了近40万人（6万人阵亡，31万人负伤、1.2万人被俘），并摧毁苏军坦克1193辆。
苏联统帅部也毫不示弱，他们宣布同期仅乌克兰第2方面军就消灭了20万轴心国部队。双方吹嘘的数字都不可信，让舍尔纳真正揪心的是他的装甲部队又纷纷被调离了。6月22日，苏军在白俄罗斯发动巴格拉季昂行动，中央集团军群没用几天就完全崩溃。为了堵住战线中央的巨大缺口，希特勒从南方集团军群一下子就抽走3个装甲师、1个装甲步兵师和2个步兵师。不久之后，希特勒又从舍尔纳手上抽走了几个装甲部队，最后只给他留下了1个装甲师和1个装甲步兵师。
另一件让舍尔纳揪心的事情是他发现罗马尼亚领袖安东内斯库正逐渐失去对军队的控制，而且他本人也有将部队撤出边境的意图。为了捆绑住罗军，舍尔纳想出了“掺沙子”的办法，将德军和罗军混编。在战线的左翼，德军第8集团军和罗军第4集团军以师为单位打散，交叉部署在防线上，由德军第8集团军司令沃尔勒统一指挥；在战线右翼，皮科指挥的德军第6集团军在名义上归罗军第3集团军统一指挥。
舍尔纳还提醒希特勒注意罗马尼亚国内局势，并建议采取直接手段强化安东内斯库的执政地位。遗憾的是希特勒忽视了这个意见。1944年7月23日，舍尔纳和北方集团军群司令弗里斯纳职务对调，前者改任北方集团军群司令。
1944年8月20日，苏军发起雅西—基什尼奥夫战役。舍尔纳的“掺沙子”战术立刻显露出弊端，早已和苏军暗中联络的罗军纷纷“叛逃”，德军防线顿时漏洞百出。皮科的第6集团军几乎被全歼，沃尔勒的第8集团军也损失过半。据战后西方资料统计，德军此役阵亡12.5万人，被俘15万人。
希特勒之所以派舍尔纳担任北方集团军群司令，是因为他已经受够了弗里斯纳和他的前任林德曼的畏战情绪。6月下旬，中央集团军群兵败白俄罗斯，随后就一路向西溃退，本来位置突出的他们反而跟友邻部队拉开了巨大的空档。在他们的北面，撤退到“黑豹防线”的北方集团军群右侧翼完全暴露给苏军。
林德曼请求放弃波罗的海三国（立陶宛、拉脱维亚和爱沙尼亚），从“黑豹防线”后撤至东普鲁士。他当着部下的面惊叹：“我们就要完蛋了！”。
盛怒之下，希特勒于1944年7月2日解除了林德曼的职务，改由弗里斯纳继任。后者本就对战局不乐观，紧接着又遭到苏军波罗的海沿岸第1、第2、第3方面军和列宁格勒方面军的打击。至7月19日，德军坚守的“黑豹防线”也已经千疮百孔，防线的重要据点一个接一个丢失。失望的希特勒只能再次更换主将。
和克里米亚半岛一样，希特勒对坚守波罗的海三国的信念并不坚定，后来都是海军司令邓尼茨帮助他下定了决心。坚守波罗的海三国是为了保卫几座重要海军基地，一旦失去这里，海军将无安身之地。从瑞典输送铁矿石的航线自然也失去了安全保障。
舍尔纳接手的北方集团军群辖第16和第18集团军，以及临时组建的纳尔瓦集群（集团军级）和第3装甲集团军一部，共30个师。其中有3个师丧失战斗力；14个师被重创；保有部分战斗力的师只有6个；完整战斗力师7个。而他要防守的战线绵延600多公里。
7月24日，苏军列宁格勒方面军以3个集团军在战线左翼发起进攻，试图从北面渡过纳尔瓦河，将建制还算完整的德军纳尔瓦集群分割围歼。与此同时，苏军波罗的海沿岸第3方面军从右翼攻入立陶宛。7月27日，苏军攻占希奥利艾。7月31日，苏军的一个坦克旅抵达波罗的海海岸，将北方集团军群西撤东普鲁士的通道切断。
凭借残酷无情和善于从“各作战师压榨最后一点兵力”，舍尔纳勉强地阻止了战线的崩溃。8月中旬，从北乌克兰集团军群和南乌克兰集团军群调来的装甲部队完成集结（共5个装甲师和1个装甲步兵师），由第3装甲集团军司令莱因哈特指挥，从东普鲁士发起反击，并恢复了和北方集团军群的联系。
8月20日，北方战场陷入沉寂，德军在波罗的海三国和东普鲁士之间建立了一条30公里宽的走廊。苏军自6月22日开始巴格拉季昂行动以来连续作战，已经筋疲力尽，不得不暂停了进攻。
舍尔纳希望缩短防线，放弃左翼整个爱沙尼亚，这样既可以增加防线的兵力密度，还可以进退有据。一旦无法坚守，可以迅速沿第3装甲集团打通的走廊撤到东普鲁士。为此，他瞒着希特勒悄悄抽空了自己的左翼，名义上纳尔瓦集群和第18集团军司令部原地不动，但他们所属的部队大部分都调到了拉脱维亚，加强到里加方向。
9月14日，苏军恢复攻势，9月16日，舍尔纳飞赴大本营觐见希特勒，得到了局部撤退的许可。9月18日，舍尔纳命令纳尔瓦集群一部退往爱沙尼亚西部的蒙海峡群岛，另一部和第18集团军迅速南下，与第16集团会合。从而使自己的防线缩短到只有300多公里，防御密度大大提高。
舍尔纳忽视了当面苏军的胃口，苏军在进攻受挫后，统一指挥波罗的海战役的苏军元帅华西列夫斯基决心调整部署。他计划将波罗的海沿岸第1方面军主力南移，在连接东普鲁士和波罗的海三国的走廊地带实施突击，再次切断北方集团军群西撤通道。
几十万部队和大量装备调动不可能悄无声息，德军很快就发现苏军部队正在南移。但舍尔纳忽视了这个情况，认为苏军不可能在短时间内完成主力部队的重新集结。在此期间，陆军总长古德里安要求他派出装甲部队向苏军集结地域发起反击；与此同时希特勒则要求他向里加方向的苏军发动反攻，以改善集团军群整体防御态势。
舍尔纳自然要听从希特勒的指令，计划集中装甲部队于1944年11月3日开始行动。但苏军的执行力更强，10月初，苏军6个集团军突然在梅梅尔地区发动进攻。事前毫无准备的舍尔纳被打得措手不及。10月10日，苏军抵达波罗的海海岸，将北方集团军群第二次孤立在以拉脱维亚首府里加为核心的地区。
10月11日，舍尔纳下令放弃里加，撤到拉脱维亚西北部的库尔兰半岛。自10月底，希特勒开始从库尔兰半岛将北方集团军群各师陆续撤离，但他并不准备彻底放弃库尔兰。北方集团军群在这里一直坚守到战争结束，其间爆发了6次战役，德军均击退了苏军的进攻。
舍尔纳并没有一直留在库尔兰半岛，1945年1月17日，他被任命为A集团军群（原北乌克兰集团军群，也就是更早的南方集团军群）司令。该集团军群沿维斯瓦河一线布防，从北面的华沙至南面捷克斯洛伐克境内的喀尔巴阡山北麓，战线长达640公里。部队下辖第9集团军、第4装甲集团军、第17集团军和第1装甲集团军。当面苏军是两个兵力最强的方面军——白俄罗斯第1方面军和乌克兰第1方面军。
这一次又是临危受命，苏军于1945年1月12日发起维斯瓦河—奥得河战役。220万苏军和7000辆坦克同样只用了三天，就将德军A集团军群的51万人和不足千辆坦克驻守的防线击溃。1月17日，华沙失守，希特勒随即解除了A集团军群司令哈尔佩的职务，改由舍尔纳接替。
这是舍尔纳接手的最糟糕的局面，苏军突破维斯瓦河防线后，坦克集群迅速向西挺进，德军甚至都没有时间进入此前精心构筑的纵深防线和要塞据点。舍尔纳到任后，先是解除了第9集团军司令吕特维茨上将的职务，接着下令处决那些擅自后撤的官兵，并将他们的尸体悬挂在木杆上，脖子上挂着“胆小鬼”“逃兵”的牌子。然而即便每天绞死数十人，也丝毫不能唤起部队的斗志。2月初，苏军抵达奥得河一线，白俄罗斯第1方面军在西岸屈斯特林建立了一座桥头堡，这里距离德国首都柏林只有不到70公里的距离。
1月底，A集团军群改称中央集团军群，舍尔纳继续担任集团军群司令，他的首要任务是守住柏林东南地区的西里西亚工业区，这里已经取代德国西部的鲁尔工业区，成为德国最重要的军工生产基地。
西里西亚重镇布雷斯劳于2月16日被苏军围困，舍尔纳指派陆军中将尼霍夫坚守布雷斯劳。他警告尼霍夫，如果他胆敢放下武器投降，抑或违抗军令，他的5个孩子将会被处以极刑。在舍尔纳赤裸裸地要挟下，尼霍夫和他的3.5万守军一直坚守在这座要塞，直到5月7日德国宣布投降。而整个西里西亚地区，1944年初生活着470万德国居民，至1946年4月，仅剩下62万人。
3月底，舍尔纳支持希特勒的判断，认为苏军下一个目标不是柏林，而是南面的捷克首都布拉格。后者给舍尔纳调去了近60万部队，让舍尔纳的中央集团军群迅速膨胀到90多万人，成为东线乃至整个德国兵力最雄厚的集团军群。4月5日，舍尔纳晋升陆军元帅。
希特勒和舍尔纳的判断实属一厢情愿。4月16日，苏军集中三个方面军发起柏林战役，将打击重点指向德军维斯瓦集团军群。舍尔纳在柏林南部发起了几次支援性行动，但对整个战局没有多大影响。
4月28日，希特勒在总理府地堡签署命令，由海军总司令邓尼茨接替自己，担任德意志第三帝国新领袖，同时任命舍尔纳担任陆军总司令。此时舍尔纳正在布拉格，他从未行使过陆军总司令的权力，在战争最后时刻他的所作所为也颇有争议。
舍尔纳的副官迪赫宁中尉描述了其在战争临近结束前的言行，根据他的陈述，舍尔纳于5月7日遵照希特勒生前下达的命令，离开布拉格前往“阿尔卑斯山要塞”，那里将是德军最后的据点。
但中央集团军群参谋长纳茨梅尔中将给出了截然不同的版本：舍尔纳于7日下达部队西撤命令后，拿着塞满现金的公文包，飞往了阿尔卑斯山。临行前他对纳茨梅尔说，自己在那里有一个小木屋，只有他自己能找到那里，他将在那里隐居起来。
纳茨梅尔请求他不要丢下部队，此时比以往任何时候都需要集中指挥。但舍尔纳只考虑自己的安危，放弃了指挥职责。最终中央集团军群绝大部分部队被苏军合围在捷克斯洛伐克，少部分西撤向盟军投降。
这两个版本都带有主观情绪，从逻辑上看，舍尔纳不太可能擅自丢下部队，他应该得到过希特勒的指示，必要时撤到阿尔卑斯山。实际上德军为数不少的将领在战争最后时刻都有去阿尔卑斯山的打算。但希特勒肯定不会允许舍尔纳丢下90万部队独自逃，所以他丢下部队的行为肯定是坐实的。历数舍尔纳担任集团军群级指挥官以来，他并不会不折不扣的执行希特勒的命令，很多时候都会给自己留一手。
不管迪赫尔和纳茨梅尔谁说得对，事实上舍尔纳都没有能抵达阿尔卑斯山。他乘坐的那架小型飞机在奥地利东部迫降。舍尔纳在那里游荡了几天，最终被盟军俘虏。5月18日，他的身份被识破，随后遭到逮捕，并在几天后移交给了苏军。
舍尔纳对待自己的部队都毫不留情，可想而知他对待苏军和苏联人会是什么样的手段，这也是他急于从布拉格脱身的重要原因——宁愿被盟军俘虏，也绝不能落入苏军手里。实际上在东线打过仗的德军普遍都有这种心态。整个苏德战争期间，苏联人付出了4600多万人伤亡的代价。
舍尔纳并没有被苏联人处以极刑，他被判处25年监禁。1955年1月，在服刑9年后，舍尔纳被提前释放，回到了慕尼黑。
1957年，舍尔纳被慕尼黑当地法庭判处4年半监禁，并剥夺了他的养老金，起因是他在战时未经审判处决了一名士兵。
1960年8月，舍尔纳提前释放。1973年7月，舍尔纳在慕尼黑的家中病逝，时年81岁。
