1941年12月底，古德里安卸任第2装甲集团军司令。在之后的战争期间，他的经历可以分为五个阶段——申诉、养病、担任装甲兵总监、担任陆军总参谋长、再次养病。
返回柏林后不久，古德里安于1942年1月初给希特勒递交了一份呈文，坚持要求举行一次军法会审，请求通过司法程序来审理自己被免职的原因。他认为自己受到了不公，是克鲁格在诬陷他。
希特勒没有理睬古德里安，而是委派自己的副官施蒙特去前线调查。后者回来后跟统帅部的同僚们说：“这个人是受了不公正的待遇，我们应该设法给予平反。”
不过此事并没有下文，因为没有人敢在希特勒面前为古德里安鸣不平。最仗义的算是党卫军第1装甲师（“希特勒师”）师长迪特里希，自1938年3月跟随古德里安向奥地利“和平进军”之后，两个人就结下了私人友谊，而且迪特里希对古德里安十分敬重。他特地从总理官邸给古德里安打电话，向其表示问候，声称领袖亏待了他。
古德里安起初还盼望着希特勒的答复，平日里闭门谢客，只会偶尔见一见亲属和个别旧友。渐渐地他有些不耐烦了，脾气也越来越坏，时常因为琐事大发雷霆。他原本有心脏病，只是并不严重，这一次则突然恶化。在医师的劝告下，他和妻子于1942年3月赴德国西南部的巴登疗养。
四个星期后，古德里安夫妇返回柏林，可妻子突然患上了恶性血液中毒，需要长期卧床静养。心灰意冷的古德里安只能放下所有事情，专心照顾妻子。
为了给妻子提供一个良好的休养环境，古德里安决定搬到德国南部居住。根据国防军的规定，他把行程通报给了后备军司令弗洛姆，后者则通过施蒙特向希特勒作了汇报。希特勒此时已经消除了对古德里安的怨气，他特意关照身边人在巴伐利亚为古德里安夫妇购置一处地产。希特勒还为此出台了新规定——凡是获得“骑士十字勋章加橡叶饰”的军人，由国家出资购置地产。
1942年9月，远在北非的隆美尔也因病需要返回国内治疗。隆美尔向希特勒提出，希望自己养病期间能够让古德里安代替他指挥非洲军团，但希特勒拒绝了。
转眼到了1943年初，德军在东线正在经历一场大溃败，情况远比一年前的莫斯科严重得多。德军统帅部痛定思痛，总结失败的原因，其中一点逐渐在内部达成共识——目前德国的坦克从设计到产能，从装甲部队的组建到投入实战都远远满足不了战场的需要。必须有一个人出面解决这一难题。
2月17日，待在家中的古德里安接到电话，对方是陆军人事局副局长林纳尔斯。他在电话里没有多说什么，只是让古德里安于2月19日前往拉斯滕堡面见希特勒，
一周前古德里安刚刚见过陆军人事局局长鲍德温·凯特尔（三军总长威廉·凯特尔的弟弟）。从后者的口气中得知，希特勒依旧对自己成见极深，近期不太可能起用他。那元首找他还会有什么事呢？
带着疑惑他乘坐火车来到东普鲁士的拉斯滕堡，然后改乘飞机前往“狼穴”。负责接待他的是希特勒的副官施蒙特，二人一番长谈后才解开了古德里安的疑惑。
古德里安稍作推辞，然后提出了自己的条件——如果出任装甲兵总监，必须接受元首的直接领导，自己不想听命于陆军总参谋长和陆军总司令。此外在训练和组织方面，除了国防军的装甲部队，党卫军和空军所属的装甲部队也一并纳入自己的管辖范围。送别施蒙特时，他还特意叮嘱了一句：“如果元首不同意，我将立即返回柏林。”
2月19日15时14分，希特勒在自己的书房单独会见了古德里安。这是两个人自1941年12月20日发生争吵后第一次见面。时隔14个月，古德里安发现希特勒明显苍老，往日的神采飞扬的气势不复存在，左手则不停地抖动。
希特勒对古德里安说的第一句话是“对于1941年我们分手时的许多误会，我很抱歉。现在我需要你的帮助。”
希特勒如此表态顿时打消了古德里安所有的怨气，他赶紧对希特勒恭敬地说：“只要环境许可，使我能真正做一点有益的事情，那么我愿意接受您的任命。”
接任装甲兵总监职务后，古德里安逐渐看清了德国在装甲兵组织管理方面的混乱局面，总结起来就是一句话——“逢君之恶”。
希特勒喜欢标新立异，而且还极度自负。自1942年6月，希特勒突然对坦克设计产生了浓厚兴趣。对于处在实验阶段的6号坦克（“虎式坦克”），他提出应该增加前装甲厚度到100毫米，后来又增加到120毫米。
在坦克关键技术上，他推翻了德国技术专家们一贯坚持的“火力第一，速度第二，防护第三”的优先次序，认为装甲防护才是最重要的条件，还因此下令研制一种重达100吨的坦克。
7月他还下令把第一个虎式坦克连派到斯大林格勒参加实战，后来又改变主意，把这个连调到了法国。
元首热衷于此，各方大佬也纷纷凑热闹，然后各种五花八门的坦克如雨后春笋般涌现出来。在产的坦克也不断收到改进要求，让生产企业疲于应付（其中也有古德里安的“功劳”），后果是大大降低了坦克的产能。
为了提升新型五号坦克（豹式）和六号坦克（虎式）的产量，希特勒还一度下令停产战场上的主力战车——四号坦克。
跟古德里安关系有所修复后，希特勒于3月中旬邀请古德里安一同参加了一次新武器展览会。古德里安见到了三种新产品——“裴迪南”式自行火炮、“古斯塔夫”巨型装甲列车和“围裙”防护装置。
尽管裴迪南·波尔舍（保时捷创始人）极力宣扬自己的得意之作，可在古德里安眼里，“裴迪南”式自行火炮并不适合东线战场。它拥有超强的火力——1门88毫米火炮（71倍管径），也有极好的装甲防护，但它没有配备辅助机枪。在近距离交战时将极为被动。希特勒听古德里安这么一说有点泄气，可工厂已经生产出来90多辆“裴迪南”式自行火炮，也不能放在那不用。于是古德里安用他们组建了2个营，后来投入到库尔斯克战役中。
“古斯塔夫”装甲列车上装备了一门800毫米的巨炮，由于体型巨大只能在铁路线上运行。作为装甲兵总监，古德里安不明白为什么给他看这个，直到设计者米勒吹嘘说它能打坦克，才明白缘由。
古德里安毫不客气，他当着希特勒的面对米勒说：“我敢说他打不中坦克。”米勒一听就急了，跟古德里安争吵起来，但他心里清楚，这种巨炮发射一枚炮弹需要40多分钟，哪个坦克会在这么长时间傻等着挨揍。展览结束后，米勒找到古德里安承认，自己在希特勒面前的确是胡说八道。
得到古德里安认可的是“围裙”式防护装置，这种外挂钢板适用于三号、四号和突击炮的侧面和后面，能够有效抵消步兵战防武器对装甲车辆的杀伤。
在担任前线指挥官时，古德里安就对那些长期待在后方的总部参谋们不满。他们不了解前线，提出的意见和作出的决定往往和战场上的形势脱节。这一点也是1941年12月20日与希特勒那次争吵的焦点之一，当时古德里安提出用前线的参谋和总部参谋对调，这样不仅可以去除总部的官僚习气，还能拉近前方和后方的认知差距。但希特勒认为这是架空自己的诡计。
担任装甲兵总监后，古德里安在自己管辖的局部实施改革。当初的几个老部下从前线被召回，分别担任总监部分支机构的负责人。在敲定人选时，古德里安不仅考虑能力，还特意优先考虑年纪大或是受过重伤的。通过轮换他们也可以在后方得到休养。
组建好自己的班子，古德里安还得协调好外部关系。他先去拜访了在军方和政界都很有影响力，而且还是希特勒宠臣的空军元帅米尔希。与其一番交谈，让古德里安明白了要想在后方干好工作必须结交的几个关键人物。在米尔希提供的名单里，包括宣传部部长戈培尔、党卫军头目希姆莱，以及军需生产部长施佩尔。
此前专心于部队训练和指挥作战的古德里安对政治并不感兴趣，而且也没有加入纳粹党。但现在与过去不同，只能降低姿态同几位纳粹大佬打交道。
1942年3月初，古德里安先去拜会了戈培尔。纳粹大佬们无一不想在军中培养影响力，所以对于在军中，特别是装甲部队享有崇高威望的古德里安主动示好，戈培尔有些喜出望外。二人坐下来进行了长谈，古德里安对戈培尔印象也极好，认为他绝顶聪明，还富有理性，是纳粹党徒中难得的人才。
不过在谈到敏感问题时，古德里安还是没有得到戈培尔的支持。比如他推荐由曼施坦因接替凯特尔出任三军总长，戈培尔就坦率地告诉他几乎没有可能，但答应在适当的时机会劝告希特勒改组最高统帅部。
不久之后，古德里安又去拜访了施佩尔，同样受到了热情接待。而且两个人在之后的合作一直非常愉快。不过和希姆莱的会面就不那么愉快了，后者就掌握着庞大的军队，对过气的古德里安根本就不放在眼里。两人在后来也一直磕磕绊绊。
3月的晚些时候，古德里安以备忘录的形式提出了“提高装甲部队装备和战斗力”的方案。备忘录核心要点包括：
新组建的装甲师要增加坦克编制，每个师编入4个坦克营，全师坦克总数达到400辆。同时为了确保装甲师的作战能力，做到随时补充损失的坦克。
四号坦克不但不能停产，还要增加产量。
突击炮的产量也要增加，并以营级编制编入野战师，用来替代坦克承担的战场支援任务，尤其可以加强步兵师在防御阶段抵抗苏军坦克的冲击。同时应把突击炮划归装甲兵总监部的管辖，直到坦克的产量可以满足前线需求为止。
对于新型的五号和六号坦克，不应急于部署到前线，也不要急于大批生产，而是应该进行更充分的试验，使其尽善尽美。
坦克兵的训练时间也要延长，不要仓促派到前线。若想争取战场主动权，装甲部队必须在后方积蓄足够的力量，再集中投送到战场才能奏效。
古德里安的备忘录体现了一个核心思想——不要标新立异，不要急于求成。
这份备忘录递交上去后，希特勒很快就组织了一次专题会议。与会的人员很多，统帅部和陆军参谋总部的各方头头脑脑几乎全部到场。也许是希特勒提前打过招呼，所以会议讨论得虽然很激烈，但大部分提议都获得了同意。唯独“把突击炮单元划归装甲兵管辖”这一条遭到了强烈反对。
希特勒的副官施蒙特直接指出了要害点——突击炮单元原本归属炮兵，是炮兵部队唯一可以获得“骑士十字勋章”的渠道。从炮兵部队抢走它，也就夺走了这份荣誉。
希特勒并不能理解古德里安的苦心，所以大家反对时他反而有些幸灾乐祸。最后他两手一摊，对古德里安说：“你瞧，大家都反对你的提议，所以我也无法批准。”
5月2日，古德里安被召到慕尼黑，参加最高统帅部军事会议。这次会议的规格非常高，除了最高统帅部的主要首脑，还有南方集团军群司令曼施坦因、中央集团军群司令克鲁格、第9集团军司令莫德尔和军需生产部长施佩尔。
会议议题是讨论“堡垒计划”的可行性和有效性。根据统帅部制定的目标，德军企图通过库尔斯克战役的胜利重新掌握东线战场的主动权。
陆军总长蔡茨勒是堡垒计划的坚定支持者，他认为如果使用新型的虎式、豹式坦克战车，能够获得决定性的胜利，从而获得战场的主动权。
莫德尔提出反对意见，根据战场侦察报告，苏军在库尔斯克地区构筑了纵深防御阵地，把大批装甲部队投入到拥有坚固工事的敌军阵地上并不可取。
古德里安支持了莫德尔的意见，同时还从本职角度出发提醒在座诸位，新研发的战车虽然主要性能出色，但还需要完善，不能仓促投入战场。他建议取消“堡垒”行动，在新装甲师组训完成后再发动决定性的行动。
会议没有形成最终结论。
一个星期后，古德里安赴总理府向希特勒汇报坦克生产方面的进展。借着这个机会他再次恳求希特勒允许他对战局发表意见。在得到希特勒的准许后他说：“我恳请您放弃东线战场的进攻计划，您也应该早就看出这个计划在执行中的困难，它会得不偿失，更会严重影响我军在西线的防务，我们为什么要这么干呢？”
站在一旁的三军总长凯特尔率先发难，他嘲讽古德里安不懂政治，不了解这次攻势的意义。古德里安历来讨厌这位“点头将军”，既然凯特尔提到了政治，他反驳说：“你想想看，全德国乃至全世界到底有几个人知道库尔斯克？我们是否攻下库尔斯克，对于全世界而言都是一件无关紧要的事情，为什么一定要在今年发动攻势呢？”
希特勒打断了两个人的争吵，对古德里安说：“将军，你说得一点没错。我一想到这个攻势就不免作呕。”他还向古德里安保证：“我没有决定要实行这个计划的想法。”
希特勒没有兑现承诺，库尔斯克会战的准备工作一刻也没有停止。7月，库尔斯克会战爆发。
库尔斯克会战中，德国投入了并不成熟的新型战车，这些新武器虽然给苏军造成了很大的威慑，但无法改变战局。莫德尔装备的90多辆“裴迪南”式强击火炮正如古德里安预料的那样，不仅无法携带足够的弹药，也没有安装机枪，冲到苏军步兵阵地后，就像一堆废铁毫无用处。如果冲到苏军炮兵阵地，往往被苏军击毁。
五号坦克（豹式）在实战中则暴露出底盘技术不过关而且故障频频。尤其是因为增重加上冷却系统不良，导致引擎起火，使其在实战中并没有发挥多大作用。
库尔斯克会战第二阶段，苏军转入反攻。面对步兵师缺少反坦克装备而损失惨重的境况，希特勒大声斥责“为什么不给步兵师装备充足的强击火炮！”
当他转身看到古德里安时，先是愣了一下，然后突然想起古德里安曾在三月份的会议上提出“增加突击炮的产量，并大量装备给步兵师”的建议。希特勒只好向古德里安认错：“你的话是对的，几个月前你就说过这个问题，不幸的是我没有接受你的建议。”
