在先后占领南斯拉夫和希腊之后，克莱斯特的第一装甲集群，被编入德军南方集团军群。1941年6月22日，德军对苏联发动全面进攻，克莱斯特的第一装甲集群作为先头部队，向乌克兰方向挺进，随后与苏联军队的第4、8、9、15、19、22，6个机械化军正面对抗。克莱斯特率领的第一装甲集群有720辆坦克，而苏军的六个军共有4525多辆坦克。

结果，克莱斯特以不到一半的伤亡，摧毁苏军六个机械化军三千多辆坦克。到7月7日，苏军西南方面军只剩下900多辆，克莱斯特指挥德军第一装甲集群继续往基辅方向进攻，他与古德里安的第二装甲集群再次发动钳形攻势，在基辅地区包围苏联西南方面军的主力。经过一番激烈后，60多万苏军官兵被俘，苏军在乌克兰方向的防线被彻底摧毁。

1941年秋季，德军的后勤补给遭到严重困难，克莱斯特不断向上级反映，自己的部队已经达到进攻极限。然而，哈尔德总参谋长强令克莱斯特向罗斯托夫发起进攻，导致德军第一装甲集群，首次在东线战场上遭到失败。1942年，希特勒下令德军重点进攻目标是盛产石油的苏联高加索地区，克莱斯特再次被希特勒委以重任。1942年5月11日，苏军调集20个步兵师、7个骑兵师和14个坦克旅，发起了第二次哈尔科夫战役。

克莱斯特当即率军驰援保卢斯的第6集团军。第一装甲集群与第6集团军配合作战，击败了苏联军队。苏军有7.5万人阵亡，23.9万多人被俘，苏军被摧毁、被缴获的坦克有1249辆，苏军还损失了2000多门火炮，600多架作战飞机。蓝色行动发起后，克莱斯特指挥德军第一装甲集团军对罗斯托夫发动猛烈进攻，亚速海沿岸的苏军迅速被击溃。