日俄战争后，日本向中国东北出兵，霸占了中国原被沙俄“租借”的关东州和南满铁路，所以这支部队也称为“关东军”。日本借口保护自己的既得利益，在旅顺口建立了关东军司令部。随着日本的野心越来越大，日军驻东北的部队也开始增加，人数最多的时候，达到了一百多万。炸死东北王张作霖，就是关东军所作所为，九一八事变后，司令部迁至长春，司令兼任日本驻“满”大使和关东厅长官，掌握伪满军政大权。

关东军在日本的军队里是非常厉害的，战斗力最强，装备最好，有“日军之花”之称。巅峰时期的关东军非常猖狂，先后制造张鼓峰事件和诺门坎事件，1941年举行关特演，对苏联进行武装挑衅，但是都没有占到什么便宜。

在全面侵华战争的时候，关东军并没有入关，究其原因是因为关东军时刻准备着入侵苏联。因为东北的利益以及防备苏联，所以关东军长期以来，编制非常多，人数也非常庞大。

不过，关东军与苏联几次交手都没有占到便宜，还损失惨重。随着局势的发展，日本大本营改变了策略，趁英法等国忙于欧洲和非洲战事，无力东顾之机，日本人决定先发动太平洋战争。打掉美国的太平洋舰队，进而向东南亚发展。

显然日本兵力不足了，所以让一部分关东军跟着南下了。

但是，日军在中途岛海战中遭到惨败，被迫停止了战略进攻，转而采取守势。关东军也不再敢主动挑起事端。不过，日本专门指示在东北的关东军，要“防止对苏发生战争，维持北方静谧状态”，但仍在继续扩充关东军力量。

随着太平洋战争的持续，日本大本营开始陆续从关东军抽调兵力增援太平洋战场，指望这支“精锐之师”能够挽救自己失败的命运。不过这个时候关东军只能是炮灰了，日本美国占领冲绳岛，并对日本本土开始空袭，日本不得不集中兵力进行本土决战的准备，为此又从关东军抽走7个师团，并将关东军储备的近1/3的战略物资以及大批人员调回国内。

德国投降后，日本准备放手一搏，继续扩充关东军。随着苏军的加入，关东军不堪一击，已经完全丧失了抵抗能力，只能投降了。

除了少数被击毙外，大部分关东军被俘。而这几十万的关东军俘虏被苏联带去了远东，下场还是很悲催的。