经常看抗日影视剧的人对于日军部队的编制名称或许并不陌生，猪头小队长，松井中队长这些经典抗日影视作品中著名反派也早已耳熟能详。事实上，跟世界上大部分国家采用的班、排、连、营、团、师体系不一样，日军构建了分队、小队、中队、大队、联队、师团的编制体系，从结构到规模都显得与众不同。

日军最小的战术单位是分队，相当于中国军队的班。每个分队有13人，包括分队长、4名机枪射手和8名步枪兵。有一挺轻机枪，编制4人（组长、射手、两名携弹药的副射手），4人配备自卫手枪，在战斗中有时也携带步枪（机枪射手除外）；8名步枪兵，每人一支单发步枪。特别加强的部队中，加强班还会多配置一个两人携带的掷弹筒。

日军中的一个小队，稍稍大于中国军队的排，通常由3个分队跟1个装备三个掷弹筒的掷弹筒分队组成，共54人。加强配置时，每个分队有15人，加强一个掷弹筒，整个小队共62人。在当时，为对付我国的游击战，日军还曾有另一种小队编制：每小队6个分队，每分队8人，只有3个分队配置机枪，全小队50人。

日军的一个步兵中队比起中国军队的一个连就已经大出不少了。包括一个19人的中队部：有中队长，执行官，3个军士，4个卫生员，军官的勤务兵，司号员，8个通信员；3个54人的小队。共181人，步枪139支，轻机枪9挺，掷弹筒9具。有时会加强1到2门90迫击炮或九二步兵炮。

除一般的步兵中队外，日军还有机枪中队的编制，有14人的中队部和3个弹药小队和1个弹药小队，每个小队4挺重机枪，共12挺，174人。

炮兵中队，编制122人，包括1个25人的中队部，1个观察分队，1个31人弹药小队，3个31人炮小队（每个炮小队各有2个15人的炮分队，装备一门70毫米九二步兵炮）。

日军一个1100人编制的大队是中队之上的编制，与同期的中国军队相比，它远大于一个营，但又明显小于一个团，处于营团两级之间。日军的大队包括30人的大队部，一个110人的运输中队（有大车和骡马），有的大队将所属的运输中队合并到更上一级的联队里。四个步兵中队（一些大队只有3个）；一个机枪中队；一个55人的炮小队（1个10人的小队部，1个15人的弹药分队，两个15人的炮分队各装备1门70毫米九二步兵炮），极少的部队配备一个122人的炮中队（包括一个27人的弹药小队，两个31人的炮小队各装备2门步兵炮）。在这些少量的炮中队中，极少一些可以分到20毫米反坦克枪的部队，可以编成4个24人的装备2挺反坦克枪的小队。

日军单一兵种最大的作战单位是联队，一般日军将联队视为团级单位。一个3800人的联队包括一个54人的指挥部；一个121人的运输队（有大车和骡马），携带团部和直属各连一日份的给养以及可能配属师的野战厨房；一个81人的弹药小队携带一日份的弹药。三个步兵大队；一个122人的炮兵中队。极少数联队有一个364人的炮兵大队，编两个170人的中队，各4门炮。

联队属反坦克中队有122人，包括20人的中队部，21人的弹药小队，3个33人的炮小队（各有两门37毫米反坦克炮）。通信中队有一个电话小队（4到6个电话分队，每分队3部电话，一个交换机），一个无线电小队（5到8台电台），在战斗中电话和电台配属到各大队和各直属队。联队的卫生系统配备很薄弱，联队只有2名医生和2名卫生员，大队有3名医生和四个卫生员，中队有四个卫生员。

日军还有炮兵联队。配属普通师团的野战炮兵联队编制2322人，有3个688人的炮兵大队，各装备12门75毫米野炮或山炮。

配属战车师团的汽车牵引炮兵联队开始由2个大队（6个中队）编成，装备机动九〇式野炮24门；1945年增编三中队制自行炮大队1个。