日军基本的战术兵团是师团，这是日本陆军最高一级的固定编制单位。师团的设置自1886年开始，到七七事变开始前，日军有17个常设师团，是日军的常备军，番号依次为近卫、一至二十（内欠十三、五、十七、十八师团）。编制为四单位制、即师团下辖2旅团、 旅团下辖2步兵联队。当时的师团分为两种，一是驮马制、炮兵联队辖有四个大队（36门75mm山炮与12门75mm野炮），步兵联队辖有一个联队炮中队（4门山炮）、一个步兵炮中队（4门步兵炮），总编制为28500人。

一是挽马制、炮兵联队有36门野炮与12门120毫米榴弹炮、步兵联队辖有一个联队炮中队与一个速射炮中队（37毫米速射炮四门）、总人数为25000人。此外还有一些独立的特种兵部队：骑兵旅团（辖2个骑兵联队与1个骑炮兵联队、1个装甲车队）、坦克联队、独立工兵联队、独立野炮联队（36门120毫米榴弹炮与12门75毫米野炮）、独立野战重炮兵联队（24门150毫米重榴弹炮）、野战重炮兵联队（16门100毫米加农炮）、独立重炮兵大队（8门150毫米加农炮）、迫击炮大队（中型迫击炮36门）、独立山炮兵联队、电讯联队、铁道联队等等。

抗战爆发后，日军又重新组建了十三、十八两个新编常设师团，又组 建了一批特设师团。所谓的特设师团是指由常设师团的预备役人员所 组成的部队，其番号为常设师团、联队的番号前加一百。其编制大体与常设师团相同，只是骑兵联队变为骑兵大队（二个骑兵中队与一个机枪小队），挽马制师团的炮兵联队为36门野炮与12门山炮。特设的驮马制师团人数为28200人、挽马制为24400人。同时在作战时日军给各师团配属特种兵及补充人员等，可使一个师团指挥的人马达四万人以上。

抗战中，由于作战消耗，加上日军感到四联队制师团行动不便，所以又搞出了三单位制师团，即一个师团的组成包括3个步兵联队，一个野战炮兵联队，一个侦察联队，一个工兵联队，一个运输联队，通讯队。联队下辖三个步兵大队与一个步兵炮中队（4门步兵炮）、步兵大队无大队炮小队，炮兵联队为24门山炮或野炮，骑兵联队改为搜索联队，其他如辎重、工兵等后勤部队也大为减少，编制人数为12800人。独立混成旅团辖五个步兵大队与一个炮兵队、通讯队、工兵队、辎重队等，总人数约5000人。步兵大队辖三个步兵中队与一个机枪中队（四挺重机枪）、炮兵队辖一个山炮中队与二个野炮中队。这两种部队都是主要作为守备用途的，同时具有小规模的野战能力。