自从十九世纪七十年代日本建立新式陆军后，师团就为最高一级固定编制单位，是基本战术兵团，最初仿制德国军队编制，每个师团员额约18000人。后来到了二战时期，其编制随着战事变化，又作了多次改动，时而扩大、时而缩小，分为多种等级。

1931年日军发动九一八事变时，有17个常设师团，约30万人马，编制为每个师团下辖2个旅团，每个旅团下辖2个联队。1938年武汉会战结束后，战事进入战略相持阶段，日军要应对正面和后方两个战场，为了适应不同的战斗规模需要，日军把师团分为甲、乙、丙、丁四种等级。兵员最多，装备齐全的甲种师团，辖2旅团4个步兵联队，骑、炮、工、辎重各1个联队，共8个联队，加上师团部、旅团部的非战斗人员，总员额28200人。

乙种师团又称驮马师团，由于后期马匹不足，在甲种师团的标准上压缩了骑兵联队，改为大队，辖2旅团4个步兵联队，炮、工、辎重各1个联队，再加上师团、旅团部人员，总员额24400人。丙种师团由混成旅扩编，辖3个步兵联队，炮,、工各1个联队，共有5个联队，加上师团部人员总共15500人。

丁种师团也是由混成旅扩编，只辖3个步兵联队，其它兵种只有大队或者中队编制，总员额11000人。由于丁种师团人少，重武器不多，编制机动灵活，所以主要任务是对付也没有重火力的敌后抗日武装。

太平洋战争爆发后，日军将部分重武器调到东南亚和太平洋占领岛屿，在中国战场又编组了没有配备炮兵的2旅团制师团，每个旅团下辖4个步兵大队，每个大队下辖4个步兵中队和1个配备8挺重机枪的机枪中队，其他兵种仅有师团部直辖的通讯队、工兵队和辎重队，总人数为11980人。

1944年，日军在各地作战不力，人员损失较大，造成兵源紧张，因此师团编制又有了变化，分为甲乙丙三种，人数大为缩减。甲种师团有两类，一类为原有的常设师团，总人数为21000人，拥有36门75毫米野炮或者山炮。另一类为特设的三单位师团，总人数为18000人。

乙种师团也是三单位制编制，不过比甲种师团少了炮兵联队与骑兵联队，总人数为14000人。丙种师团即两旅团制师团。同时，日军因为师团实力减弱，于是乎又出现了独立警备队和独立步兵旅团两种编制。

独立警备队下辖6个步兵大队，每个大队下辖3个步兵中队和1个配备4挺重机枪的机枪中队，总人数为4900人。独立步兵旅装备与独立警备大队差不多，总人数稍多，为5100人。这时候的日军因为本土军工厂被美军持续轰炸，武器生产困难，所以军队中技术兵种下降，装备大不如前。

1945年，日军困兽犹斗，将国内能上前线的人都征到军中，对编制做了最后一次调整。首先给火力严重不足的丙种师团增编一个配备九二式步兵炮的中队，将独立混成旅团下辖的步兵大队改为辖4个步兵中队，1个机枪中队和1个步兵炮中队，这样人数就达到1500人的大编制。旅团炮兵则配备6门野炮和12门山炮，同时，所辖工兵、辎重部队也进行扩编，这样独立混成旅人数就达到8000人。

重新编组了丁种师团，其编制与丙种师团差别不大，但是除了步兵，没有其他技术兵种。所属步兵大队下辖的机枪中队仅装备重机枪4挺，步兵小队只有1具掷弹筒和1挺轻机枪，火力是真的弱，要知道在三十年代末，当时日军一个小队可是配备3挺轻机枪和4具掷弹筒。

日军此时进行队伍编制，其目的是还想垂死挣扎，但是改变不了日益窘迫的局面，日军离灭亡不远了。