师团是近代以来旧日本陆军最高一级的固定编制单位，为基本战术兵团，1888年，日本陆军将镇台改成了六个师团。后来随着军事力量的逐渐强大和对外扩张的需要，日本军队增加了师团的编制，1915年12月24日，第二十师团在朝鲜北部的龙山成立。
当时的朝鲜已经沦为了日本的殖民地，为了强化对朝鲜人民的统治，日本陆军组建了这个二十师团。该师团的兵员主要来自日本九州和关西地区，征兵完毕后，经过选拔后送往朝鲜龙山。二十师团虽然成立于1915年，但正式编制完成是在1918年，经过训练后直到1921年才正式形成战斗力，之后师团司令部迁到平壤。
1931年九一八事变之后，二十师团主力第三十九旅团于9月19日向中朝边境移动，后来该部到达沈阳。年底第二十师团司令部也暂时进入中国东北地区，1932年1月协助关东军攻下锦州之后，于4月返回朝鲜龙山驻地。1937年日军挑起了七七事变，之后发动了全面侵华战争，在朝鲜的第二十师团也准备要参战。
此时的第二十师团为日军甲种师团，指挥官为川岸文三郎中将，编制有第三十九和第四十两个步兵旅团，下辖驻平壤的第七十七联队，驻龙山的第七十八和第七十九联队，驻大邱的第八十联队，共四个步兵联队及炮兵、工兵、骑兵和辎重各一个联队，另外还有卫生队、通讯队和野战医院等后勤人员，全师团约21940余人。该师团装备步骑枪9430多支，轻重机枪645挺，掷弹筒、九二式步兵炮和迫击炮共570多门，另外还配备5840多匹马。
重武器包括四一式山炮12门，三八式野炮36门，37毫米速射反坦克战防炮12门，轻型装甲车12辆。1937年7月12日，日军第二十师团抽调9800名官兵自朝鲜出发，走水路于19日在天津登陆，开始参加侵华战争。同年10月，二十师团所部和日军第五师团等部进攻山西忻口，在11月初取得忻口战役胜利后，二十师团官兵撤回朝鲜。1938年，该师团开到我国华北地区，驻扎在山西运城一带。
1942年，日军第二十师团奉调太平洋战场，其活动区域为巴布亚新几内亚，后来在与盟军的战斗中被消灭。
