第一次世界大战日本作为协约国的一员同德国开战，1914年8月23日两国正式断交，直至战后1920年国际联盟成立（日本为四个常任理事国之一），各国之间的关系逐渐缓和，日德两国也在次年恢复外交并互派使节，首任驻德大使馆武官为曾任参谋本部欧美课德国班负责人的香椎浩平。

二战期间的日本驻德大使馆，建于1938年，由德国著名建筑师路德维希·穆沙默设计，该馆一直使用至90年代。

90年代重建并使用至今的日本驻德大使馆，依旧位于旧馆原址，对过则为意大利驻德使馆。

（在任时间：1921年2月8日至1924年10月14日）香椎浩平陆军中佐（在任期间晋升陆军大佐），1881年1月25日生于福冈县，陆军士官学校第12期（步兵）以及陆军大学校第21期毕业，1931年8月1日晋升陆军中将，1954年12月3日去世。

1918年06月 元帅副官（川村景明）1921年02月 驻德国大使馆武官1924年12月 步兵第46联队长1926年03月 步兵第10旅团长1928年08月 陆军户山学校长1930年12月 中国驻屯军司令官1932年05月 教育总监部本部长1934年03月 第6师团长1935年12月 东京警备司令官1936年07月 退出现役

（在任时间：1924年10月14日至1927年3月5日）渡边良三陆军大佐（在任期间晋升陆军少将），1879年12月11日生于长野县，陆军士官学校第12期（炮兵）以及陆军大学校第22期毕业，1931年8月1日晋升陆军中将，具体去世时间不详。

1918年10月 陆军大学校教官1922年08月 野炮兵第21联队长1924年02月 陆军野战炮兵学校教导队长1924年10月 驻德国大使馆武官1927年07月 陆军野战炮兵学校教育部长1928年08月 野战重炮兵第3旅团长1931年08月 退出现役

（在任时间：1927年3月5日至1929年8月1日）大村有邻陆军少将，1878年8月6日生于爱知县，陆军士官学校第11期（步兵）以及陆军大学校第21期毕业，1929年8月1日晋升陆军中将），具体去世时间不详。

1918年07月 陆军大学校教官1922年04月 教育总监部庶务课长1923年08月 步兵第78联队长1924年02月 步兵第40旅团长1927年03月 驻德国大使馆武官1929年08月 由良要塞司令官1931年03月 退出现役

曾任驻德武官的大岛浩自1938年开始担任驻德大使直至德国战败投降，战后被远东国际军事法庭判处终身监禁。

（在任时间：1929年8月1日至1932年2月6日）河边正三陆军中佐（在任期间晋升陆军大佐），1886年12月5日生于富山县，陆军士官学校第19期（步兵）以及陆军大学校第27期毕业，1945年3月9日晋升陆军大将，1965年3月2日去世。

1925年06月 元帅副官（川村景明）1929年08月 驻德国大使馆武官1932年04月 步兵第6联队长1933年08月 陆军步兵学校教导队长1934年03月 教育总监部第一课长1936年04月 中国驻屯步兵旅团长1937年08月 华北方面军副参谋长1938年02月 华中派遣军参谋长1940年03月 第12师团长1941年03月 第3军司令官1942年08月 中国派遣军总参谋长1943年03月 缅甸方面军司令官1944年12月 中部军司令官1945年02月 第15方面军司令官1945年04月 航空总军司令官（战争结束）

（在任时间：1932年2月6日至1934年3月5日、1940年11月13日至1943年3月5日）坂西一良陆军中佐，1891年1月26日生于鸟取县，陆军士官学校第23期（步兵）以及陆军大学校第30期毕业，1941年3月1日晋升陆军中将，1946年9月16日去世。注：坂西一良在1932年以及1940年曾两次出任驻德国大使馆武官。

1932年02月 驻德国大使馆武官1934年08月 军事调查部调查班长1935年12月 关东军参谋（第一课长）1937年03月 步兵第59联队长1938年09月 陆军大学校教官1939年12月 陆军步兵学校长1940年11月 驻德国大使馆武官1943年03月 第35师团长1944年04月 第20军司令官（战争结束）

（在任时间：1934年3月5日至1938年10月8日）大岛浩陆军大佐（在任期间晋升陆军中将），1886年4月19日生于岐阜县，陆军士官学校第18期（炮兵）以及陆军大学校第27期毕业，1938年3月1日晋升陆军中将，1975年6月6日去世。

1921年05月 驻德国大使馆武官辅佐官1923年02月 驻奥地利以及匈牙利公使馆武官1928年02月 炮兵监部部员1930年08月 野炮兵第10联队长1931年08月 参谋本部防卫课长1934年03月 驻德国大使馆武官1938年10月 退出现役

坂西一良曾两次出任驻德武官一职，第二次在任期间日美太平洋战争爆发，当日德国对美国宣战。

（在任时间：1938年10月8日至1939年12月1日）河边虎四郎陆军少将，1890年9月25日生于富山县，陆军士官学校第24期（航空兵）以及陆军大学校第33期毕业，1941年8月25日晋升陆军中将，1960年6月25日去世。

1928年12月 陆军大学校教官1931年03月 参谋本部作战课作战班长1932年01月 驻苏联大使馆武官1935年08月 关东军参谋（第二课长）1936年03月 近卫野炮兵联队长1937年12月 参谋本部作战课长1938年03月 浜松陆军飞行学校教官1938年10月 驻德国大使馆武官1940年03月 下志津陆军飞行学校教官1940年09月 第7飞行团长1941年07月 防卫总司令部总参谋长1941年12月 陆军航空总监部总务部长1943年05月01日 第2飞行师团长1943年05月19日 第2航空军司令官1944年08月 陆军航空总监部次长1945年04月 参谋次长（战争结束）

（在任时间：1939年12月1日至1940年11月13日）冈本清福陆军大佐（在任期间晋升陆军少将），陆军士官学校第27期（炮兵）以及陆军大学校第37期毕业，1943年10月29日晋升陆军中将，1945年8月15日自尽。

1931年05月 驻德国大使馆武官辅佐官1932年08月 野炮兵第3联队大队长1935年11月 参谋本部作战课作战班长1936年02月 陆军大学校教官1937年08月01日 中国驻屯军作战课长1937年08月30日 第2军作战课长1939年03月 野炮兵第4联队长1939年12月 驻德国大使馆武官1941年04月 参谋本部第二部长1942年08月 南方军副总参谋长1943年02月 参谋本部第四部长1944年03月 驻瑞士公使馆武官（战争结束）

（在任时间：1943年3月5日至战争结束）小松光彦陆军少将（在任期间晋升陆军中将），陆军士官学校第29期（步兵）以及陆军大学校第38期毕业，1945年3月1日晋升陆军中将，1972年11月3日去世。

1933年05月 步兵第30联队大队长1934年01月 陆军大臣秘书官（林铣十郎）1937年03月 陆军大学校教官1938年07月 陆军省人事局徴募课长1940年11月 德意日三国同盟委员1941年02月 驻德国大使馆武官辅佐官1943年03月 驻德国大使馆武官（战争结束）