二战期间，德国武装部队有着他们独立的警察跟警卫部队，主要包括三个部分：军纪警察（或称为野战宪兵）、野战秘密警察和陆军警卫师。

军纪警察，跟大多国家的军事警察还有宪兵类似。从称呼上便能够看出，其职责主要是维持军队纪律跟秩序。且还承担着交通管制、检查士兵身份证、抓捕逃兵、管理占领区居民，押送和看管战俘、抓捕被击落敌机的飞行员、清除敌方宣传品等一系列职责。德国军纪警察较少承担政治保卫方面的任务，警察权限也很有限。

在战争后期的时候，德国军纪警察也常常处死逃兵，在敌方我方都不是什么受欢迎的人。随着纳粹德国的局势愈发糟糕，德军北部的秩序也在逐渐瓦解，也便需要更多的警察。因此，自1943年11月起，从前线老兵中挑出一些人充当所谓“野战歼击兵”，实际算是临时军事警察。挑选的标准是至少于前线服役了三年，或是至少获得过二级铁十字。

野战秘密警察组建于1939年7月，最开始属于陆军。后来德国空军也组建了自己的野战秘密警察。野战秘密警察实际上是德国军队所有的侦查和调查部门，因此有许多成员都是从德国刑警部门调来的，且常常都是穿着便衣行动。野战秘密警察干的活类似于战地间谍，也调查军队内部的叛国、杀人、盗窃、黑市等等犯罪行为。占领区针对德国军事设施的破坏活动，也在野战秘密警察的调查范围内。

以上说的是国防军的警察警卫系统。并不包括党卫军跟武装党卫军的各种警察和警卫单位，也不包括各种杂牌的“辅助警察”。而在前线以及占领区，德国军队跟党卫军的各种警察部门和警卫部队彼此之间的职责界限也不是那么明确。但总的来说，德国军事警察的权力远不如党卫军警察系统强大，更谈不上构成一支独立的政治力量。

盖世太保则是二战德国的政治暴力警察。其中大部分是以前的国家政治警察，加入盖世太保的成员完全是自愿的。1943年至1945年，其成员有4万到5万人。

盖世太保最早产生于德国的普鲁士和巴伐利亚两个邦。1933年纳粹党执政后，纳粹二号人物戈林以普鲁士邦内政部长身份接管邦警察局，他将政治警察、谍报警察和刑事警察中政治特别部门合并，组成秘密警察处。一个无名的邮局小职员奉命为这个新成立的组织设计一种免费投递的邮票图样时，提议把它叫做秘密国家警察，简称'盖世太保'，一个令人谈虎变色的名称就这样出现了。

1936年6月，希姆莱成为德国警察总监，盖世太保随之向全德国发展。同时希姆莱改组全德警察指挥体系，盖世太保改为着便服的保安警察。但许多党卫军兼有盖世太保职务。

盖世太保和党卫军是两个独立的组织，但他们有着共同的使命，那就是摧毁任何反对纳粹政权的势力。盖世太保有'预防性逮捕权'。海德里希的特务网遍布德国，仅在30年代就雇有10万名兼职密探。此外，保安处还有3000人的专职密探和3万名兼职密探。在纳粹上台后的几年中，成千上万的左派人士、知识分子、犹太人、工会运动者、过问政治的教士，都不经法律程序被投入集中营。白色恐怖使人的心态扭曲。当时一位驻柏林的美国记者写道：'你的儿子、你的父亲、你的妻子、你的表亲、你的友好、你的上司、你的秘书，都可能是海德里希的组织的告密者。

1941年夏，盖世太保与党卫军合作，在东欧建立了奥斯威辛、毛特豪森、索比包等30余个集中营，关押来自荷兰、比利时、法国、挪威和东欧各国等地的犹太人数百万。波兰境内的奥斯威辛等集中营设置了毒气室和焚尸炉等，改造成灭绝营。奥斯威辛集中营创造一天毒死6000人的记录，该灭绝营共杀死250万犹太人。当苏联红军解放到这个人间地狱时竟发现，有7吨剪得很整齐，相当于14万妇女的头发，纳粹把这些头发当做毛毡的替代品，成为生产原料。