隋末时期，由于隋炀帝杨广昏庸无道，导致天下大乱。公元617年，李渊由太原起兵南下，讨伐隋室，在吕州霍邑(今陕西省霍州市)，李渊率领士兵与隋朝大将宋老生作战，最终斩杀了宋老生。而刘武周趁山西空虚，占领了李渊的山西老窝，公元619年，李世民奉命回击山西，后来来到霍邑，刘武周命令宋金刚死守霍邑，而宋金刚命令尉迟恭镇守白壁关，以防止李世民进攻。于是，李世民派秦琼与尉迟恭对战，两人难分高低，于是李世民想收服尉迟恭。
但尉迟恭称，只有刘武周死了，自己才肯归顺大唐，李世民因不能很快杀掉刘武周，于是找了一个跟刘武周很像的人，取其首级送给尉迟恭，没想到尉迟恭竟然相信了，归顺了大唐。李世民住在霍邑衙门时，总梦到两个无头人缠着他，两人很像宋老生和长相酷似刘武周的人。徐茂公献计说：“因主公屈杀了长得像刘武周那个人，可以派尉迟恭夜守衙门。”果然见效，那个似刘武周的冤魂不再来骚扰李世民。但还有一个宋老生仍然来骚扰，于是徐茂公又说：“隋朝大将宋老生为人忠诚，生前十分佩服秦琼，让秦琼夜守衙门，或许可以摆脱。”于是，李世民又派秦琼夜守衙门，果然宋老生也不再来骚扰他。
李世民打下大唐江山后，晚上睡觉的时候常常听到卧房外边有动静，有的时候甚至是鬼哭狼嚎之声，搞得他夜夜睡不安宁。李世民想到自己为了这天下，杀了自己的兄长，战场上还战死了那么多士兵，应该是有很多冤魂是要像自己索命的，所以内心惴惴不安，于是他将此事告诉了群臣。此时大将秦叔宝说了：他和尉迟将军两人戎马一生，杀了无数的人，踩着无数的尸体为李世民打下了这大唐江山，自己身上的杀戮之气，连鬼神都是惧怕的，还会害怕那些怨灵吗?
所以他恳请李世民允许自己和尉迟敬德二人为李世民守夜，李世民准了，如此，李世民睡得一夜安稳。但是总不能让二人夜夜如此吧，虽然臣下忠心，但是李世民也是体恤臣子的，李世民想着不如叫宫廷画师画了二人的等身画像来挂在门外，那些鬼魅应该也是害怕的，如此，果然有用。上有所好，下必效仿，秦叔宝和尉迟敬德二人门神的形象就这么传到了民间。自此，家家户户门上都挂了连鬼神都能赶走的二人的画像了。
