公元前66年，霍光家属遭囚，皇后霍成君知情后，急忙面见汉宣帝，恳求道：“念及父亲对朝廷之忠，请饶恕霍家，勿要取其性命。”汉宣帝怒火中烧，猛地踹开霍成君，怒斥道：“霍家上下皆怀狼子野心，朕誓不让霍家得逞，亦绝不宽宥任何一名霍家族人。”次日，霍光全家遭腰斩弃市，并夷三族，牵连灭族者达数千家。霍成君被废入冷宫，霍氏在朝二十年的庞大势力，至此彻底崩溃。霍家遭遇不幸，责任不在霍光，而是源于其妻霍显，一个野心极大的女子。
【盼女成为皇后，毒害许平君】公元前74年，霍光拥立汉武帝曾孙刘病已为汉宣帝。自昭帝时期起，霍家子弟、女婿乃至外孙已在朝中占据高位，形成势力庞大的霍氏集团。彼时，霍光之幼女霍成君待字闺中，欲使其成为皇后。霍光未直言于汉宣帝，而群臣洞悉其意，遂联名上奏，恳请汉宣帝纳霍成君为后。
汉宣帝意属发妻许平君为后，虑及自身境遇，不欲重蹈刘贺覆辙，又惧霍光，遂颁诏曰：“昔我贫贱，爱一古剑甚，念之至极，望群臣设法寻回。”大臣们领悟了汉宣帝的意图，转而请求册封许平君为皇后。霍光见状未加阻挠，最终许平君成为皇后，而霍成君则被册封为婕妤。依例，应从皇后父兄中选一人封侯，许平君无兄，故选其父许广汉。然霍光反对，言许广汉曾受宫刑，不宜封侯，汉宣帝遂放弃此议。
霍光之妻霍显对女儿未被封为皇后心生不满，她认为汉宣帝乃霍光所立，皇后之位应由其女继任，而非出身卑微的许平君。霍显盼女儿为后，却束手无策，直至许平君再度有孕。此时，为许平君诊病的御医淳于衍，其夫为宫中警卫，求霍显借霍光大将军之势，为夫谋盐官之职。霍显见时机成熟，对淳于衍言道：“分娩乃女子生死关头，皇后临盆在即，此可除之良机，使我女成君得登后位。若你能助力成此大事，富贵自当共享。”
淳于衍暗中行事，神不知鬼不觉地导致了许平君的死亡。事后，霍显担忧事情曝光，便将谋害许平君的计划向霍光和盘托出。霍光隐瞒许平君死因，告知汉宣帝皇后因体弱病逝，勿罪太医。汉宣帝未起疑，赦免淳于衍及太医。霍显得偿所愿，立霍成君为后，然其野心并未就此满足。【违背霍光心愿，教女毒害太子】霍成君成为皇后后，深得汉宣帝专宠，尽管多年未能诞下子女，但汉宣帝对她的宠爱并未因此有丝毫减退。公元前68年，霍光逝世，其墓地已生前规划。霍显仗女为皇后、外孙女为上官太后之势，擅自扩建墓地，并掳平民奴婢守墓，与诸女频繁出入上官太后长信宫。
霍光逝世次年，汉宣帝册封许广汉为侯，并立许平君之子刘奭为太子。霍显气愤难平，以至呕血，愤愤道：“我女儿乃皇后，日后生子岂能为王？刘奭平民出身，怎可为太子？”霍显再谋害刘奭之计，让霍成君动手以确保太子之位无争。霍成君依母命行事，多次赐食欲下毒，但因保姆先验菜试毒，保护刘奭，终未得逞。【秘谋造反，事败灭族】
霍光逝世时，汉宣帝携太皇太后亲临治丧，赞誉其比肩萧何，特赐皇帝级礼仪安葬，送葬亦依帝制，并于墓上建祠，设专员守护。得知许平君可能遭害，汉宣帝逐步削弱霍光子孙及霍氏力量，先夺回霍禹右将军兵权，转任大司马却不授印章。随后，霍光三婿及孙女婿的兵权被悉数收回，转任无实权或太守之职，而兵权与宿卫禁军则全由许、史两家子弟接管，史家为汉宣帝祖母外家。
霍显见状，心神不宁地向霍禹坦露了谋害许平君与刘奭之事。两人惧怕汉宣帝惩罚，遂与被削兵权的霍家成员及女婿合谋，杀害许广汉，图谋废黜汉宣帝，拥立霍禹。汉宣帝未待霍显动手，便接到告发其谋反的密信，得知霍显毒杀许平君及太子刘奭的阴谋。汉宣帝诏令诛霍光三族，霍氏满门遭腰斩弃市，仅女婿金赏（金日磾之子）因休妻得免。受牵连而灭族者逾两千家，废后霍成君亦自尽。
汉宣帝虽诛霍光全族，却未毁其坟墓，且持续尊奉祭祀。霍家之祸非宣帝所为，实乃霍显野心所致，终致家族覆灭。
