汉武帝在公元前87年去世之前，托孤于霍光、上官桀、金日磾、桑弘羊等人，八岁的刘弗陵（汉武帝第六子）即位，是为汉昭帝。公元前80年，上官桀等人与燕王刘旦联合，企图发动政变夺取皇位，被霍光铲除。霍光在此之后，大权独揽，皇帝成为傀儡。公元前74年，年仅二十一岁的汉昭帝因“病”去世，由于汉昭帝的婚姻受霍光控制，只有一个皇后上官氏，是霍光的外甥女，不能纳妃，而上官氏在昭帝去世之时只有十五岁，昭帝无后。之后霍光扶立了汉武帝第五子刘髆的儿子刘贺为帝，刘贺当了二十七天皇帝，被霍光废除。之后霍光又扶立汉武帝曾孙、戾太子刘据之孙刘病已为帝，是为汉宣帝。汉宣帝即位之时十七周岁，已娶妻生子。霍光向汉宣帝表示要归政于他，汉宣帝不敢接受，继续委政于霍光，霍光继续把持朝政，群臣有事先请示霍光，霍光再上报给汉宣帝。
影视剧中汉宣帝
霍光不只把持朝政，还一如既往的要操纵汉宣帝的婚姻，以保持其外戚身份。他要求汉宣帝立其幼女霍成君为皇后，但汉宣帝不愿意，他想让他贫贱时的妻子许平君为皇后。于是宣帝下了其即位以来的第一道诏书，说他贫贱时有一把剑陪伴左右，现在想把其找回来，让群臣为自己找回。群臣领会其意，纷纷上书请求立许平君为皇后。霍光也没办去强求，于是宣帝立许平君为皇后，但他与许平君所生之子刘奭并没有被立为皇太子，怕霍光反对。霍光想让汉宣帝与他的小女儿霍成君生个儿子，然后把霍成君的儿子立为皇太子。公元前71年，许平君再次怀孕，霍光的妻子霍显，利用女医官淳于衍在许平君要生产之时将其毒死，并许淳于衍以富贵。皇后被毒死，汉宣帝下令审问医官，众医官全被捕。霍显怕事情暴露，将自己派人害死许平君的事告诉了霍光，霍光听后半天说不出话来，最后向汉宣帝上书，请汉宣帝不要审问淳于衍。一个小小的医官，权倾朝野的霍光专门去保，汉宣帝其实一下子就明白是怎么回事了，但他只能强忍悲痛，现在还不是发作的时候，现在发作，失去性命的有可能是自己。次年，霍成君被立为皇后，迫于霍光掌握朝中实权，汉宣帝装作对霍成君很好，但霍成君也没有为汉宣帝生下子女。
影视剧中霍成君
公元前68年，霍光病死，汉宣帝用皇帝的规格下葬了霍光，但是霍光的妻子还不满意，霍显私自将霍光坟墓扩大，超出了帝王的规模。霍显还重新修造自己的宅第，将其扩造的非常豪华，出门则乘坐只有天子才能用的舆辇，霍家奴婢用只有皇帝才能用的五采仪仗服侍霍显在家中玩耍。不只如此，霍显还在家中与霍家家奴冯子都通奸。可以说这是个没有任何修养、没有任何道德、甚至是没有人性的女人，她有的只是无尽的欲望。霍显在毒死皇后之后，她还想毒死太子，真是自作孽不可活。公元前67年，汉宣帝立许平君所生之子刘奭为太子，霍显尽显泼妇本色，尽然认为许平君生的儿子没资格当太子，只有霍成君生的儿子才能当太子，理由是许平君出身是平民。好像霍家祖上有多高贵似的，比皇帝还高贵，没有霍去病，霍家还不是草包一个。霍显让人下毒，这次汉宣帝吸取了上次的教训，让人在太子进食之前必先尝毒，霍显没有得手。这样的女人已经是不可理喻的了，这也是为什么霍家会灭亡。霍光是明白事理的，他虽权倾朝野，但他没有丧心病狂，也没有篡夺皇位，他是个明白人。在霍光死后，霍家只剩下了一群不知天高地厚，每天飘飘然，不知道自己几斤几量、不知死活的东西。他们只会享受，只会仗着霍光的威势欺负别人，这很像现在的部分官二代，狐假虎威，狗仗人势，岂不知没有他老子，他连个屁也不是。所以霍家在霍光死后被灭族，最主要的原因是霍家后继无人，霍家就没个明白人。笔者总结霍家被灭族的原因是三无：无德、无才、无脑。
影视剧中霍显
霍光死后，汉宣帝也看出霍家后继无人，认为夺回权力的时机已到。他再没有委政于霍家人，开始亲理朝政。汉宣帝首先把人事权掌握在自己的手里，他让御史大夫魏相以给事中的身份参与朝中的机密决策，给事中是一个加官，属中朝，汉武帝时用中朝官夺丞相的决策权，后来又提拔魏相做了丞相；后又任命恩人邴吉为御史大夫。汉宣帝然后逐渐收回了霍家人的兵权，解除了霍光两女婿邓广汉和范明友东宫、西宫卫尉的职务，剥夺了他们掌管的禁卫军权。又把霍光的两个女婿调离了中郎将（任胜）和骑都尉（赵平）的位置，让自己的亲信担任南北军和羽林郎的统帅。最终把兵权掌握在自己手中。之后，他提拔霍光的儿子霍禹为大司马，明升暗降，剥夺了他掌握右将军屯兵的实权。最后剥夺了霍家把控的上书权力，规定吏民上书，直接呈皇帝审阅，不必经过尚书，把霍山、霍云领尚书事的职务架空起来。通过这一系列步骤，霍家掌握的权力被剥夺殆尽。等待他们的就只有被灭族了。在霍光在世之时，霍家有人事权，有兵权，吏民上书先经过霍光，才能到达皇帝手里。而现在，汉宣帝先是亲理朝政，再掌人事权，其次是兵权，最后将上书的权力也收了回来。霍家人在汉宣帝的来厉风行面前找不到任何理由进行反抗。汉宣帝还运用了明升暗降的做法，先让你高兴一下，然后夺你实权。霍家人不懂得力争，在权力丧失以后，才反应过来。
影视剧中魏相
霍云的舅舅李竟在马夫张郝的建议下，窜掇霍云和霍山造反，让上官太后，也就是汉昭帝的皇后、霍光的外甥女下旨，免魏相和许广汉的职，再把汉宣帝废除掉，另立皇帝。但这个消息让张郝的本家张章探听到了，估计是张郝嘴不严，自己说漏的，张章为了升官发财，把这个消息告发给了汉宣帝。汉宣帝抓起了李竟和张郝，但由于没有得到真凭实据，后来又放了这二人，但以此为借口，迫使霍山和霍云辞职。后来，由于吏民直接向汉宣帝上书的路开了，霍家的罪证越来越多，包括霍显的情夫冯子都在京城为非作歹的事都传到汉宣帝那里，估计这个冯子都依仗霍家干了很多坏事，其中有一件就是冯子都带人打到魏相府中，要拆了魏相家的大门，还让众官员跪地求饶才罢手；还有霍家那些女人们把皇家后宫当成了她们自己家，随便进出，也没有什么礼节，因为霍光的外甥女是上官太后，霍光的女儿是皇后；还有霍显毒杀许平君的事在民间已经传的沸沸扬扬。当霍家人听外边传说是霍显毒杀了许平君后，问霍显有没有这回事，霍显只得承认，于是他们家决定集体造反。他们计划让上官太后邀请刘询的外祖父许广汉和魏相吃饭，然后借机杀掉二人，再罢黜刘询，由霍禹当皇帝。然而这件事再次传到了张章耳中，这不能不说汉宣帝高明，上次张章向汉宣帝告秘，汉宣帝并没有对霍家动手，那是因为证据不充分，霍家的人也没有全参与进来，所以汉宣帝没有暴露张章这颗棋子，张章一定有他的渠道，能探听到霍家的机秘，这个很重要。而霍家子弟的无才让人不得不服，这么重要的事一再泄秘。掌握了霍家全家要谋反的证据后，汉宣帝这一次出手了，他已控制军队，霍家很容易就被拿下了，《汉书》记载：“秋七月，大司马霍禹谋反。诏曰：乃者，东织室令史张赦使魏郡豪李竟报冠阳侯霍云谋为大逆，朕以大将军故，抑而不扬，冀其自新。今大司马博陆侯禹与母宣成侯夫人显及从昆弟冠阳侯云、乐平侯山、诸姊妹婿度辽将军范明友、长信少府邓广汉、中郎将任胜、骑都尉赵平、长安男子冯殷等谋为大逆。显前又使女侍医淳于衍进药杀共哀后，谋毒太子，欲危宗庙。逆乱不道，咸伏其辜。诸为霍氏所诖误未发觉在吏者，皆赦除之。八月己酉，皇后霍氏废。”这次大清理，据说被杀了一千多家，霍家只剩下21岁的皇后霍成君，同年八月，霍成君因图谋毒杀太子的事，被废除皇后并送到长安郊区上林苑中阳台宫。公元前54年，再把她送到云林馆，33岁的霍成君在此自杀。可怜霍成君成了政治斗争的牺牲品，也许她是无辜的。
恶行累累的霍光后人，被汉宣帝灭族。
影视剧中霍光