霍皇後的母親霍顯派暗中刺殺許皇後，於是為成俊做嫁衣，準備入宮用具，並勸霍光把女兒送進宮。果然，霍被追封為皇後。
又過了壹年，封常為平恩侯。霍顯氣得吃不下飯，連血都吐出來了，說:“這孩子生在民間，怎麽能立他為太子呢？”如果皇後生了兒子，她只能當國王！”她還命令霍皇後毒死王子。王後多次召見王子給他食物，但保姆總是先嘗，王後藏了毒卻不能用。後來，徐皇後被害的事漸漸泄露了出來。霍顯和女婿兒女密謀造反，陰謀泄露出去。宣帝消滅了霍家。
霍虞姬是博魯侯的皇後，太夫人顯然改變了霍光生前設計的墓地條例，並加以擴充。修建了三個出口，並修建了神道，北面靠近昭陵，南面靠近程默。祠堂翻修，靈車專用車道直通墓中永祥，禁止平民、奴婢、嬪妃看守。它還建造了大量的房屋，制作了可供騎行的戰車，增加了繡有圖案的坐墊和把手，並塗上了黃金，在皮革中用絲綿包裹了輪子。侍從和婢女們用彩帶拉著戰車，在屋裏玩遊戲取樂。壹開始，霍光很寵愛家奴的管家馮子，經常和他商量事情。守寡獨居時，與鳳子通奸。霍玉和霍山也同時修了房子，經常在平樂堂追打。每逢參加朝廷會議，霍昀屢次承認有病，私自外出，帶了許多客人，在黃山園中打獵，卻委派家奴代他出席朝廷。沒有人敢譴責他。而且仙河和她的女兒們可以日夜進出長辛宮的宮殿，沒有任何限制。
當在民間的時候，他聽說並知道霍的高貴強日子長，但他並不認為這是壹件好事。霍光死後，宣帝開始親自管理國家事務，並讓古代的禦史魏幫忙。賢對霍禹、霍昀、霍山等人說:“妳們這些人不努力繼承將軍的遺誌。現在醫生當家，壹旦中間有人煽風點火，妳還能自救嗎？”後來霍和魏的奴隸爭道，霍的奴隸跑到朝廷踢開他家的大門，朝廷磕頭告白，他們就走了。有人把這件事告訴了霍家，出類拔萃的人開始知道會有後顧之憂。魏大夫當了宰相，閑暇時經常被召去談政治。平恩侯和史安可以直接進出皇宮。在適當的時候，霍山仍然領導著尚書的事務，但是皇帝告訴官員和百姓要封信上報，不經過尚書，官員和官吏可以單獨去見皇帝。霍對此很不滿意。當宣帝皇帝第壹次登上王位時，他授予徐飛女王的頭銜，她在他卑微但不顯赫的時候結婚了。賢愛她的小女兒程君，想讓她變得富有。她秘密派遣產科醫生淳於衍用毒藥殺死侯旭，並借機說服霍光要求宣帝嫁給程君而不是侯旭成為皇後。這些東西在《外環傳》中都有記載。當時，當徐突然死亡，官員逮捕了所有的醫生在宮中，彈劾的行為可疑和不合理的治療，並把她投入監獄。獄卒緊急審問她，怕事情敗露，就把真相告訴了霍光。霍光大吃壹驚。他想親自報告這件事，但他不忍心。他在猶豫。當這個案子被報告給皇帝時，霍光趁機回復了淳於衍，沒有進壹步調查。霍光死後，真相開始慢慢泄露。皇帝只是聽說了這件事卻不知道真相，於是調動了霍光的女婿、大將軍杜遼、未央宮衛衛、平明凡、次子任魯迅、眾官統帥劍任勝為維穩提督。幾個月後，霍光姐姐的女婿被調任光祿大夫張碩為蜀郡太守，孫女婿中郎將王罕被任命為武威太守。不久，霍光的大女婿被調到長樂宮，鄧瑋·光墨被任命為少府。霍去病又被調去傅，只戴了壹頂小帽子，沒有印章，他的右將軍和所轄的駐軍官兵都被撤銷了，就是為了讓霍去病的官名變成霍光的。他還收回了範的遼將軍官印，只讓他擔任光祿勛。而霍光的三女婿趙平，為散騎隊長光祿博士掌管駐軍，收回了騎隊長的官印。胡、越軍、羽林、禁軍，皆由所信許、石之子代之。
霍禹被任命為大司馬後，說自己病了。任緒安，前歷史悠久的霍禹，前來拜訪並問候他。霍禹說:“我怎麽了？天子不是靠我這個將軍才有現在的地位。現在將軍的墳還沒幹，他就要疏遠排斥我們家了。而是會聘用徐和石的人員，他也沒有收到我的公章。真是無法理解。”任緒安看出霍禹有很深的怨恨，就對他說:“怎麽會有另壹個時代的將軍呢！掌握著國家的權力，生死掌握在手中。丁偉、李忠、王平、左鳳儀、賈生虎以及丞相車紹福的女婿任旭都因違背將軍的旨意而被監禁和處決。因為這樣小家庭的孩子受到將軍的寵愛，官至九卿，爵位列侯。下面的官員只侍奉馮子、王子芳等人，根本不關心宰相。這是他們自己的時代，現在許和石是天子的骨肉姻親，自然要榮幸。如果說傅是因為這個而心生怨恨，我覺得不是。”霍玉聽後沈默了。幾天後，霍玉去朝廷辦事。
霍顯、霍玉、霍山、霍雲看著自己的權力壹天天被剝奪，哭了好幾次，都在自責。霍山說:“現在丞相當權，又受皇帝信任，完全改變了將軍當時制定的法律，把公地分給窮人，宣傳將軍的過錯。也有讀書人，大多是窮人家的孩子，遠道而來北京生活，卻喜歡信口開河，避重就輕。將軍過去很討厭這些人，但現在陛下喜歡和儒生們說話，讓他們自己回答政治問題。”曾經有人寫道，將軍在位的時候，弱不禁風，很強勢，很獨裁。現在他的子孫掌權，他的兄弟們更加囂張。我怕會危及祠堂國家，災難和怪事頻頻出現，都是因為這個。他的話如此尖銳，以至於我忍住不去彈那本書。後來寫書的人更狡猾了，都是用印章玩東西。皇帝讓中書出來拿走。不翻書，皇帝對我越來越不信任。賢問:“丞相多次談論我的家人，豈不是罪大惡極？"霍山回答說:"丞相清正廉明，哪裏會有罪？我的大多數兄弟和女婿都表現得漫不經心。還聽到民間傳說霍家毒死了徐皇後。真的是這樣嗎？”阿秀很害怕，把真相全都告訴了霍山、霍雲、霍玉。霍山、霍雲和霍玉慌慌張張地說:“這種事妳怎麽不早告訴我們？我們家的女婿就是因為這個原因被天子驅逐的。這是大事，處罰不會輕。我該怎麽辦？“從那時起，他們開始有邪惡的計劃。
起初，在昭平當門童的石霞懂天文。對趙平曰:“英英守禦星，禦仆之星也。他們要麽被降職，要麽被殺。”我擔心霍山等人。霍昀的叔叔李靖的朋友張奢見霍昀壹家危在旦夕，就對李靖說:“現在丞相和平恩侯都掌權了，妳可以讓太皇太後告訴太後先殺了他們。陛下之免職，在於太後。”長安人張章聲討此事，將此事交給廷尉處理。支金吾逮捕了張社、等人，後來又命令邵制止他們。霍山等人更是大驚，相對說道:“這是天子看重太後的面子，所以沒有深究。但是，不祥之兆已經出現了，而且還有毒死皇後的事情。就算陛下寬厚仁慈，也怕周圍人不聽，時間久了還是會追究。壹旦被發現，就要滅絕。我們不妨先開始。”於是我叫女兒們回去告訴她們的丈夫，她們都說:“我能去哪裏避難？”
正巧李與莊稼人勾結有罪，霍先生也參與了他的招供。宣帝說，霍昀先生和霍山先生不應該在宮裏工作，所以他們被免除了公務，回家了。霍光的女兒們粗暴對待慈禧太後，鳳子幾次犯法，皇帝就把她們壹起問了，霍山、廷敖等人都覺得很害怕。在夢裏，我看見屋裏的井水溢出來，流到廳下，廚房的爐子掛在壹棵大樹上。我還夢見將軍對賢說:“妳知道我們的兒子要被捕了嗎？他們很快就會來抓人的。”屋裏的老鼠突然多了起來，和人撞在壹起，用尾巴在地上亂塗亂畫。貓頭鷹在寺廟前的樹上叫了幾次。房子的門被無緣無故的破壞了，火雲上官麗家的門也被無緣無故的打破了。街上的每個人都看到有人坐在火雲的屋頂上，摘下瓦片扔在地上。他們去看了，但是沒看到人，很奇怪。霍禹在夢中聽到車馬吵著要抓他，全家人都為這些怪事感到難過。霍山說:“丞相擅自減少祠堂供奉的羊羔、兔子、青蛙，可以用來給他定罪。”他們打算請皇太後為博平君設下酒席，召來丞相、平恩侯以下官員，讓範和鄧廣漢奉皇太後之命，把這些人拉出來斬首，並借機罷免皇帝，立霍毓為帝。卻說霍昀為宣太守，太中大夫任緒安為太守。霍山也因抄了宮中大臣而觸犯了法律，於是上書表示願意獻出自己城西的宅邸和1000匹馬贖回霍山。宣帝只在書中回答道。當他們的陰謀被發現時，霍昀、霍山和範自殺了，而冼、霍禹和鄧廣漢被捕了。霍玉被斬首，她的幾個女兒和兄弟也被處死。只有霍侯被廢黜，囚禁在昭臺做宣傳。與霍家有牽連，被判種族滅絕罪的有幾千人。
寫書曰:“前有織房太守張燮，命魏縣大戶李，復侯火運於灌陽，密謀作亂。因為將軍，我把事情保密，希望他們能改過自新。今大司馬伯、侯火玉，其母宣成侯之妻賢，其堂兄之子關陽侯火雲、樂平侯火山及其姊妹女婿共謀造反，企圖株連百姓。感謝我們祖先的神，提前發現並俘虜了他們，全部處決。這件事我很難過。所有被火石牽連的人，如果沒有在沈冰之前發現自己被關押，都將被赦免。張曼發現了這件事，告訴了，報告了左曹陽，又報告了助手金安。楊威被傳喚陳述情況，後來張章寫了報告。石石高和金安上建議舉報此事，說霍石不可能入宮，所以霍石的陰謀沒有得逞，兩人同樣積極。特封張張為伯承侯，董重為高呂後，楊威為平通侯，晉安為都承侯，石高為樂陵侯。”
當宣帝皇帝第壹次登上王位時，他去朝拜高廟。霍光將軍和他同乘壹車，皇帝非常害怕，仿佛背上有刺。後來騎著車的將軍張安世代替了霍光，天子更放心了，舒展自如，覺得很安全，很親近。霍光死後，他的宗族也受到了懲罰，所以民間傳說說:“威震君主者，不可姑息，霍之禍始於陪葬。”
漢成帝時，為霍光安置了100個守墓人，官兵按時祭祀。元二年，霍光表哥的曾孫陽貨被封為博祿侯，賜食邑壹千座。