從漢宣帝即位至霍光去世，漢代朝政是一種二元化的政治態勢。漢宣帝劉詢與霍光為首的霍氏家族的關係，在西漢君臣關係史上頗具典型意義。漢宣帝與霍光彼此都有求於對方，政治上二人有一定程度的配合，共同推行一系列有助於穩定時局的政策；但雙方又有不同的利益訴求，暗中的鬥爭也是極為激烈的，對王朝的穩定也造成了相當嚴重的影響。
霍光有擁立宣帝之功，然而死後不足三年 ，霍氏家族卻罹滅族之禍。 究其原因，與當時政局的複雜多變有關，漢宣帝劉詢與大將軍霍光及其家族的關係，也經歷了一個複雜的變化過程。
霍光
昭帝去世後，霍光在旬月之間廢立兩帝，可見其權勢之盛。因此初登大寶的漢宣帝，對霍光頗為忌憚，在謁見高廟時，“大將軍光從驂乘，上內嚴憚之，若有芒刺在背。”漢宣帝深知，想坐穩皇位，就不能冒犯霍光的權威。因此，漢宣帝對霍光十分客氣，“光每朝見，上虛己斂容，禮下之已甚”，封霍光食邑一萬七千户，使得霍光權勢益重。而處在風口浪尖的霍光，為表示自己不專斷國是，也有意識表現出一定的讓步。比如丞相楊敞死後，霍光謝絕了讓他出任丞相的建議，以御史大夫蔡義為丞相，表現出一副自己不專擅朝政的姿態。但是大家都知道蔡義是霍光的親信，實權還是在霍光的手中。
漢宣帝十分注意在汲取被廢的昌邑王劉賀的教訓。劉賀所以能被霍光立為皇帝，是霍光認為他比另一個侯選人廣陵王劉胥更容易控制。而劉賀的被廢 ，也不完全在於其行為昏亂、荒淫失道，而是這個年輕的皇帝上任伊始就迫不及待的與霍光爭權。早在劉賀進京之初，他的手下、昌邑中尉王吉就告誡過劉賀，對霍光要: “事之，敬之，政事壹聽之，大王垂拱南面而已。”但是劉賀並沒有聽從王吉的告誡，急於想讓自己手下的昌邑羣臣取代朝臣，這才引起霍光的警覺，促使霍光采取措施廢黜了劉賀。
至少從表面上看，漢宣帝和霍光相處十分融洽。本始四年四月發生了一次大地震，很多人都認為這是霍光專權，侵迫陰陽，天文失度造成的。但是宣帝主動站出來把責任攬到自己身上，又是下罪己詔，又是要求羣臣奏陳自己的過失，讓地方舉薦賢良方正之士，並推行德政，素服避正殿以思過，盡最大可能消除地震給霍光帶來的消極影響。
漢宣帝
那麼漢宣帝是不是一個沒用的老實人呢？當然不是。只不過宣帝汲取了劉賀的教訓，所以採取一種極其隱晦的手段來發展自己的勢力罷了。
漢宣帝身份特殊，他雖然是漢武帝的曾孫，但其祖父是死於“巫蠱之禍”的衞太子劉據。受到祖父的牽連，宣帝是以庶人的身份，在宮外長大的。所以宣帝即位時，朝中沒有任何可以憑藉的勢力，比帶着眾多昌邑舊臣進京的劉賀更顯得勢單力薄。在這種情況下，政事聽霍光的安排，是宣帝惟一正確的抉擇。
宣帝的帝位繼承關係，在合法性與正統性方面也都存在着極大欠缺；同時宣帝與宗室之間的關係也比較疏遠，所以他在尊崇、禮敬霍光的同時，不斷施恩宗室，以期得到宗室的認可與支持。此時的宗室雖然手上無權，但是在法統上還是有一定發言權的，他們的支持，在必要時也是一股強大而重要的力量。
對於霍光的親信，宣帝也時刻不忘拉攏。車騎將軍張安世是霍光的副手，位高權重，宣帝便有意識地拉攏張安世。宣帝即位後，以定策之功將張安世的食邑增加到一萬零六百户，將張安世的三個兒子都任命為中郎將或者侍中，張安世漸漸地與宣帝結下了君臣之誼。
對於置身於霍氏集團的包圍之中的宣帝而言，他如果需要培植絕對忠誠於自己的力量，那麼提拔自己的外戚，是一個最便捷的辦法。
宣帝即位後，霍光有意讓他的小女兒霍成君當皇后，可是宣帝在即位前便有正妻許平君。但是宣帝知道自己不能公然違背霍光的意願，於是下詔“求微時故劍”，以表明自己不忘糟糠之妻的心意。朝中大臣們讀懂了詔書後面的意思，有不少人想到一旦霍光死後，宣帝便要親自執政的，為了以後的仕途，許多大臣紛紛上書，請立許平君為皇后。由於眾議難違，霍光只得在元平元年，立許平君為皇后。
對於在“巫蠱之禍”中遭受到不公正待遇的那些宗室大臣和外戚們，宣帝也對他們進行平反，將他們納入到自己的陣線之中，逐漸壯大了自己的實力。
漢宣帝這種温水煮青蛙的作法，霍光也是有所警覺的。但是宣帝每一步都邁得不大，讓霍光抓不到什麼反對的理由。霍光十分清楚政治鬥爭的殘酷，他代表的不僅僅是自己，還是一個圍繞在自己身邊龐大的利益集團。他必須抓住權力，否則這個龐大的利益頃刻間就會遭到滅頂之災。對於處在權力巔峯的霍光來説，權力是不能放棄，也無法放棄的，這是他的宿命。所以他必須對宣帝作出反制。
在宣帝為當年死於“巫蠱之禍”的祖父劉據定諡號時，霍光指使親信、丞相蔡義將劉據的諡號定為“戾”，這是一個惡諡。按《逸周書·諡法解》上的解釋：“不悔前過曰戾。”定下這個諡號，意味着朝廷對衞太子的平反是有限度的，也是變相否定了宣帝劉據這一脈在法律意義上的父子系。這種做法的好處在於，從禮制上確認了漢宣帝是昭帝的後人，在禮法上説，確保了皇權傳承系統的穩定，最為關鍵的是，不承認讓宣帝的母家和祖母家是皇室外戚，他們僅獲得了諸侯王外戚的待遇，也就不能名正言順地進入政治中心，成為宣帝的左膀右臂。這一招十分高明，任何人都找不出反駁的理由。
宣帝的母族和祖母一族當不了外戚，還不能讓霍光放心，因為許平君是名正言順的皇后，她的家人外戚身份是連霍光也無法否認的，這也是一股讓霍光不放心的力量。於是在本始三年，霍光的夫人利用許皇后臨產前得病的機會，指使女醫淳于衍暗中除掉了皇后許平君。
史載“皇后免身後，衍取附子併合大醫大丸以飲皇后，有頃曰：“我頭岑岑也，藥中得無有毒？”對曰：無有。遂加煩懣，崩。”
皇后暴斃，那些醫生全部被捕，特別是女醫淳于衍遭到連續的拷問。霍夫人把實情告訴了霍光，而霍光的反應是：“光大驚，欲自發舉，不忍，猶與。會奏上，因署衍勿論”。這段話的意思是，霍光知道自己的老婆毒殺了皇后，大驚之下，準備造反，後來想了想，又忍住了。後來他在給淳于衍定罪時，堅持醫生無罪，認為皇后死於難產，是正常死亡。宣帝見霍光如此堅持，此時自己羽翼未豐，也不敢再深究，只好放了淳于衍。
許皇后死後不到一年，霍光的女兒霍成君名正言順地做了皇后，宣帝想倚重許氏外戚的願望又成了泡影。
霍光當政之初，實行內結宗室，外聯羣臣的方針，得到了大多數大臣們的支持。但是隨着漢宣帝逐漸培育自己的勢力，霍光也感到了心慌。他在輔政時，一改之間的寬鬆政策，突然“遵武帝法度，以刑罰痛繩羣下”，就是不自信的表現。他殺掉了有轉投宣帝陣營嫌疑的廷尉王平、少府徐仁及左馮翊賈勝胡等人，接連任命唯自己馬首是瞻的張敞、蔡義、韋賢等人為丞相，也將一些大臣們推到了自己的對立面上。
車騎將軍張安世也是三朝元老，擁立重臣，在霍光過分集權、為政嚴酷之際，他十分擔憂霍光會對自己下手，除掉自己震懾宣帝，所以義無反顧的轉投到宣帝的陣營之中。而正是由於張安世的支持，漢宣帝才能將霍光的大女婿長樂衞尉鄧廣漢、二女婿羽林監任勝、三女婿度遼將軍範明友、姐夫光祿大夫張塑、孫女婿中郎將王漢調出京師，由張安世為擔任衞將軍，掌握長安十二門的警衞部隊和北軍。霍光見勢已至此，嘆曰“霍氏世衰，張氏興矣”。
總之，宣帝即位後，表面上與霍光相處頗為和睦，但暗中雙方的權力博弈卻相當激烈。但是宣帝擴權的手段綿密而細緻，又對霍氏家族嚴加防範，使霍光在對其心生疑忌之時，又意存希冀，讓霍光始終下不了叛亂之決心。當後來張安世、杜延年、丙吉等人都倒向宣帝時，霍光再想反叛已無可能，從而為宣帝在霍光死後，清除霍家勢力贏得了時間。