要妥善地處理強大的專制君主的善後並不容易。

武帝寄以厚望的昭帝，二十歲就崩殂了，以致皇位無人繼承。昭帝的皇后是大將軍霍光的外孫女，是霍光的女兒嫁給上官氏所生的孩子，她六歲便做了皇后。昭帝—直沒有兒子，是因為霍光希望這位皇后能生下兒子以繼承皇位。

據說，當時討好霍光的近臣及侍醫們都以會妨礙昭帝的健康為理由，命令後宮所有的妃子和女官都必須穿上長褲，束上好幾條腰帶，並且不准她們把腰帶解開，所以使得皇帝一直沒有子嗣。皇帝死時，皇后只有十四、五歲。最後成為昭帝繼承人的是李夫人的孫子昌邑王，不過在位不久，就因為品性不端而被迫退位。

接著擁立的是命運之子宣帝。武帝會為了後嗣無人而煩惱，完全須歸咎於自己。這位性情急躁的皇帝，只因為懷疑皇太子叛亂，未加仔細調查，就把衛太子和他所生的三男一女及妻妾全部處死，連太子的母親衛皇后也被逼自殺身亡。

在這次大禍中，只有皇太子的孫子，出生只不過數日的嬰兒沒有被處死。這名嬰兒出生時就體弱多病，為了希望他早點獲得健康，所以給他取了一個很奇怪的名子叫做“病已”，而當時中央的監獄裡關滿了因太子案件遭連坐處分的罪犯，於是這個嬰兒被收容在分獄中。當時司法單位的次官，就是後來的宰相丙吉，命令一位辦事認真的女囚，為皇孫餵奶，而給他住進一間通風良好的房間裡。

但是有位占卜師告訴武帝說：據天象顯示，未來的天子就在長安的監獄裡。所以武帝下令把拘禁在監獄裡的人全部殺光。這時，丙吉堅守皇孫所住的房門，不讓皇帝派來的敕使進入。他這樣做本來是會被彈劾的，但是，後來武帝終於改變了主意，不再殺死囚犯們，丙吉為了不讓皇孫一直待在監獄裡，便暗地裡和首都的長官京兆尹交涉，但是，京兆尹卻不肯答應收容這個嬰兒。這時那位女囚的刑期正好屆滿，但皇孫已離不開她，所以丙吉便自己付錢僱用女囚撫育皇孫。後來因為魯孫常常生病，所以就把他託養給他母親的孃家。最後，皇帝終於下令把他領回後宮養育，並且在皇室的家譜中記上他的名字。

當時，在管理後宮的宦官中，有位名叫張賀的，他因為侍候過衛太子，在發生太子謀反事件時，本來也受到株連，但由於他弟弟安正的極力請願，而獲減刑，被貶為宦官。他為了圖報舊恩，又可憐皇孫的處境，所以就竭盡心力地扶養皇孫，出錢讓他受教育。等到皇孫長大後，張賀本來想把自己的女兒匹配給他，因遭弟弟安正的反對而放棄。接著，他又想慫恿他屬下的宦官許廣漢把女兒嫁給皇孫。許廣漢以前侍候武帝時，只因為不小心把別人的馬鞍放在自己的馬背上，就被判了死刑。後來，雖然從寬處分，也被處宮刑而貶勺宦官。

張賀說服許廣漢說：銘皇孫和昭帝有很密切的關係，至少能封王受爵。許廣漢這才答應把女兒嫁給他，許廣漢的夫人雖然不太贊成這門婚事，但最後張賀還是派人前去作媒，準備了聘金，為他們舉行了婚禮。這個有著傳奇命運的皇孫，就是後來的宜帝，宦官許廣漢的女兒就是許皇后，所生的兒子就是元帝。

宜帝自命風流倜儻，喜好鬥雞、賽馬，不過，他也是個飽學的明君。尤其是把優秀的地方官的任期延長，讓他們能充分發揮所長的做法，最能表現出他的聖明。

宣帝在十八歲以前一直流落在民間，他曾經想成為俠客，卻力不從心而遭人欺負，這種艱苦的生長曆程對他日後的戍就有很大的幫助。像他這樣出生後幾個月就成為罪犯，而由女囚餵奶，再由宦官養育，並以宦官的女兒為妻的皇帝，有史以來，他還是第一位呢。

從宣帝和宦官之間的親緣關係推測，可以肯定在不久之後，皇帝身邊就會再度出現著名的宦官。果然不出所料，以恭謹的執政身分，掌握政權二十年之久的霍光，在幫助漢朝度過一段危險期之後，就奏請還政，擁立宣帝即位。宣帝對這位獨撐國家大局的元老十分敬畏和禮遇，晉封他為宰相首長的職位。

人要急流勇退很難，霍光也不例外。霍光的女兒這時已是宣帝的皇后，關於這件事，其中另有一段隱情。霍光的夫人顯氏虛榮心很強，當霍光一家人取得權勢後，顯氏希望自己的女兒能被封為皇后，但是，這時宦官的女兒已受封為皇后了，因而顯氏嫉妒得不能自己，最後她攏絡了一名在皇后身邊侍候的女醫，總算把懷孕的許後毒殺了。然後她唆使霍光大力提拔，終於成功地使自己的女兒成為皇后了。

眼看著許廣漢的孫子就要成為太子，失去了理性的顯氏，便又對身為皇后的女兒施加壓力，圖謀毒殺皇太子，不過這次因為奶媽非常謹慎的照顧，所以無法達成月的，到了這個時候，霍光才知道妻子的所做所為，非常悲痛，不久就去世了。失去了家族的棟樑，霍氏一族榮華富貴的生活也就此結束。在顯氏毒殺的企圖和陰謀被揭發後，霍氏全族因此而被處死，連皇后也被廢掉。

隨著這支強大外戚的沒落，宣帝的政治措施也有了很大的改變。他開始施行以權力為背景的嚴刑峻法，又鑑於宦官不像外戚那樣尾大不掉，而開始重用宦官。他仿效他的曾祖父武帝的設施，恢復了中書令，而把主司官吏任命的尚書房的奏文及其裁決事務等國事都交給宦官。武帝時，，很多人都受宮刑而成了宦官，所以，這時人才方面並不致匱乏，像輔佐宣帝出弘恭、石顯等人，都是精於法治及擅長管理事務的名臣。許多儒者出身的官吏雖然極力規勸皇帝對宦官不可以掉以輕心，但宣帝根本未予理睬。

下面的故事，可以更深入地說明這件事。

宣帝時，太子溫和而喜好儒教，他對父皇所採行的嚴刑，唆法政策感到十分不滿，而建議皇帝重用儒者，皇帝聽了之後，勃然大怒說，漢室世代相承，施政時都是王道（道德主義）和霸道（權力主義）井用。平凡的儒者，大多食古不化，只會讚美古代，譏諷今世，充其量不過能使人成為一個小想主義，怎能把政權交給這些人呢。接著又悲傷地說：將來喪亡我朝的，必是我的兒子。宣帝真是位深得政治要領的皇帝，他早巳看出當時儒學為宮庭所帶來的危機，但是，將要繼承自己帝位的兒子，竟然戍了通儒，這實在是大大地出乎他的意料之外。