嚴嵩最後當政時期，諸司上報事情要他裁決，他均說“與東樓議之”。“樓”，嚴世蕃別號也。早年，由於有妻子歐陽氏規勸，嚴嵩對兒子管教甚嚴歐陽氏病死後，小嚴再也無人管束。而且，由於缺兒子不行，嚴嵩上表皇帝，請皇上允許兒子留京伏侍自己，讓孫子代之扶老妻之喪歸老家。嚴世蕃服喪期間，大行淫樂之餘，在家中代老父處理諸司事務。由於他身有喪服，不能入值朝房，這讓老嚴嵩就作了難。有時嘉靖皇帝派宦官急扯白咧，狂催老嚴擬旨草文什麼的。可憐嚴嵩老眼昏花，老腦袋已經轉不動，奏對多不中旨，使得嘉靖帝大為惱火。

此外，道士藍道行以扶乩為名，用沙盤代替“神”言，極陳嚴氏父子弄權跋扈之狀。嘉靖帝問：“如果此事為實，上天何不殛殺二人？”藍道行答：“留待皇帝正法！”嘉靖帝默然心動。老嚴還有另外得罪嘉靖帝的地方。嘉靖帝自居的西苑萬壽宮因火災不能住，暫居狹窄的玉熙宮，因此鬱鬱不樂。他召問嚴嵩，老嚴勸皇上還大內居住。這可觸動了嘉靖帝的忌諱。正是由於嘉靖十一年皇帝本人在大內宮中差點被宮女們勒死，這位一向信邪迷信的皇帝未回去居住。嚴嵩此議正觸黴頭。不久，嚴嵩又請皇帝還居南內，那地方又是從前明英宗被軟禁的地方，此議讓嘉靖帝更怒。

這時候，關鍵的時候，好好先生徐階出場了。徐階，江蘇華亭人，嘉靖初年進士出身，乃當科探花郎。史書上稱他“短小白皙，善容止。性明敏，有權略，而陰重不洩。”入翰林後，他本來遠大前程一片光明，卻得罪了當時的皇上大紅人張璁，徐階被貶出京外。過了好幾年昔日春風得意又秋風失意的小徐才得以重返翰林，並受夏言授引，一步一個坑，最終當上了禮部尚書。從“站隊”方面看官場，嚴嵩整掉夏言，肯定要“惦記”徐階。可這徐尚書經過從前的蹉跎，深知當朝一把手惹不得。他從不當面頂撞嚴嵩，把老嚴奉承伺候好得不行，所以嚴嵩除掉他的意思就不那麼迫切。更慶幸的是，夏言雖倒，徐階因一手漂亮“青詞”，哄得嘉靖帝對他大加青睞，須臾不可或離。如此，嚴氏父子想搬除他，倒是非常非常之難。當然，此前有一事，差點老嚴要了小徐的性命：一日，嘉靖單獨召嚴嵩問話，徵詢他對徐階的看法。嚴嵩想了想，說：“徐階缺的，不是才，只是心眼太多些！”這句話要命，老嚴是講先前徐階力爭嘉靖帝早立太之事。嘉靖臉色陰沉，幸虧後來未對此事深究。正是由那時起，徐階對嚴嵩加恭敬，並憚精竭慮撰寫青詞給嘉靖帝，以圖保身。

嘉靖四十一年（1562年），身為御史的鄒應龍忽上奏章，彈劾嚴世蕃貪汙受賄等不法之事。但奏章當時未敢牽連嚴嵩，只講他“植黨蔽賢，溺愛惡子”歷史上有些事，發端有時離奇近乎荒誕，鄒御史之所以敢於忽然間挺身而出，並非直接受徐階指使，而是緣於他所做的一夢：他夢見自己騎馬出獵，看見東邊有一高樓，土基宏壯，頂覆秸杆。鄒應龍拉弓而射，大樓轟然坍倒。醒後，鄒御史鼓勵自己，這是我搬倒“東樓”（嚴世蕃）的吉兆啊，於是他奮筆疾書，立寫彈文。

嘉靖帝對嚴嵩父子日久生厭，又有道士們一旁掇，便下詔逮嚴世蕃入大理獄，命嚴嵩致仕，“仍給歲祿”。發現皇帝對老父嚴嵩沒有一棒子打死，嚴世蕃深知事情不像想象中那樣不可挽救。他透過早先交結的內保太監，奏稱道士藍道行與鄒應龍里外勾結，陷害大臣。嘉靖帝各打五十大板，命人逮捕藍道士送入牢房審訊。嚴嵩囑託刑部的心腹，嚴刑拷打藍道行，最終目的讓他誣攀徐階為幕後指使。誰料，藍道士挺“英勇”，堅決不承認受徐階指。由於嚴氏父子勢力根深固結，最終藍道行獲罪被處死。

朝中獨相十餘年，嚴嵩黨羽力量確實大。但是，如果不處理嚴世蕃法向皇帝交待，法司最後就“裁定”嚴世蕃受賄八百兩白銀，上案於御前。廷議後，判決流放嚴世蕃於雷州，其兩個兒子及心腹羅龍文等人分戍邊地。嘉靖帝念嚴嵩舊情，特宥嚴世蕃一個兒子為民，回老家伺候嚴嵩起居。嚴嵩離朝後，沒人再與自己談玄論道，加之藍道行又被處決，年已半花的嘉靖帝追念老嚴過去二十多年的贊襄之功，悒悒不樂。於是，他把已經升任首輔的徐階叫來，表示自己要退居二線，當太上皇，準備在西內一心拜道。徐階極陳不可，諫勸皇帝不要擱挑子。“好，既然如此，你們一定要與朕同輔玄修，努力崇道，日後再有誰敢上疏劾奏追論嚴嵩、嚴世蕃父子，朕一定下令把他們與鄒應龍一同送斬！”發稿示之，見徐階所草罪狀，重點在於描述嚴世蕃與倭寇頭子王直陰通，準備勾結日本島寇，南北煽動，引誘北邊蒙古人侵邊，意在傾覆大明王朝。果然，疏上，嘉靖帝拍案狂怒。他最恨倭寇和蒙古人。見小嚴和這些人勾結，那還了得，馬上下令錦衣衛嚴訊。

嚴世蕃等人，很快得知徐階所擬的“罪狀”，相聚抱頭大哭：“這回死定了！”西示：獄成，嚴世蕃等人被斬於市，嚴氏家族被抄家。共抄得白銀二百零五萬五千餘兩，珍奇異寶不計其數，多為皇宮內府所無。不久，嚴氏黨徒在朝中的諸人，也皆為徐階等人清洗出去。嚴家大樹，連根被拔。至於嚴嵩老爺子，白髮蒼蒼八十老翁，一身破衣爛衫，滿臉汙髒，日日持一破碗，在田野間的墳間轉來蕩去，撿那些上墳的供品充腹活命。捱了一年多，老頭子淒涼死去。昔日威風凜凜的大宰相，落得如此下場，想來也令人鼻酸。中國的政治生態，永遠如此，風光時可以一句頂一萬句。但是，只要誰政治上倒臺，身敗名裂，哪怕你是堂堂相爺，也逃不出空腹慘死的結局。

從實而言，嚴世蕃死有餘辜，但徐階玩的這種政治手腕，也過於陰狠，非要編造莫須有的通倭謀逆大罪來搞嚴家，其的就是一定要牽連上嚴嵩。謀逆大罪，株連抄家發洩絕對難免，徐相爺非要置政治對手老嚴和小嚴永世不得翻身。對於這一點，明朝當時及日後多有人不平，認為徐階的手段，使嚴世蕃的罪名不能服天下人心，刑非所犯，於理不稱。合不共出天道好還。日後徐階下臺，又被“後浪”高拱怨恨算計，以其二子鄉間怙勢犯法為由，把徐老頭二個兒子罰往邊地“勞改，老徐自己差點與老嚴前輩殊途同歸，在風燭殘年孤獨而終。幸虧不久張居正把高拱又拱下去，老徐才得保令終作為徐階弟子的張居正還算厚道，他當政後，派江西地方官員收拾嚴嵩枯骨，修墳安葬。嚴爺再怎樣也是堂堂大明一代宰相，總不能和要飯花子一樣的死法、葬法。嘉靖一朝，正因為無大奸太監，方顯嚴嵩柄政的“惡”。其實，許多軍國大事方面，嘉靖帝乾綱獨斷，最大的壞事都就是皇帝拍板，嚴嵩依惟而已。