他出仕的時期正值明代中葉正德、嘉靖年間這個多事之秋。明世宗在位四十六年，他只關心兩件事，即「大禮議」和玄修，而大臣們在這兩件事上的態度則是他衡量人才的標準。
嚴嵩在這兩件事上表現得都恰到好處，因議禮而驟貴，讚玄修而得寵。「猜忌之主，喜用柔媚之臣」，縱觀嚴嵩的一生，我們可以看到嚴嵩的人生信條是不做山，只做水，隨地方，就地圓。
嚴嵩這個人的形象，先後截然不同：他先曾退隱家鄉的鈐(qiaｎ)山，潛心詩學，其詩「清麗婉弱，不乏風人之致」，又與文人墨客傾心相交，儼然是一個 「天下以公望歸之」的雅人；後來入閣柄政二十餘年，幾番沉浮，成為明代少有的幾個能夠「得君專政」的內閣大學士，然而這段政治生涯卻將他的聲譽毀損殆盡，他成為「近代權姦之首，至今兒童婦人，皆能指其姓名，戟手唾罵」(錢謙益語)。為什麼會發生這麼大的不同呢？在我們看來，這還是跟他個人的性格有關。
嚴嵩，字惟中，號介溪，又號勉庵，成化十六年(1480)正月二十二日出生於江西袁州府分宜縣介橋村。祖父嚴驥、父親嚴淮雖然都是布衣百姓，但在明代江西習儒之風頗為盛行的背景下，嚴嵩又是長房長孫，自出生時起，就被嚴家寄以光宗耀祖的厚望。多年後，嚴嵩位居宰輔，父、祖因之受封贈，嚴家改換門庭的願望終於在嚴嵩身上得到實現。
嚴氏家境並不富裕。嚴嵩自幼聰穎，其父嚴淮傾其所有供他讀書。經過多年苦讀，嚴嵩終於在弘治十八年(1505)考中進士，並隨之以《雨後觀芍藥詩》入選翰林院為庶吉士(明制，選新進士中擅長文學與書法者擔任庶吉士，繼續學習，並練習政事)，這年嚴嵩剛剛二十六歲。正德二年 (1507)，嚴嵩庶吉士結業，被授為翰林院編修。他終於實現了父祖的夙願，躋(jī)身於翰林之列，找到了晉升的階梯。
嚴嵩少年得志，一片錦繡前程似乎已在他的面前展現。但是，在正德三年(1508)三月和次年夏天，因祖父和母親相繼去世，他不得不回鄉守制，中斷了官場生涯。按照封建禮制，子孫守制三年即可(實際不足三年，僅二十七個月)，而嚴嵩卻在家一呆就是八年。原來，借守制為名，他在家鄉的鈐山讀起書來。正當壯年，嚴嵩何以退隱鈐山，閑居八年呢？這還得與正德年間特殊的政治環境聯繫起來。
武宗朱厚照好逸樂，建豹房，游宣府，終日為所欲為，縱情享樂，是個典型的荒嬉無道的皇帝。武宗的荒政，給宦官劉瑾提供了擅權之機，使得明代正德年間的宦官之禍愈演愈烈，許多忠直之士都受到各種不同程度的打擊和迫害。
嚴嵩退隱鈐山，正是仔細分析當時的政治形勢後才做出的決定。作為新科翰林，如果他與閹黨抗衡，無異於螳臂擋車，自取滅亡。如果出仕，則必須投靠閹黨，而這是為讀書人所不恥的。嚴嵩退隱鈐山，也與明代的黨爭有著千絲萬縷的關係。其時當權的宦官劉瑾是陝西人，閣臣焦芳是河南人，因此，他們提拔、引用的大批官員都是北方人。朝廷中是北人的天下，南人大多受到打擊和排擠。尤其是閣臣焦芳，對江西人格外排擠。原來，焦芳曾為侍講九年，後遷學士時，因人品不佳，遭到江西人詹事彭華的諷刺：「焦芳也做了學士嗎？」焦芳遂對江西人恨之入骨，曾公然宣稱：「他日毋得濫用江西人。」嚴嵩籍系江西，而且位卑權小，在當時的政治舞台上，絲毫沒有他能施展才智的機會。正因如此，嚴嵩才審時度勢，借丁憂之機，託辭稱病。
正德三年，嚴嵩在鈐山之麓修建堂舍，取名「鈐山堂」，過起了隱居生活，以詩文自娛。在此期間，嚴嵩「銳意名山大川，攬勝尋幽，著述日富」。嚴嵩在文學方面頗有造詣，其詩文有清雅之名。時人李夢陽曾說：「如今詞章之學，翰林諸公，嚴惟中為最。」何良俊稱：「嚴介老之詩，秀麗清警，近代名家，鮮有能出其右者。」嚴嵩的文學造詣在後世的史書中很少被人提及，這與嚴嵩身負「奸臣」的罵名有關。但是，因人廢文並不可取，他在詩文方面的成就還是值得肯定的。嚴嵩還寫得一手好字，傳說北京老字號醬菜店「六必居」三個字就是他的墨寶。
在歸隱期間，嚴嵩還廣結名流，跟李夢陽、王守仁、何景明、王廷相等人都有交往。這些人不僅學問淵博，而且還都曾是敢與閹黨作鬥爭的仁人志士，頗有名望。嚴嵩與他們把酒論詩，剖經析義，既提高了自身的文學聲望，也擴大了社會影響。正德七年(1512)，嚴嵩還應袁州府太守之請，修《袁州府志》。嚴嵩經過三年努力，於正德九年(1514)將《袁州府志》纂修完畢。該志體例頗有獨到之處，嚴嵩因之聲望日隆。
鈐山隱居的八年，對嚴嵩的宦海生涯具有重要的意義。避居鈐山，嚴嵩能夠明哲保身，遠離政治鬥爭。在此期間，嚴嵩潛心讀書，埋頭詩作，其文學素養大為長進，這對他復出後能夠縱橫官場、詩文奏對得到皇帝歡心大有裨益。同時，嚴嵩通過八年的韜光養晦，也為自己贏得了清譽，此時的他已不再只是個新科進士，而是具有很高文學聲望和社會影響力的人物。這為他重返仕途積累了充足的資本。
正德後期，政局變化很大，劉瑾被誅，焦芳削官，朝廷中當政的主要是楊廷和、費宏等人。他們都是南人，也多屬於正人君子，與嚴嵩還多少有些交情。在嚴嵩看來，已經等到了出山的時機。正德十一年(1516)三月，嚴嵩應詔復職，啟程赴京，重返仕途。
嚴嵩像只獵鷹一樣，睜大雙眼，尋找能在官場飛黃騰達的機會。功夫不負有心人，機會終於從天而降。正德十六年(1521)，武宗朱厚照駕崩，他的堂弟朱厚熜繼承皇位，即世宗皇帝。小皇帝繼位時年方十五歲，卻城府很深，非常有主見。他為了追崇自己的本生父母，與廷臣們進行了一場曠日持久的「大禮議」之爭。這場爭論歷時二十多年，是明朝歷史上的大事，在中國歷史上也是罕見的。
明世宗之所以掀起這場爭鬥，表面上看是因為他為其父的封號、祭祀典禮和稱宗入廟等問題，與大臣們發生了激烈的爭論。而「禮議」之爭的實質，首先在於世宗以藩王入繼大統，追封沒有做過皇帝的興獻王為皇帝，目的是維護自己繼承皇位的合法性，表明他的皇位不是繼承其堂兄武宗，而是來自他父親這一脈的血緣關係，也就是直接上承他的祖父孝宗。其次，這也是世宗與前朝老臣之間的一場權力鬥爭。世宗借「禮議」之爭，把楊廷和等迎立有功的前朝輔臣清理出朝廷，以免出現日後他們恃功自傲的局面。世宗的剛愎自用、刻薄寡恩在明朝皇帝中也算得上是表現比較突出的一個。「禮議」之爭以明世宗的勝利而結束，許多朝臣因為禮議之爭，或喪命，或下獄，或遭貶，而嚴嵩卻是「禮議」之爭中的少數幾個受惠者之一。
嚴嵩自正德十一年重返仕途後，多在翰林院、國子監等政治鬥爭相對較少的地方任職，而且還曾多年居官南京。在「大禮議」之爭最激烈的前期，嚴嵩沒有捲進這場鬥爭的漩渦中，得以自保。而在禮議之爭後期發生的一件事情中，嚴嵩善於觀察政治風向，及時地把握住了機會，開始得到世宗的青睞。
這件事發生在嘉靖十七年(1538)六月，世宗欲讓生父獻皇帝稱宗入太廟，命下禮部集議。這時任禮部尚書的嚴嵩是躲不過去的了。這是個棘手的差事，順從皇帝，立刻就會招來罵名；按照慣例來秉公辦理，自己烏紗帽難保。經過一番思前想後、仔細斟酌，嚴嵩最後寫了一份模棱兩可的奏疏交給皇上。世宗對他的騎牆態度非常不滿，親書《明堂或問》，警示廷臣，言語犀利，堅決表示要讓其父獻皇帝稱宗入廟。這對嚴嵩刺激很大，他惶恐不安，生怕皇帝怪罪。於是，嚴嵩盡改前說，完全順從皇帝的意思，為世宗的生父獻皇帝祔太廟配享安排了隆重的禮儀，並充分發揮自己的才能，在祭祀禮畢後，寫了《慶雲頌》和《大禮告成頌》，文筆絕佳，很得皇帝賞識。這件事在嚴嵩的宦海生涯中具有決定性的意義，成為他政治命運的轉折點。從此，他平步青雲。
嚴嵩終於幫世宗實現了生父稱宗入廟的心願。世宗在「禮議」之爭中取得最後的勝利，嚴嵩功不可沒。而在這件事上，嚴嵩也接受了教訓——從此，他對世宗言聽計從，走上了「柔媚之臣」的道路。
世宗在政治上無甚建樹，卻將主要精力放在了玄修上，熱衷於煉丹製藥和祈求長生。在那些看似神秘的儀式中，他經常需要撰寫一些焚化祭天的青詞，由此就產生了明朝乃至中國歷史上都非常奇特的青詞宰相。
所謂青詞，就是道教齋醮(jiaｏ)時上奏天帝所用的表章，因用硃筆寫在青籐紙上，故名。這是一種賦體文章，需要以極其華麗的文筆表達出皇帝對天帝的敬意和求仙的誠意。世宗經常要求臣下進獻青詞，寫得好的立即加官晉爵，甚至入內閣。當時朝中的許多大臣都因進獻青詞而得寵，嚴嵩同榜的狀元顧鼎臣就因青詞得寵而入內閣。嚴嵩文筆頗佳，所作青詞無不合乎世宗之意，因而找到了一條陞官的捷徑。嘉靖十八年(1539)正月，皇帝舉行「尊天重典」，禮部尚書嚴嵩盡職盡責，作青詞頌德，被特加太子太保。當時，夏言與嚴嵩「俱以青詞得幸」，時人譏為「青詞宰相」。
這個夏言也非等閒人物，因在大禮議中站在皇帝一邊而驟然受寵，曾在世宗朝前期擔任過禮部尚書，後來又擔任內閣首輔。他在嚴嵩的政治生涯中起過重要作用。他曾經是嚴嵩向上爬的階梯，後又與嚴嵩相互傾軋。在經過了長達十餘年驚心動魄的爭鬥後，他被嚴嵩陷害，慘遭棄市(棄市是古代的一種刑法，在鬧市處以死刑，並將犯人暴屍街頭。)。
夏言是武宗正德十二年(1517)才考中的進士，要比嚴嵩晚十多年，但是他升遷很快，職位比嚴嵩高。嘉靖十五年(1536)，夏言入閣拜相，十八年 (1539)升為首輔。嚴嵩在重返仕途的十多年裡，一直擔任沒有什麼實權的官職，這令他既苦悶又很不甘心。此時，夏言進入了他的視野。夏言與他是江西同鄉，有了這樣一層關係，他對夏言極力巴結，曲意奉承，終於得到夏言的信任，多次為他引薦。嚴嵩就是在他的提攜下升任禮部尚書的。
然而二人的關係並非鐵板一塊，夏言對他又拉又打。在嚴嵩日漸寵信、欲入內閣之時，卻因夏言的阻止未能如願。嚴嵩表面上依舊對夏言恭謹和順，背地裏卻恨得咬牙切齒，開始謀劃如何扳倒夏言。夏言「豪邁有俊才，縱橫辨博，人莫能屈」，為官勇於扶正，但他仗著皇帝的寵信，有些驕橫，有時在世宗面前也態度疏慢。當時在大臣中頗有微詞，有「不睹費宏，不知相大；不見夏言，不知相尊」之語。嚴嵩就利用夏言性格上的弱點，大做文章，在言行上和夏言形成鮮明的對比。他對世宗更加俯首貼耳，陰柔諂媚，處處表現得謙卑忠勤；對同僚更加恭敬禮讓，因而很得人心。
在一些具體事件上，嚴嵩某些如小丑般的表現，更是讓世宗非常滿意。按明朝冠服制度，皇帝戴的帽子是用烏紗折巾而成的，稱為翼善冠。明世宗推崇道教，不戴自己應該戴的翼善冠而戴香葉冠，也就是道士帽。他還特製了五頂香葉冠分賜給夏言、嚴嵩等人。夏言認為這不是大臣的正式朝服，不應該戴，因此從來沒有戴過，世宗對此非常生氣。嚴嵩為了討得皇帝的歡心，在入值西苑、皇帝召對的日子，特意戴上香葉冠，還在冠上籠以青紗，以示莊重。世宗見了，果然龍心大悅。同時，世宗命大臣們入值西苑時，都按照道士的習慣騎馬，不准坐轎。夏言根本不理會，依然是坐轎進出西苑。對此，世宗也心存不滿。
夏言這些輕視道士的舉動，間接地體現了他對世宗修仙誤國的做法多少有些牴觸情緒。夏言的舉動也使皇帝身邊的道士對他銜恨在心，少不了在皇帝面前藉機詆毀他。眾口鑠金，夏言漸漸地失去了皇帝的恩寵。嚴嵩看時機成熟，就在一次世宗單獨召見他的時候，痛哭流涕地訴說夏言平時對他和其他大臣肆意欺凌。不久發生日食，嚴嵩又借上天警示之名趁機陷害夏言傲慢犯上。世宗不由得勃然大怒，立即罷了夏言的官職，把他趕回了家。天遂人願，嚴嵩終於搬掉了自己前進路上的絆腳石。嘉靖二十一年(1542)八月，嚴嵩補了夏言離去後的空缺，以武英殿大學士入內閣參預機務。
這時，嚴嵩已經是個六十多歲的老人，但卻精神矍(jue）爍，老當益壯，日夜在西苑侍值，常跟從在皇帝左右。世宗越發離不開他，對他恩寵有加。嚴嵩沒有因為入閣而滿足，他為獨攬朝政，千方百計打擊異己，並結黨納賄，動輒以千萬計。其間曾有多位言官對嚴嵩進行彈劾，都因皇帝的庇護，而對之奈何不得。
不過，對皇帝來說，權臣是他所不能容忍的。嘉靖二十四年(1545)，世宗因聽到一些有關嚴嵩驕橫的傳言，對他漸生厭惡之心。恰巧此時內閣缺人，世宗下詔再次起用夏言。夏言入閣後重任首輔，職位在嚴嵩之上。因上次去職的緣故，夏言對嚴嵩的為人很鄙視。夏言對嚴嵩不但輕慢如前，還時時加以打擊。夏言處理政事時根本就不徵求嚴嵩的意見，並把嚴嵩安排的親信盡數除去。沒過多久，又發生了一件讓嚴嵩顏面掃地的事。嚴嵩獨子嚴世蕃借他父親的權勢做了尚寶司少卿，管理一些工程項目，多方盤剝，大肆貪污受賄。這些不法行為被夏言察知，欲上疏彈劾。嚴嵩聽說後，知道將大禍臨頭，拉上兒子直奔夏言家請求拜見。夏言托病不出，嚴嵩買通門房，攜子直入後堂，不顧臉面，父子雙雙跪倒在夏言之前，請求夏言寬大為懷，放過世蕃。夏言被說得心軟了，答應不再追究。夏言為人易動惻隱之心，嚴嵩正是利用這一點，使嚴家逃過了一次滅頂之災。但是，他對夏言的怨恨卻與日俱增，表面上笑語週旋，暗地裡卻在伺機反攻。
世宗是個多疑的人，他在西苑齋居時，就地筑有值房，表面上是方便大臣們值班處理政務，暗中卻經常派小太監窺視大臣們的行動。夏言根本不把這些小太監放在眼裡，依然我行我素，忙於政務。而嚴嵩則不同，他知道和這些宦官搞好關係很重要，便對這些小太監多多禮讓，還時常塞些金銀進行賄賂。世宗聽了小太監添枝加葉的匯報，對二人有了截然不同的印象。當初，夏言與嚴嵩都是因青詞得幸，這時夏言已年邁倦怠，青詞稿大多都是讓他的幕客撰寫，自己也不再審閱，甚至有很多青詞都是原來曾經進獻過的，世宗非常生氣，動輒就把他進獻的青詞丟棄到地上，而皇帝身邊的人沒有誰將此情形透露給夏言。嚴嵩在青詞上卻更下功夫，經常在夜深人靜的時候，在燈下裝作閱看青詞稿的樣子。這樣，嚴嵩的恩寵更加鞏固，夏言的地位又岌岌可危了。
嘉靖二十五年(1546)，兵部侍郎曾銑總督陝西三邊軍務。他出於邊防上的考慮，提出收復被蒙古佔領的河套地區的計畫。河套地區就是今天寧夏和內蒙古境內賀蘭山以東、狼山和大青山以南的大片黃河沿岸地區。控制河套地區，對明代的邊防具有重要的戰略意義。世宗向大臣們徵詢意見，夏言表示贊同，嚴嵩則堅決反對。嚴嵩還趁機攻擊夏言和曾銑是「擅權自用」、 「好大喜功」。這時，恰巧內宮失火，皇后去世，這些變故讓世宗驚懼不安。不久，蒙古軍進擾延安、寧夏等地，嚴嵩趁機對世宗說，這些都是因為夏言、曾銑要收復河套造成的。世宗對此深信不疑，立即將曾銑緝拿處死，讓夏言再次致仕。嚴嵩怕夏言他日東山再起，必欲將其置於死地而後快。於是，他又誣蔑夏言是收受了曾銑的賄賂而支持收復河套的。大臣與邊將勾結是大罪，於是夏言終於在嘉靖二十七年(1548)慘遭棄市。
嚴嵩與夏言長達十多年的驚心動魄的鬥爭，最後以嚴嵩的勝利而告終。在這場爭鬥中，嚴嵩性格中的刻薄寡恩、陰險狡詐、心狠手辣的特點都得到了淋漓盡致的表現。嚴嵩費盡心機，終於位極人臣。
最初，夏言慘死時，沒有人為他喊冤。等到嚴嵩在政治上胡作非為、「禍及天下」的時候，人們才感到夏言死得可惜。有意思的是，日後代替嚴嵩的首輔徐階恰恰是夏言所推崇賞識的人物，徐階在嚴嵩垮臺的過程中起到了重要作用，歷史彷彿經歷了一個輪迴。夏言不久也就被平反了，官復原職，賜祭葬。
嚴嵩雖然在嘉靖朝權傾一時，位高權重，為人也陰險狡詐，但他在家庭生活中卻是一個好丈夫，與結髮妻子歐陽氏的感情很好，沒有其他姬妾，二人育有二女一子。嚴嵩柄政時，朝野上下流傳著「大丞相」、「小丞相」的稱呼，「大丞相」指的是嚴嵩，「小丞相」指的就是嚴嵩獨子——嚴世蕃。
嚴世蕃，號東樓，生於正德八年(1513)，嘉靖四十四年(1565)三月，因罪被斬，時年五十三歲。嚴世蕃不是經過科舉走上仕途，而是借他父親的光，先入國子監讀書，後做官，累遷至尚寶司少卿和工部右侍郎。據說，嚴嵩長得又高又瘦，眉目疏疏，聲音又大又尖，很符合百姓心目中刻畫的奸臣形象。可是，嚴世蕃的長相和他爹卻一點相似的地方都沒有，「短項肥體」，果然是富家公子氣象，只是可惜一目失明。嚴世蕃姦猾機靈，通曉時務，熟悉國典，而且還頗會揣摩別人的心意。
嘉靖二十七年(1548)，嚴嵩再任首輔時，已經年近七旬，逐漸有些年邁體衰，精神倦怠。這時，他還要日夜隨侍在皇帝左右，已經沒有時間和精力處理政務。如遇事需要裁決，多依靠其子。他總是說「等我與東樓小兒計議後再定」，甚至私下讓世蕃直接入值，代其票擬。票擬就是內閣在接到奏章後作出批答，再由皇帝審定，是閣臣權力的重要體現。世蕃的票擬多能迎合世宗的心意，因此多次得到世宗的嘉獎。嚴嵩乾脆就將政務都交給其子，世蕃一時「權傾天下」。
據說，明代有名的一部小說《金瓶梅》就與嚴世蕃有著千絲萬縷的聯繫。小說中的「西門慶」這個主要人物就是影射嚴世蕃而來的。嚴世蕃小名「慶兒」，號 「東樓」，《金瓶梅》的作者「蘭陵笑笑生」將「東樓」化作「西門」，直接用「慶」字為名，創造出這個小說人物，來影射嚴世蕃荒淫無度的生活。這裡姑且不去考證「西門慶」到底是不是以嚴世蕃為原型，但嚴世蕃貪酷成性、生活糜爛卻是跟小說裡的西門慶非常相似。
一次，嚴嵩的義子趙文華從江南回來，送給嚴世蕃的見面禮就是一頂價值連城的金絲帳，還給嚴世蕃的二十七個姬妾每人一個珠寶髻。就這些禮物，嚴世蕃還嫌太少，心裏非常不滿，可見他的貪婪到了何種程度。世宗的第三子裕王朱載垕(choｕ)，按例應被立為太子，但世宗對他不是很親近。因此，嚴氏父子對他也很冷淡。就連照例每年該給裕王府的歲賜，戶部都因為沒有嚴氏父子的命令而一連三年都沒給發放。最後，這位未來的皇帝湊了一千五百兩銀子送給嚴世蕃，嚴世蕃欣然接受，才讓戶部補發了歲賜。嚴世蕃每每向人誇耀：「天子的兒子尚且要送給我銀子，誰敢不給我送銀子？」嚴世蕃的膽子真是大到了極點。
當時嚴氏父子把持著朝中官吏的任選、升遷。官無大小，皆有定價，不看官員的口碑、能力，一切都以官員的賄金為準。嚴世蕃利用各種手段大肆搜刮，家財富可敵國。據說，嚴世蕃與妻子要將金銀埋藏到地窖裡，想起這都是仰仗他父親得來的，於是就請嚴嵩來觀賞，嚴嵩一見，數量之巨出乎想像，頓時目瞪口呆，隱約感到大禍將至。
嚴嵩雖然姦貪狡詐，但卻只有歐陽氏一個妻子，二人攜手終老。嚴世蕃在這點上與他父親截然不同。貪必好淫，淫必生貪，這話用在嚴嵩身上未必準確，但用在嚴世蕃的身上卻很合適。他荒淫無度的生活比起《金瓶梅》中的西門慶，有過之而無不及。嚴世蕃的妻妾就有二十七個，其他的侍女、丫鬟更是無數。他讓他的這些美妻嬌妾，列屋群居，她們所用服飾，繡著龍鳳花紋，點綴著珍珠寶石，極盡奢華之能事。嚴世蕃用象牙床，圍著金絲帳，朝歌夜舞，很為自己的奢糜生活感到得意。但是他沒想到，這正是他最被百姓痛恨的原因之一。嘉靖一朝，南倭北虜，民不聊生，嚴世蕃的大肆奢華鋪張當然就更招人忌恨。
嚴氏父子因其貪贓枉法早就被正直之士所痛恨，不斷有人站出來彈劾他們。但是，因為明世宗的偏聽偏信、嚴嵩的姦猾狡詐，這些彈劾不但都沒有奏效，那些上章彈劾他們父子的人反而往往備受打擊，丟官不說，有的還搭上了身家性命。
瀋煉，曾作錦衣衛經歷。嘉靖三十一年(1551)，上疏彈劾嚴嵩「貪婪愚鄙」，歷數其「受將帥之賄，邊防弛備」、「受諸王饋贈，干預宗室事務」、「攬御史之權，敗壞政紀」、「嫉賢妒能」等罪狀。世宗不但未將嚴嵩治罪，還認為這是瀋煉詆毀大臣，下詔將瀋煉廷杖、謫官。嚴氏父子並不罷休，幾年後，指使黨羽尋機陷害，瀋煉被斬，他的三個兒子，兩個被打死，一個被發配到邊疆。
被譽為明代第一直諫之臣的楊繼盛也是因彈劾嚴嵩而獲罪。嘉靖三十二年(1553)，時任兵部員外郎的楊繼盛上《請誅賊臣疏》，彈劾嚴嵩「壞祖宗之成法」、「竊皇上之大權」、「誤軍國之機」等十大罪狀、五大姦宄 (ɡuǐ)，揭露嚴嵩禍國殃民的真實面目。在奏章的最後，楊繼盛懇求皇帝「聽臣之言，察嵩之姦」。疏中所奏嚴嵩的罪狀，嚴嵩無法抵賴，但嚴嵩畢竟老謀深算，他抓住楊繼盛疏中「或問二王(裕王、景王)，令其面陳嵩惡」這句話，誣陷楊繼盛與二王串通。剛愎自用的世宗最忌諱大臣們越過他和自己的兒子們結交，生怕因此而產生逼宮，遂不問疏中揭發嚴嵩的罪狀是否屬實，就降旨將楊繼盛逮捕入獄。在下獄兩年多後，楊繼盛於嘉靖三十四年(1555)被處決。行刑前，楊繼盛從容賦詩：
浩氣還太虛，丹心照萬古。
生前未了事，留與後人補。
嚴氏父子再次僥倖逃脫，但是他們身邊早已危機四伏了。
世宗的荒誕、自大、殘忍和喜歡玩弄權術，使得他的行事無法用正常的邏輯來解釋。嚴嵩的仕途生涯與世宗緊緊相連，他的榮辱興衰都決定在皇帝一個人的手裡。嚴嵩入閣二十一年，任首輔十五年，除了楊士奇，有明一代，無人能及。嚴氏父子姦險誤國，早就成為眾矢之的，但是世宗卻無動於衷。那麼，嚴嵩究竟是怎麼垮臺的呢？原來，世宗下決心除去嚴氏父子，還是陰謀和權術共同作用所產生的結果。
嘉靖四十年(1561)，嚴嵩的妻子歐陽氏去世，嚴世蕃按舊時禮制應回鄉守制三年，雖然皇帝應嚴嵩的奏請，准許嚴世蕃留京，但他在居喪期間已不能代父入值票擬。嚴嵩此時已有八十餘歲，老朽昏聵，他所作的票擬往往言語不清，前後矛盾，他所進獻的青詞也都是別人代寫，這些多不稱世宗的心意，遂對嚴嵩漸漸心生不滿，後來又聽說嚴世蕃貪虐淫縱，對其父子更感厭惡。
這時，嚴嵩可謂是禍不單行，自己不得皇帝的歡心不說，還與時任次輔的徐階發生了漸趨白熱化的鬥爭。徐階是一個聰明而又有權略的人，他感覺到世宗對嚴嵩態度的微妙轉變，就買通了世宗很信任的一個名叫藍道行的道士。藍道行在扶乩的時候，顯現出「分宜父子，姦險弄權」的字樣，世宗問：「上天為何不誅殺他呢?」藍道行詭稱：「留待皇帝正法。」世宗心有所動。就在這一年，皇帝居住的萬壽宮發生一場大火，皇帝不知以後怎麼辦，向大臣詢問，嚴嵩竟建議皇帝搬到南宮去住。南宮是舊時英宗被幽錮之所，這對喜歡祥瑞的世宗來講，真是犯了大忌諱。徐階迎合皇帝心意，主張重建萬壽宮，沒多久，新宮拔地而起，比先前更巍峨漂亮。這樣，徐階在世宗心目中的地位漸有取代嚴嵩之勢。這件事成了嚴嵩晚年命運的轉折點。
嚴嵩失寵，御史鄒應龍聞風而動，上疏彈劾嚴嵩。嘉靖四十一年(1562)，在徐階的慫恿下，皇帝奪去嚴嵩一切官職，勒令回鄉，嚴世蕃謫戍雷州衛。嚴世蕃在謫戍雷州中途跑回江西老家，本性難移，繼續作惡多端。嘉靖四十三年(1564)，他又被御史彈劾。世宗大怒，將嚴世蕃逮捕下獄。第二年案結，世蕃被斬，嚴嵩被削籍為民，家產盡抄。嚴嵩只得在祖墳旁搭一茅屋，寄食其中，晚景非常淒涼。嘉靖四十五年(1566)四月，一代奸臣嚴嵩在孤獨和貧病交加中去世。他死時窮得買不起棺木，也沒有弔唁者。臨死前，嚴嵩艱難地寫下「平生報國惟忠赤，身死從人說是非」，擲筆而死。
當年的十二月，明世宗也龍馭賓天了。奸臣佐昏君，這一對君臣還真是「相得益彰」啊。二人同年而死，一個時代落幕了。
從嚴嵩臨終的留言可以看到，他是帶著無盡的委屈、不甘心和憤懣到了另一個世界的。《明史》稱：「嵩竊政二十年，溺信惡子，流毒天下，人咸指目為奸臣。」 嚴嵩肯定想不到，他所揹負的「奸臣」罵名不但沒有因他的去世而消失，反倒廣為流傳，他的名字成為奸臣的代名詞。與此有關，這裡不得不提到一個明代有名的史學家——王世貞。
王世貞與嚴嵩結怨，傳說有一段公案。王世貞的父親就是被世宗處死的王忬。一個偶然的機會，王忬得到了價值連城的國寶《清明上河圖》，不久就被嚴氏父子得知，二人就向王忬索要。王忬迫於嚴氏父子的權勢，就讓一個畫師臨摹了一張送給嚴嵩，後來事情敗露，嚴嵩對其懷恨在心。後借王忬戍邊不力下獄之機，嚴嵩上奏本將其害死。因為這段積怨，王世貞在他所寫的《嘉靖以來首輔傳-嚴嵩傳》以及其他史著中，對嚴嵩多有詆毀，嚴嵩的聲名就此更是一落千丈。
