公元649年（貞觀二十三年）,李世民病重,彌留之際,他單獨召見長孫無忌和中書令褚遂良，兩人被任命為輔政大臣。唐高宗李治即位後，對親舅推舉之恩萬分感激,立即進封長孫無忌為太尉,兼揚州都督,仍知尚書及二省事.長孫無忌也竭盡忠忱,數進良諫,高宗無不優納。李治還是太子的時候,一次遇到太宗才人的武媚娘,就被她的美色所吸引。太宗駕崩後,武才人被送往感業寺落髮為尼，李治以上香為名,到寺廟見到武才人,兩人立即如膠似漆。王皇后聽説此消息馬上令武才人留起頭髮,勸高宗納武才人為後宮。原來當時王皇后沒有孩子, 目的想奪有孩子而受寵的蕭淑妃。讓兩人沒有料到的是，武才人聰慧異常,不久就大受高宗寵幸,進封昭儀,王后、蕭妃一齊被冷落。
不久武昭儀生下一個女兒,王皇后見了心中真的十分憐愛,抱在懷中逗弄,然後離開。武昭儀暗中潛入,活活掐死自己的親生女兒,然後等高宗看視時大哭大鬧,陷害説王皇后弄死了自己的女兒。高宗勃然大怒,想廢掉王后。但是皇后母儀天下,又是結髮之妻,高宗自己還真做不了主,便想讓親舅幫自己一把。高宗和武昭儀多次請求長孫無忌廢掉王皇后，都沒有得到同意。高宗召集長孫無忌、李勣、于志寧、褚遂良四人入內殿。李勣比較世故,稱自己有病沒有去。褚遂良對長孫無忌説:“今日聖上召見,肯定是立後之事,上意已決,逆之必死。太尉元舅,司空功臣,不能讓皇上蒙受殺害元舅和功臣的污名。我褚遂良出身布衣,備位輔政,受太宗託之恩,當以死爭之!”君臣見面後,高宗説:“皇后無子,武昭儀有子,現在要立昭儀為皇后,怎麼樣?”
褚遂良答道:“皇后出身名門,是太宗皇帝為陛下所娶。先帝臨崩,拉着我的手説:‘朕佳兒佳婦,今以付卿’。陛下您當時在場,言猶在耳。皇后沒有過錯,怎能輕廢!”高宗一時無語。幾天後,高宗又召見幾人,問同樣的問題。“陛下您果真想換皇后,可以從天下名族中仔細挑選.武氏曾侍奉先帝,天下所知.萬代之後,後世對陛下會怎麼評論呢!”褚遂良言畢叩頭言罪:“為臣逆忤陛下,罪當死!”並解下官帽放下手中官笏,請求高宗把他放歸田裏。由於戳到高宗的痛處,李治大怒,命衞士把老頭子拉出去。武昭儀也在殿後大叫:“何不撲殺這個鄉巴佬!”長孫無忌此時喊道:“遂良受先帝顧命,有罪不可加刑。”同去的于志寧一直低頭不語,大氣不敢喘一口。過了幾天, 高宗召李勣入見,又問他這件事,李世勣比較老成世故，説:“此陛下家事,何必更問外人!”李治聽了暗喜。
得勢小人許敬宗趁機在上朝時對百官宣言:“田舍翁多收十斛麥,尚欲易婦；何況天子欲立皇后,關眾人屁事而妄生異議!”不久，李治下詔稱王皇后、蕭淑妃謀行鴆毒,廢為庶人，並立武昭儀為皇后。從此，高宗對長孫無忌不再信任,武皇后對他更是恨之入骨,但她摸不準長孫家族的勢力和底細,暫時不敢動他。公元659年（高宗顯慶四年）,一直對長孫無忌懷恨在心的許敬宗借一起朋黨案件,把長孫無忌牽扯進去,誣稱他構陷忠臣,伺機謀反。高宗起初聞言還真吃了一驚,流淚説:“我家不幸,親戚間屢有如此事發生,往年高陽公主與房遺愛謀反,現在元舅又幹這事,使朕愧對天下人!如果事情屬實,怎麼處理?”許敬宗答道:“房遺愛乳臭未乾,與一女子謀反,能成什麼大事!長孫無忌與先帝一起謀取天下,為宰相三十年,天下畏其威名。如果哪天他忽然起事,陛下您派誰能抵擋他!為臣我從前也見過先例,宇文述與宇文化及父子都為隋煬帝親任,結以婚姻,委以朝政,一夕事發,先殺不附已之人,為臣一家也慘遭殺害,其餘大臣惶恐聽命,不過數個時辰,隋室已亡!”高宗沉默不語，只是流淚。
這許敬宗猜到他心裏的難處，立即説:“漢朝薄昭,也是漢文帝的舅舅,也有擁立之功。薄昭僅僅犯了殺人之罪,文帝就讓朝臣們身穿孝服齊坐於薄昭家門口哭吊活人,逼得薄昭自殺,至今天下以漢文帝為明主。現在,長孫無忌忘兩朝大恩,謀移社稷,其罪與薄昭不可同年而語啊。他是司馬懿、王莽一類人,陛下稍加猶豫,後悔無及!”高宗最後竟不加親自審問,就下詔削奪長孫無忌太尉封號及封邑,流放黔州。不久,許敬宗又派人到黔州重審長孫無忌謀反案,到州後逼令無忌自縊而死,並抄沒家產,子孫長流嶺外荒野之地。（微信號：songshugonghui）