永徽六年（655年），唐高宗經過艱苦努力最終完成了“廢王立武”這件大事。武則天也透過此事為自己後來空前絕後的女皇帝之路奠定了基礎，而曾經不可一世的凌煙閣第一功臣長孫無忌卻落得個被逼自殺的悽慘結局。
實際上對於長孫無忌的最終結局，長孫皇后和唐太宗都早有預感。長孫皇后生前不讓自己的哥哥參與朝政，臨終前的唐太宗則提醒長孫無忌不要走上權臣之路。而早年的長孫無忌也確實行事低調，以至於當年的太子李建成都不將其視為主要威脅。
但是到了永徽年間，特別是永徽四年（653年）的“高陽公主謀反案”之後，幾乎將所有的政敵與潛在政敵消滅的長孫無忌基本上完成了對朝政的壟斷，架空了唐高宗。而從一件小事上就可以看出，此時的長孫無忌狂妄到了何等地步。
貞觀年間的宰相大多數都非常清廉，比如魏徵直到去世家裡都沒有正屋。但長孫無忌算是貞觀宰相中的“另類”，他的府邸非常豪華，甚至都成了當時長安城的著名旅遊觀光景點。而長孫無忌也經常在自己的府邸裡宴請賓客，顯示自己的聲望。
大約在永徽四年（653年）後的某天，長孫無忌又一次大宴賓客。在宴會達到高潮的時候，長孫無忌突然向賓客們問道：“我長孫無忌本來沒什麼本事，依靠運氣和皇帝的賞識，如今已經是人臣富貴至極了。諸公說說我和隋朝的越國公比如何呢？”
隋朝越國公就是楊素。在隋煬帝剛登基的時候，楊素成為隋朝最有權勢的大臣，朝廷“五貴”中三個都是楊素家族的人。不過晚年的楊素為了擺脫隋煬帝的猜忌，用不吃藥的方法慢性自殺而死。而楊素的兒子楊玄感後來謀反被殺，九族盡滅，楊素也被開館戮屍。
因此長孫無忌突然在宴會問賓客們自己和楊素相比的問題，很多賓客不知道長孫無忌到底是什麼意思？有些賓客就奉承長孫無忌，說長孫無忌比當年的楊素強多了；有些相對冷靜的賓客覺得這裡有問題，就說長孫無忌現在還是比不上楊素。
在聽賓客們的回答後，長孫無忌說道：“我自己覺我確實比不上當年的越國公楊素，主要是有一項比不上他。越國公楊素位極人臣的時候年齡已經很大了，而我位極人臣的時候還很年輕！”長孫無忌這裡明顯是“正話反說”，其實他是覺得自己比楊素強多了。
楊素是隋朝最有權勢的大臣，最後也因為自己的權勢而身敗名裂，九族盡滅。而永徽年間的長孫無忌不僅不以楊素為前車之鑑，反而覺得自己比楊素還厲害。可見此時的長孫無忌狂妄到何種程度，這預示了他之後的悲慘結局。