永徽六年（655年），唐高宗決定通過“廢王立武”一舉解決專權的長孫無忌集團，“廢王立武”也自然遭到了長孫無極集團的強力阻擊。因為當時朝廷的實權都掌握在長孫無忌集團的手中，所以唐高宗的多次嘗試都以失敗告終。
就在此時，司空李勣單獨對唐高宗説：“此陛下家事,何必更問外人。”這句話讓唐高宗一下子下定了決心，馬上將反對“廢王立武”的宰相大臣一一處理，從而徹底解決了長孫無忌集團。
那麼李勣這句“此陛下家事,何必更問外人”到底有什麼厲害的地方，從而徹底扭轉了“廢王立武”的進程？
首先，李勣“此陛下家事,何必更問外人”看起來是客套話，但卻説明了一個問題：我李勣作為外人不該管“廢王立武”的事，長孫無忌一樣是外人（外戚），也不該過問“廢王立武”。李勣這句話既是對唐高宗的支持，也是在為“廢王立武”尋找法理依據。
其次，唐高宗之所以無法“廢王立武”，是因為掌握整個換皇后程序的宰相都是長孫無忌集團的成員，長孫無忌不同意就換不了皇后。在沒有得到長孫無忌同意的情況下，唐高宗想要“廢王立武”的唯一辦法就是打擊那些長孫無忌派系的宰相。
但是這樣一來，意味着唐高宗要和長孫無忌徹底攤牌。當時唐高宗在朝廷中一沒人脈、二沒根基、三沒權勢、四沒影響，如果徹底攤牌極有可能引發不可預料的後果。之後的唐中宗就是處理宰相權力的時候過於急躁，才被武則天抓住機會廢掉的。
李勣作為凌煙閣功臣之一、當時的正一品重臣（司空）、大唐第一名將，是唯一在人脈和影響上能與長孫無忌相抗衡的大人物。而且作為碩果僅存的貞觀一等名將，李勣在當時是軍方的最高代表人物，而這恰恰是長孫無忌集團所欠缺的。
因此得到了李勣的支持，唐高宗不僅擁有了可以抗衡長孫無忌的人脈和影響。更重要的是得到了軍方的支持，唐高宗就算跟長孫無忌徹底攤牌，也不會再怕會發生什麼非常變故了。所以李績的話才讓唐高宗下定決心解決長孫無忌。