李世民秦王府當時聚集一批人才，朝廷重臣十之八九都是他的顧問，這難道不被皇帝李淵猜忌嗎？其實李淵此時有更大的顧慮，那就是太子，每朝每代皇帝對於太子的猜忌都是非常厲害的，李淵也不例外，他到晚年對太子李建成的猜忌非常重，於是有意扶植李世民打壓李建成。把李世民封為天策上將，位列百官之首，而且可以自行招募官員，組建自己的文武百官，這些官員就包括玄武門之變功臣秦瓊、尉遲恭、程知節、侯君集等人，而且房玄齡、杜如晦成為李淵身邊的紅人，常常被李淵召見。
而李淵自己在用人方面卻非常保守，內政方面依靠李建成，軍事方面依靠李世民，這讓很多能人志士都投靠李世民這邊，被稱為“十八學士”大都是李世民的顧問。這讓當時的李建成非常被動，於是他就打起了後宮的主意，打算讓後宮嬪妃給李淵吹枕頭風。李建成和李元吉看上了李淵身邊的魯貴妃，魯貴妃剛剛生完李元曉，指望孩子當太子肯定不現實，但是背靠太子李建成是將來很好的一個出路。於是李建成同魯貴妃就達成了協議，讓魯貴妃幫忙除掉李世民，作為回報李建成將來要照顧好這個小弟弟。
但是這個秘密的契約卻被秦王李世民給知曉了，於是李世民就利用魯貴妃大做文章，誣陷李建成與魯貴妃有私情，又對李淵哭訴説，李建成打算除掉自己。李淵當時很驚訝，於是約定，明天一早和李建成、李元吉當面對證。按照當時的規矩，如果要進皇宮必須經過玄武門，而且進玄武門的時候不能攜帶衞兵。這麼重要的一個關口，李建成難道沒有想到嗎？李建成想到了，也做到了，但是沒有李世民做的好。
雖然《舊唐書》沒有記載這關鍵的一環，但是在《常何墓碑》中卻記錄其中的緣由。常何在玄武門之變中被任命為禁軍統領，負責守衞玄武門，雖然表面上是李建成的人，但是暗中卻被李世民拉攏，李建成與李元吉之所以敢隻身入宮，也是因為相信常何。在《常何墓碑》中記載：“賜金刀子一枚，黃金三十挺...仍以數十金刀子委公錫驍勇之夫。”李世民不但送常何金銀財寶，而且還給常何手下將領送去了很多金子。為了以防萬一，房玄齡和杜如晦還讓常何交出自己的母親和妻子做人質，並且同意李世民在玄武門設下伏兵，可見李世民謀臣們對常何下了很大的功夫。當李建成手下馮立、薛萬徹、謝叔方等將領得知太子遇害之後，帶領2000多名士兵猛攻玄武門，隨後將敬君弘、呂世衡等人斬殺，而且帶領士兵攻打秦王府。當這些士兵看到李建成與李元吉的首級後，於是紛紛放棄抵抗。薛萬徹等人解散部隊，逃往終南山。
這個時候李淵還在後宮的池子裏乘船遊玩，尉遲恭穿着盔甲闖進後宮，向李淵報告説，李建成和李元吉謀反，秦王李世民已經把他們給殺了。李淵聽完後，非常震驚，但是此時已經無可奈何，只能讓李世民做太子了，事後還補了一句，這是我一直以來的夙願。李世民看大局已定，便入宮拜見李淵，李淵看着李世民淡定地説：“最近我聽信謠言，錯怪你了”，於是李世民便撲倒在李淵懷裏，兩人大哭一場。其實造成這種狀況，李淵擺脱不了干係，他一直猜忌太子，太子李建成也不像《舊唐書》描述的那樣，懦弱無能，而是非常有才幹。公元617年，李淵被任命為太原的留守，也就是太原的軍政長官，隋朝時，太原因為要抵禦突厥的進攻，所以戰略位置非常重要。隋末大亂，各地軍閥都紛紛起兵。李淵在太原手握重兵，遲遲不敢行動，一方面是擔心自己起兵去攻打洛陽，長安，如果老家被突厥給端了怎麼辦？另外就是關中易守難攻，很難攻克。
歷史往往也有其偶然性，此時李淵身邊有個叫裴寂的老臣，他看見這麼多人勸李淵起兵，李淵都不為所動，於是就給李淵擺了一刀。隋煬帝在太原有一個行宮，裴寂平時管理這裏的日常事物，於是有一天裴寂找李淵喝酒，就故意找了幾個宮女來陪酒，而且還讓這些宮女陪李淵過夜。第二天等到李淵酒醒之後，裴寂就告訴李淵，他碰了隋煬帝的女人。李淵知道隋煬帝的暴脾氣，現在只能造反了。但是從李淵決定造反，到真正開始行動，中間等了4個月，他一直在等李建成。李建成此時駐守河東，他不但心思縝密，而且對局勢把握非常到位。他看到，突厥雖然一直是隋朝的敵人，但是現在我們共同的敵人都是隋朝，那麼我們之間不就是朋友了嗎？所謂敵人的敵人就是我們的朋友。
當時李淵問裴寂，攻陷長安的勝算有幾成，裴寂告訴李淵，以現在的兵力，有六成勝算，李淵心生怯意，此時李建成告訴李淵，如果想解決掉太原的後顧之憂，並且增加攻陷長安的勝算，只能向突厥借兵。對於突厥遊牧民族來説，土地不是他們所需求的，於是和突厥達成協議，攻陷長安，財寶歸突厥，土地歸李淵。李淵自封自己為大將軍，任命裴寂為大將軍府長史，李建成以隴西公為稱號，為左領軍大都督；次子李世民以敦煌公為稱號，為右領軍大都督；末子李元吉以太原太守身份，留守晉陽宮。
在李淵出兵後不久，路過一個賈胡堡的地方，正準備與前來迎戰的隋軍決戰，但是軍中卻傳來消息説突厥與劉武周勾結，準備進攻太原，這個時候大家都開始慌了，因為軍中將士全家老小都在太原，大家想回去救援。在這個緊要關頭，李建成和李世民站出來説，這個時候怎麼能夠退兵？這樣會讓我們腹背受敵，而且這個消息不知道真假，只會造成軍隊混亂，只有打敗隋軍，我們才能穩定局勢。李淵在兩個兒子的支持下，打敗了隋軍，掃清了進入關中的第一道障礙。李淵把李建成和李世民當作左膀右臂，為了獎賞兩個兒子，把太子留給了李建成，但是隻能給李世民官銜了。李世民被封為天策上將，而且擁有天策府，能夠自行招募官員，這為後來李世民的玄武門之變奠定基礎。
除了給李世民政治地位上的優待，而且還允許李世民造銅錢，這讓李世民財力大增。同時李淵還有小心思，李建成能力這麼強，會不會提前取代他？公元624年，李淵去長安北邊一座行宮去避暑，讓李建成留守長安，但是李淵在行宮裏收到舉報，説李建成正準備讓他手下楊文乾造反。李淵聽到消息後，立即讓李建成來見他，沒想到李建成還真是一個人來見了李淵，見到李淵之後，倒地便拜，幾乎磕暈了過去，李淵於是讓人把李建成給關了起來。這個時候李淵又派人去找楊文幹來問話，但是傳令的人，把事情原委告訴了楊文幹，楊文幹被迫起兵造反。
李淵為了對付楊文幹，給李世民畫了一個大餅，平定楊文幹回來讓你做太子。結果李世民不費摧毀之力就把楊文幹給平定了。但是歷史弔詭的是，李淵並沒有廢掉李建成，而且還把李世民部下杜淹給流放了，雖然正史裏沒有記載，但是我們可以推測，李淵被李世民給耍了。很明顯李建成是被李世民給陷害的，所以李淵本着大事化小，小事化了的態度，沒有將事態擴大，只是流放了李建成、李世民的部下。
此時李淵不但猜忌李建成，而且還猜忌李世民。公元625年，北方的突厥南下，李淵沒有任用李世民，而是讓李元吉領兵去對抗突厥。為了削弱李世民的勢力，李建成還建議，挑走李世民手下一些精兵強將，這讓李世民看到危機的到來。尉遲恭對李世民説：“我的想法是先下手殺掉他們，您如果不採納我的意見，就請讓我逃走，我不能坐等別人來殺。再説靠危難成就大業，是聖賢的高明主見；把災禍變為福祉，是智士的天賦機敏。我如果逃走，無忌也要一起逃走。”此時李世民不得不出手了。
玄武門之變，尉遲恭入宮之後，按照房玄齡的交代，不但要到兩宮的兵權，而且還要到全國的兵權，詔書下發之後，李建成、李元吉一族全被誅殺。當時朝堂之上還有人建議，將李建成和李元吉的近臣全部殺掉，不過此時的李淵還是比較清醒的，沒有將事態進步一擴大，而僅限於李建成和李元吉的家族。兩個月後，李淵就趕緊把皇位讓給了李世民，自己當了太上皇。李淵本想在兩個兒子之間玩平衡，讓兩個人之間互制衡，但是這是事關生死的遊戲，不是你死就是我亡，任何一個人上位都會置對方於死地。可以説，玄武門之變的火種，就是李淵親手種下的。