由于独孤皇后的挑拨，宰相高熲被隋文帝革职为民，这使得太子失去了一把巨大的保护伞。改立太子的机会终于到了。可是，太子杨勇虽然不讨父母喜欢，但毕竟没有什么大的过错，废黜的事情会如何进行呢?可以说隋文帝找到了太子的各种罪状，但是让人感到奇怪的是，当隋文帝把自己改立太子的想法公之于众的时候，得到的回应却很让他吃惊。
高被革职，太子的保护伞没有了。朝中认识高度一致了，废太子势在必行，这时小人物姬威起了大作用。开皇二十年，杨广下命令，“东宫过失，主上皆知之矣，已奉密诏，定当废立;君能告之，则大富贵。”你如果能挑头，富贵就唾手可得。姬威马上举报太子图谋不轨了。这时隋文帝在避暑，赶回大兴城，上朝问大臣，“我新还京师，应开怀欢乐，不知何意翻然愁苦”。
他这样问其实是因为这几年，他天天听独孤皇后讲太子坏话，他就认为太子不才是朝中共识了。他这样问是给朝臣一个表达的机会。如果说出太子劣迹，就直接废掉太子。可是，好多是假象朝臣不知道。大臣没直接感受，愣了，皇帝表达什么他不知道。牛弘说话了，“臣等不称职，故至尊忧劳”。隋文帝不需要这样的回答，直接对东宫官员发话，“仁寿宫此去不远，而令我每还京师，严备仗卫，如入敌国。我为下利，不解衣卧，昨夜欲近厕，故在后房恐有警急，还移就前殿，岂非尔辈欲坏我国家邪?”。
我每次回来，如临大敌，你们难道不知道我为什么紧张吗?我本住后殿，我觉得不如前殿安全，我不敢解衣服睡觉，说完拿下这些东宫官员。让杨素宣布太子的罪状。他宣布，刘居士纠集一些人为非作歹，我请太子缉拿他的手下，太子吼叫，不是被你们捉拿了吗?还要什么人呀?跟我有什么关系呀?这不是违抗吗?他还亲口说过，我父亲当年多危险呀，不是长子跟着，当了皇帝就把我当成了眼中钉哪。这不是怨恨吗?说了这两罪状，大臣想这也不是大事呀。隋文帝也觉得这样说不太对劲。
他就自己补充，不孝，皇后也劝我废掉他，我考虑是嫡长子，一直希望他从善，没想到越来越不象话，四大罪状：一是指着皇后侍女说这以后都是我的，这不是不孝吗?我疑心他毒死了元氏，分明威胁了;三是与云氏在外边生了儿子，我们不计较，没想到他们认为我们不怀好意，与我们离心离德;四是云氏，肯定跟别人也不检点，就算这个是他生的，龙生龙，这样的母亲生的，如果将来成了正统，不能忍受。想来想去，负责起见，另立太子，大家同意吗?左右一听，更糊涂了。这样的琐事不登大雅之堂，太没水平了，这样废太子，也太轻率了。大臣们沉默着，元旻说话了，“废立太子，诏旨若行，后悔无及，谗言罔极，惟陛下察之”。建议三思而后行，免得后悔无及。大臣们并不支持呀，相当怀疑甚至反对呀。隋文帝也意识到自己想简单了。他还以为是所有人都反对太子，巴下高就够了。现在看，远远复杂多了，大臣们并没有认识到太子的过失，甚至公开支持太子。
大臣们并没有像他想象的那样认同此事，甚至还有人公然反对。这其实暴露出隋文帝此前得到的情报有很多误差，理应重新评估才是。那么隋文帝会怎么做呢?
这时，隋文帝可以两种选择：重新评估，再考虑一下是不是偏听了;既然做了做到底。他选了第二种，他对太子有长期积累的不满，与太子的矛盾公开化了，不如索性废掉。就得解决两个问题，怎么让大臣了解太子过错，让了解的人揭发吧，还得靠姬威，内部人了解情况。不能只讲琐事，家庭过结不行，得讲对大臣造成什么危害。姬威说了，他曾说，当了皇帝到处修离宫别馆，谁进谏，我就宰掉，就不害人不怕死。这不是昏君吗?还说，太子请人算卦，说陛下活不过开皇十八年，天天算日子，这样的不孝，谁能忍受呀?隋文帝说了，“谁非父母生，乃至于此，我有旧使妇女，令看东宫。奏云：‘勿令广平王至皇太子处。东宫憎妇，亦广平王教之。’”我是忍痛割爱，为国除奸呀。一唱一和，反正至少算是交待一点了。第二个问题，元旻的公开支持，这是最高武官的支持，左卫大将军呀。如果他这儿出问题，甚至会引发兵变。杨素来负责了。没几天，司法部门向元昱发难了，与太子有不正当的交往。这时元旻还正宿卫呢，拿下来了。解决得干净。杀一儆百了。压服了朝廷。两步走完了，太子的罪状还不明，还得有明确的事件，才显得名正言顺。
从隋文帝的态度上来看，他已经是铁了心一定要废黜太子。但是尽管如此，他也意识到太子罪状还不足以服人。那么到底要怎样的罪状才能搞垮一代太子呢?隋文帝又会让谁去罗织这些罪状?
让杨素找罪状，难事得他办。杨素彻查东宫，搜寻证据。结果是真搜出了两件新玩意。一是几千根槐树棍，好几斛艾绒。太子的这些东西让人纳闷。两种东西有什么用?当时的人都知道是点火用的，古人用燧石划出火星，用艾绒引火，再用槐树棍当成火把。太子囤积这些东西是偶发事件，几天前，他回到东宫，路上看到一根老槐树，他没见过什么生活，觉得好奇，问这树还能有用吗?左右说点火有用，太子说弄回去吧，砍成木棍，分给卫士点火吧。破成木棍，还没来得及分下去，隋文帝发难了，只得囤积下来了，被杨素发现了。杨素觉得新鲜有文章可做，找来姬威，问他。姬威是叛徒，比任何人都希望太子倒霉，说这是与造反有关的事，还有一千多匹马呢，想在夜里去包围仁寿宫，想把皇帝困死在宫中。杨素马上去对质了。太子也生气了，我贵为太子，这也是造反?你家不是养着一万多马，不也是?不过，这些作为证据呈给了隋文帝，抹黑完成了，只差最后的摊牌了。
有了谋反的嫌疑，杨勇这个太子也就再难当下去了。那么对于太子杨勇，隋文帝会如何处理呢?一直躲在背后的晋王杨广，又将因此获得怎样的利益呢?
开皇十十年十月九日，召见太子。皇帝正装，士兵间是百官与皇亲国戚。废太子是国事与家事，双方代表都来了。让宣读诏书：“皇太子勇，地则居长，情所钟爱初登大位，即建春宫，冀德业日新，隆兹负荷。而性识庸暗，仁孝无闻，昵近小人，委任奸佞，前后愆衅，难以具纪。但百姓者，天之百姓，朕恭天命，属当安育，虽欲爱子，实畏上灵，岂敢以不肖之子而乱天下。勇及其男女为王、公主者，并可废为庶人。”
太子一定要选一个好人，可是当今太子不仁不孝，我为天下百姓考虑不得不割恩正法，杨勇及儿女被废为庶人。我废你也不得已。杨勇本以为要杀了，现在甚至有幸福感，赶紧连连磕头，怎么会怪您呢。就这样，二十年太子就是浮云了。杨广笑了，一个月后，十一月初三，杨广被册为皇太子，十年久的太子储位之争尘埃落定了。杨广知道是太子不艰苦不谦虚得罪了隋文帝。他特地向隋文帝提出两项请求，一是降低礼服等级，二是从此后，东宫官员不再对太子称臣，都只对皇帝称臣。隋文帝太高兴了。大兴城当时是长安与大兴县，他请太子去大兴县，你住进去是沾这两字的兴气。
许多人会认为这事太错了，这是亡国根源。古人也这样想，像李世民说，“隋太子勇抚军监国，凡二十年，早有定分，杨素欺主罔上，贼害良民，使父子道灭，逆乱之源，自此开矣。”
对吗?今天，我们评价，这是从结果推源头，不客观。客观看，一是有一定的合理性，杨勇与杨广比较一下，杨勇的二十年太子就是一个热衷享乐个性比较任性的人，是中人，有中人之资，是个一般人，杨广却是功勋卓著，少年老成，提前想几步的人，性格能力上都突出，隋文帝希望国家越走越好，希望更优秀的儿子接班，这有合理性;二是给政治造成了巨大的伤害：人为制造了朝中的分裂，像高与杨素都是优秀的人才，造成了君子道消小人道长的政治局面，支持杨勇的人是正人，而让杨广当是不合政治传统的人，都是野心家投机分子，结果是小人得志了;三是开启了家庭间儿子间的骨肉相残的局面，其他儿子也不满，会引发新的政治动荡，越来越多疑越来越冷血，骨肉相残马上就会开始了。