胡惟庸担任丞相之职时，中书省的大权实际上由他一人掌握。按规定内外诸司大臣给皇帝的奏折都要经过中书省，但是胡惟庸仗着朱元璋对他的宠幸，独擅专权。
凡是对他的不利的奏章都按下不发，甚至罢黜官员也不经过朱元璋同意。洪武十三年(1379年)，朱元璋终于不能忍受胡惟庸欺上瞒下，结党营私，便借着占城国使臣事件将胡惟庸拿下。
关于胡惟庸的死法，似乎有多种。电视剧《传奇皇帝朱元璋》中，胡惟庸被押往午门外，头和四肢分别套上一匹马，随着行刑命令的下达，胡惟庸越来越痛苦。不过在死之前，他仍声嘶力竭地喊：朱元璋你就算躲过了这一劫，也躲不过下一劫。在他刚喊完，五马飞奔，胡惟庸立刻被五马分尸。
永乐初年的《纪事录》却有这样的记载：左丞相胡惟庸、右大夫陈宁，擅权坏法，俱伏诛于玄津桥，掘坑丈余，埋其尸，次日复出之，肢解于市，纵犬食之，录其家资，以妻子分配军士，子弟悉斩之，连及内外文武官员数万人……上以应天府所属上元、江宁二县之民与胡惟庸为党，将男妇长幼悉屠之。
意思是左丞相胡惟庸，右大夫陈宁在玄津桥被处死，然后挖了个坑给埋了。第二天有个挖出来，在闹市分尸，并放狗去吃，收缴了家产，妻妾女儿飞配给了军士，家中男丁子弟都斩了，牵连文武官员几万人。
至于被蚊子咬死多半是文艺工作的创造加工，洪武大帝多半没这个功夫去做这事。胡惟庸死后，朱元璋正式下诏废除丞相制度，从此皇权与相权合二为一，大明朝驶入了封建专制之路。