胡惟庸擔任丞相之職時，中書省的大權實際上由他一人掌握。按規定內外諸司大臣給皇帝的奏摺都要經過中書省，但是胡惟庸仗着朱元璋對他的寵幸，獨擅專權。
凡是對他的不利的奏章都按下不發，甚至罷黜官員也不經過朱元璋同意。洪武十三年(1379年)，朱元璋終於不能忍受胡惟庸欺上瞞下，結黨營私，便藉着占城國使臣事件將胡惟庸拿下。
關於胡惟庸的死法，似乎有多種。電視劇《傳奇皇帝朱元璋》中，胡惟庸被押往午門外，頭和四肢分別套上一匹馬，隨着行刑命令的下達，胡惟庸越來越痛苦。不過在死之前，他仍聲嘶力竭地喊：朱元璋你就算躲過了這一劫，也躲不過下一劫。在他剛喊完，五馬飛奔，胡惟庸立刻被五馬分屍。
永樂初年的《紀事錄》卻有這樣的記載：左丞相胡惟庸、右大夫陳寧，擅權壞法，俱伏誅於玄津橋，掘坑丈餘，埋其屍，次日復出之，肢解於市，縱犬食之，錄其家資，以妻子分配軍士，子弟悉斬之，連及內外文武官員數萬人……上以應天府所屬上元、江寧二縣之民與胡惟庸為黨，將男婦長幼悉屠之。
意思是左丞相胡惟庸，右大夫陳寧在玄津橋被處死，然後挖了個坑給埋了。第二天有個挖出來，在鬧市分屍，並放狗去吃，收繳了家產，妻妾女兒飛配給了軍士，家中男丁子弟都斬了，牽連文武官員幾萬人。
至於被蚊子咬死多半是文藝工作的創造加工，洪武大帝多半沒這個功夫去做這事。胡惟庸死後，朱元璋正式下詔廢除丞相制度，從此皇權與相權合二為一，大明朝駛入了封建專制之路。