朱元璋即位之後開始大殺功臣，洪武十三年朱元璋開始對宰相胡惟庸的下手，而當時之事，胡惟庸確有謀逆之心，論理該殺，同誅者也不過陳寧等幾個大臣。所謂“胡黨”大獄，則是十年之後的事情，族誅三萬多人。
胡惟庸陰險，用重利引誘徐達的門人想讓他上告徐達謀反，結果門子反把胡惟庸托出，只不過朱皇帝當時沒深究而已。胡惟庸又以為劉基治病為名，派醫生攜慢性毒藥治死了劉基，劉基一死，胡惟庸更加肆無忌憚。
由於胡惟庸定遠老家宅院的舊井中忽生石筍，“吉瑞”突現，又有人告訴他祖墳中好幾個墳頭“夜有火光熾天”，墳頭冒煙，老胡以為是天降吉兆，“益喜自負”，忖度自己又要“進步”了。官至丞相，再“進步”就只能當皇帝了。
恰巧，當時有明朝功臣吉安侯陸仲亨擅用公家驛傳，平涼侯費聚嗜酒好色，均為朱元璋節責重譴，胡惟庸看中二人戇勇無謀，便嚇唬二人早晚會被正法。二人大懼，哀求老胡出主意，胡惟庸便讓二人在外收集軍馬，以備“急用”。
同時，他又在朝中與陳寧勾結，閲示天下軍馬圖籍，很想把明朝取而代之，為了成事，老胡還託李善長的弟弟、時任太僕寺丞的李存義説動老李也入夥。估計當時並未明説，李善長年老，也裝糊塗，“依違其間”，其實是“婉拒”。
胡惟庸確是很“庸”，造反這麼大事，竟然讓這麼多人知道，而真正起作用的禁衞軍軍官他一個也沒爭取到，反而大老遠派人攜書向元順帝兒子遠在沙漠的舊元太子稱臣，還派明州衞指揮林賢從海道借倭兵準備裏應外合。
林賢從日本還真“借”來了四百倭奴兵，按原計劃，這些人準備在充當貢使隨從時趁覲見之時行刺朱皇帝。具體方法是：貢使在大殿上奉巨燭，裏面事先裝填了火藥和刀劍。試點時，巨大的蠟燭放出的不是芳香而是煙霧和刀劍，貢使趁機操兵，在殿上殺掉皇帝。
結果，當這批日本矬子坐船抵達南京時，胡惟庸已經被殺，四百矬子剛上岸就被鐵棍打翻，一齊押往雲南深山老林去“勞改”。胡惟庸太自得，本來沒着急動手，他一是想趁朱元璋外出巡視時動手，二是想等林賢與倭使朝見時行刺，但是，幾件小事，讓他狗急跳牆，不得不匆忙佈置。
其一，占城國入貢，胡惟庸未及時報告，朱元璋怪罪下來，他又轉嫁責任，惹起老朱憤怒，“盡囚諸臣，窮詰主者”;其二，朱皇帝推究劉基死因，賜死汪廣洋;其三，胡惟庸兒子乘馬車遇“車禍”而死，老胡怪罪車伕，一刀把人砍了，朱元璋聞之憤怒，讓他“償命”。
數事相加，胡惟庸越想越怕，對左右説：“主上任意殺掉有功大臣，我可能也不免。同樣是死，不如先發，以免寂寂受戮!”未等胡惟庸動手，本來與他一夥的御史中丞塗節關鍵時刻害怕，主動上變，在洪武十二年底向朱元璋告發了老胡。
他的一個同事，同為中丞的商嵩由於被胡惟庸貶為中書省小吏，懷恨在心，也向皇帝彙報老胡的“陰事”，並涉及到御史大夫陳寧和最早上告的中丞塗節。朱元璋大怒，立刻逮捕胡惟庸等人審訊。
御史大夫陳寧很早因文字才氣為朱元璋任用，但“性特嚴刻”，在蘇州任地方官時為催賦燒鐵烙人，人稱“陳烙鐵”。入京為御史後，益加嚴苛，連朱元璋都數次責稱他。陳寧兒子勸其收斂，他竟然操起大棒把兒子活活打死。
朱元璋聞訊，深惡其殺子之舉，説：“陳寧對兒子如此，心中怎能有君父!”聞皇帝此言，陳寧心懼，故而串通胡惟庸謀反。據《明通記》記載：洪武十三年正月，胡惟庸詭言其府中水井出醴泉，邀朱皇帝臨幸。
駕出西華門，有一太監雲奇馳馬衝駕，因氣勃口不能言，比比劃劃。朱元璋怒其不敬，令左右亂棒擊打，把雲奇胳膊都打斷，幾乎當場打死，但英勇的雲宦者仍然指劃胡惟庸宅院做刀砍狀。“上悟，乃登城望其第(胡家)，(見)藏兵複壁間，刀槊林立。
(帝)即發羽林(軍)掩捕。”此記乃小説家語，老朱半老頭子，又沒望遠鏡，不可能在宮城上看得見胡惟庸家中的情形。實際情況是，塗節上告，加上商嵩上告，他派人逮捕胡惟庸，自然一審即清。
案子定結，胡惟庸、陳寧，包括首先上變的塗節，皆拉入集市碎剮，族誅諸人，並殺老胡黨羽、僚屬以及一切與胡惟庸有關係的人(包括向他送過書畫簽過名的幾個文人畫家)，共一萬五千餘人。
名單中還有大文豪宋濂，由於他孫子與胡惟庸相識，不僅孫子被殺掉，連累得已經退休的老宋被械送入京要挨刀。幸虧馬皇后解勸，言宋濂曾為諸王老師，又不知謀反事，被從輕發落流放茂州，但中途病累而死。