俗話説："三分天下諸葛亮，一統江山劉伯温；前朝軍師諸葛亮，後朝軍師劉伯温"，這説的是我國古代兩位著名的謀士諸葛亮、劉伯温。
和諸葛亮相比，劉伯温可能知名度和傳奇事蹟更少一些，但卻幫助朱元璋完成了統一大業，從這一點上出發，可以説他是取得了比諸葛亮更高的成就。難能可貴的是，智略過人的劉伯温深知功高震主的道理，在明朝建立不久後便辭官歸隱，閒居家鄉。
然而，儘管劉伯温主動放棄名利，整天只喝酒下棋，從不提到自己當年的功勞，卻還是沒能避免被加害的命運。洪武八年三月，劉伯温因感染風寒在家中病逝，享年六十五歲，而實際上，真正導致他去世的很可能是胡惟庸探病時讓御醫開的藥。那麼，當時劉伯温明明已經辭官歸隱，為何胡惟庸卻還是要執意將其害死呢？
首先，我們可以看到《明史》當中對此事的記載，書中寫道："御史中丞劉基亦嘗言其短。久之基病，帝遣惟庸挾醫視，遂以毒中之。基死，益無所忌。"也就是説，劉伯温在擔任御史中丞時曾經指出過胡惟庸的缺點，而這點在書中另一處也有所體現。
當時，朱元璋想要新立丞相，便詢問劉伯温是否能夠重用胡惟庸，對此，後者回答："譬之駕，懼其僨轅也"，此話的意思是説，丞相就如同駕車的馬，而如果讓胡惟庸來擔任這一角色，他可能會害得馬車傾覆。
交代完此事，劉伯温便回到家鄉閒居，數年後，朱元璋聽説他感染風寒，於是派胡惟庸帶着御醫一起前去探視。就是趁着這個機會，胡惟庸得以暗中給劉伯温下毒，加速他的離世。對於劉伯温死後胡惟庸的心理狀態，史書形容是"益無所忌"。也就是説，劉伯温在世時胡惟庸雖然已經開始囂張跋扈，卻還是心存不安的，這可能一方面是擔心劉伯温繼續向朱元璋指出自己的毛病，甚至揭露自己的行動；另一方面是擔心朱元璋會在自己犯錯時果斷召回劉伯温取代自己。
從上文中史書的片段來看，胡惟庸不依不饒要害死劉伯温的理由大概有兩個：一是劉伯温曾經批評他，這可能導致其懷恨在心，想要報復；二是劉伯温即使歸隱山林，卻還是在朱元璋心中有着很高的地位，所以如果不將其除掉，自己的地位就始終無法得到鞏固。
除此之外，其實朱元璋在劉伯温生病後的舉動也十分令人懷疑——他明知道胡惟庸和劉伯温關係不睦，卻還是派其前去探視，主動為其提供了下手的機會。
誠然，當時胡惟庸是丞相，讓他前去可以表示朝廷對於劉伯温的重視和關心，但這不得不讓人想起朱元璋對開國功臣們的無情清理，讓人難免懷疑劉伯温之死是朱元璋授意胡惟庸去做的。
據説，劉伯温在服下胡惟庸提供的藥後"有物積腹中如拳石"，為此，他還曾上書向朱元璋表示自己吃藥後身體的異樣，但後者卻不以為然，只讓他好好養病。朱元璋敷衍的態度和之前他對劉伯温的尊敬形成了鮮明的對比，讓人不免覺得有些反常。
不過，從劉伯温死前囑咐兒子劉璉向朱元璋呈上《天文書》，並表示自己本想寫一封奏疏給朱元璋，但因為胡惟庸還當權所以放棄的舉動來看，他對朱元璋還是抱有敬意和忠誠的，這似乎又説明了他的死與朱元璋關係不大。
還有一個值得注意的點，那就是朱元璋當年因李善長犯錯而要責罰他，但劉伯温卻以其勞苦功高，且能夠調和將領之間的關係為由勸阻。對此，朱元璋驚訝地問道："是數欲害君，君乃為之地耶？"
可見，李善長曾經多次想要加害於劉伯温，他們之間的關係堪稱惡劣。我們知道，胡惟庸是靠着李善長的提拔和推薦才當上丞相的，他們二人有着十分明顯的利益共同體關係，這也是胡惟庸倒台後朱元璋誅殺李善長的原因。
那麼，李善長和胡惟庸結為朋黨，而劉伯温作為李善長多次想要加害的敵人，自然也就成了胡惟庸的敵人。那麼，胡惟庸自發，或是在李善長授意下加害劉伯温就是順理成章的事情了。總的來説，劉伯温雖然歸隱山林，但在朱元璋心中和朝野內外仍然有着很高的威信。
因此，他始終能夠給胡惟庸等人帶來巨大的威脅，而這，或許就是後者不願意放過他的最大理由。