1948年濟南戰役結束之後，菏澤、臨沂、煙台等地國軍紛紛棄城，國民黨軍在山東只剩下了青島等少數據點，其餘地方都被解放軍控制。解放軍在此後的南下作戰中也沒有了任何負擔，粟裕向軍委提出乘勝攻殲淮陰、淮安、寶應、高郵、海州等地區，殲滅距離徐州較遠的黃百韜第7兵團、李延年第9綏靖區等部，為奪取徐州做好準備的計劃。
粟裕的這一作戰計劃被稱之為淮海戰役，但是由於範圍相對而言比較小，又被稱之為小淮海。後來由於戰場態勢的變化，毛主席根據粟裕的這一作戰計劃，將小淮海演變成了一場大淮海戰役，劉伯承，鄧小平率領的中原野戰軍也參與進來，和國民黨軍的80萬主力進行了一場生死大決戰。
國民黨軍在中原地區部署的兵力很多，而且都是國軍的頭等精鋭部隊，共80餘萬大軍，裝備精良，名將雲集，而中原野戰軍和華東野戰軍兩大主力加起來，也不過60萬之眾。在這場敵眾我寡的大決戰中，出現了多次非常危急的狀況，其中淮海戰役第二階段的雙堆集戰役，最讓劉伯承，陳毅，粟裕等解放軍將領感到擔憂。
黃百韜兵團被殲滅之後，1948年11月23日，中原野戰軍七個縱隊全線出擊，將國民黨軍12兵團包圍在宿縣西南以雙堆集為中心、縱橫約7.5公里的地區內。
國民黨軍12兵團是國軍的主力兵團，下轄四個軍和一個快速縱隊，下轄的四個軍分別是第十軍，第十八軍，第十四軍，第85軍，這四個軍都不是軟柿子，全都是國軍中的精鋭部隊，全副美械裝備，戰鬥力十分強悍。尤其是18軍，這支部隊是國軍五大主力之一，戰鬥力不弱於此前的整編74師。
第12兵團司令黃維畢業於黃埔一期，是國民黨軍中的一員儒將，很多人都説他是書呆子，事實上並非如此，書呆子這個稱號主要是因為他不善於人際關係，和日軍在淞滬會戰時死磕才得來的，他的軍事才能在國民黨軍中屬於中等偏上的水平，但是戰鬥意志卻很強。而且黃維深受中國傳統儒家思想的影響，對蔣介石非常忠心。
12兵團副司令胡璉畢業於黃埔四期，他也是員悍將，石牌保衞戰的時候，胡璉率領18軍11師和日軍血拼十餘日，最終擊潰了日軍。解放戰爭開始之後，他一直擔任整編11師師長，這支部隊就是由18軍改編而來的，給華野造成了很大的傷亡。
雙堆集戰役開始之後，缺乏重武器的中原野戰軍，發現包圍是把他們包圍了，但是卻打不過。最開始黃維組織四個師在飛機坦克大炮的支援下，拼死突圍，但是在突圍的過程中，第110師師長廖運周（中共秘密黨員）率部起義。之後黃維開始加強防禦，12兵團依靠村莊，地堡羣固守，中野嚴重缺乏重武器，進展十分緩慢。
在這種情況下，中野請求華野支援，華野此時的壓力也很大，華野組成兩大阻擊兵團：一路北阻由徐州南犯的邱清泉、孫元良兵團；一路力擋由蚌埠北援的李延年、劉汝明兵團，阻止敵人救援黃維兵團。但華野還是讓參謀長陳士渠帶着三個縱隊攜帶重武器，前來增援雙堆集戰場。
1948年12月5日，劉伯承重新調整部署，將全部部隊分成了三個集團，以中野第四、九、十一縱隊及豫皖蘇獨立旅、華野特縱炮兵一部等組成東集團，由陳賡、謝富治指揮，向雙堆集以東地區進攻；以華野第十三縱隊，中野第一、三縱隊組成西集團，由陳錫聯指揮，向雙堆集以西地區進攻；以中野第六縱隊、華野第七縱隊和陝南十二旅組成南集團，由王近山、杜義德指揮，向雙堆集以南地區進攻。
12月6日，中原野戰軍發動全線進攻，但是在總攻的時候卻發生了一件事情，那就是華野參謀長陳士渠帶着三個縱隊按兵不動，這件事讓劉伯承十分惱火。他直接急電粟裕：“陳士渠在幹什麼，華野再不上，中野就要打光了。”
粟裕又聯繫陳士渠，問他怎麼回事，陳士渠説：“中野已經很疲憊了，讓他們給我們讓出一條主線來，我們攻打。”陳士渠考慮的是當時中野已經人困馬乏了，華野作為一支剛上去的生力軍，應該集中使用，去攻打黃維兵團的某個方向，這樣才能一鼓作氣擊敗敵軍，而不是被分配到各個戰場分散使用，這樣不能充分發揮華野增援部隊的威力。
總前委後來也採納了這一建議，12月13日，為迅速解決戰鬥，淮海前線總前委再次調整部署，確定以華野第三、十三及特縱一部加強南集團，由華野參謀長陳士榘統一指揮。華野的生力軍剛上去，就在南線和國民黨軍主力進行了猛烈的交戰，12月15日，黃維兵團被全殲，黃維被俘，副司令胡璉開着一輛破坦克逃了出去。此次戰役，共殲敵12萬餘人。