1948年11月5日，顧祝同召集徐州剿總和一線將領們開會，會上黃百韜提出建議放棄海州，黃百韜兵團由原駐地新安鎮全部撤往徐州，然而國防部的郭汝瑰讓他等44軍一起撤往徐州，郭汝瑰是我軍安插在國民黨內部的高級特工，他這麼做的目的就是想拖慢黃百韜的行軍速度，粟裕在第一時間得到了黃百韜即將西澈的情報之後，他立即決定提前兩天發起戰鬥。
1948年10月6日晚上，華野在中野的配合之下，分三路向南挺進，華野迫近台兒莊賈汪一線，直逼黃百韜兵團的側背，黃百韜通過偵查得知華野有十幾個縱隊南下，因此估計僅憑華野就會有30多萬兵力參戰，而自己只有10萬人，黃百韜已經非常清楚自己的結局，他讓人給蔣介石帶去遺言，表示自己受蔣介石的知遇之恩，無論如何都要報效於他。
這時的黃百韜兵團包括44軍等五個軍，是徐州剿總序列之下最大的一個主力兵團，要撤往徐州，就必須要渡過運河，10萬人馬僅通過一座橋過河，速度肯定很慢。
於是粟裕抓緊時間完成另一項機密任務，國民黨第三綏軍區副司令何基灃、張克俠，兩人是中共秘密黨員，早在淮海戰役發起之前，粟裕就在爭取他們兩人率部起義，兩人決定於18日凌晨發動起義，他們兩個起義之後，意味着黃百韜兵團插翅難逃。
粟裕下令各縱隊對黃百韜兵團進行追擊，正好追上了正在渡河的黃百韜兵團後衞部隊，將國民黨63軍予以全殲，軍長劉章負傷之後自殺。
黃百韜兵團齊聚徐州以東150裏處的碾莊，黃百韜面臨着兩個選擇，要麼西進、要麼固守碾莊。
此時黃百韜兵團內部意見不統一，除了64軍軍長劉鎮湘要求固守待援之外，其餘的人都要求西進徐州，這個劉鎮湘要求固守待援的原因也很簡單，剛剛説到63軍被全殲，軍長自殺，63軍和他的64軍都是粵軍，廣東人很講究義氣，聽到自己的同鄉被全殲之後，他想留下來和華野決戰為同鄉報仇。
就在爭論即將結束之時，黃百韜突然接到國防部的電報，讓他們在碾莊略加整頓之後再撤往徐州，黃百韜知道邱清泉不可能全力救援自己，就把希望寄託在孫元良和李彌兩個兵團上面。
其實在黃百韜進入碾莊之前，李彌就率部撤離了距離碾莊只有24裏距離的曹八集，李彌剛一走，國民黨第100軍44師就駐紮到曹八集，但就是這麼一個小小的空隙時間，粟裕抓住戰機，全殲第44師，師長劉聲鶴開槍自殺。
1948年10月11日，隨着解放軍佔領曹八集，黃百韜的西撤之路被切斷，華野圍點部隊完成了對黃百韜兵團的全面包圍，隨即展開了碾莊攻堅戰。
黃百韜能夠下決心在碾莊固守待援，一定程度上是看中了此處的易守難攻的地形，此前李彌兵團曾在碾莊駐守，留有大量完備的工事，粟裕想趁黃百韜立足未穩迅速攻入碾莊，因此各縱隊都是誰先到誰先打，一路猛衝猛打結果損失非常巨大。
黃百韜還設置了夾壁牆式的工事，外表看不出來，以為是普通的牆壁，而工事裏面的守軍就專等解放軍衝過去，然後從背後開槍。
從前沿陣地回來的參謀向粟裕報告“黃百韜兵團真難打，100米寬的正面就有20多挺重機槍，子彈像潑黃豆子一樣”，敵軍火力如此密集，粟裕推斷前方部隊的傷亡一定不小，可是從縱隊上報上來的傷亡數字來看，又似乎傷亡不大，於是粟裕親自到野戰醫院瞭解情況，發現各個縱隊上報來的數字，都已經打了很大的折扣，於是親自打電話給陶勇，陶勇只好如實報告，縱隊傷亡4300人以上，這還僅僅只是一個縱隊的傷亡。
顧祝同派出作戰飛機增援碾莊，為了使空、地協同更為密切，空軍通訊科科長親自駕駛飛機，向碾莊空投陸、空通訊電台，中途因為飛機發生故障，這名科長直接跟隨電台一起，跳傘降落在碾莊，在炮兵機槍手的掩護之下，華野各戰鬥小組，沿着交壕使用炸藥包、手榴彈和衝鋒槍邊打邊偵查，奪取一塊陣地即鞏固一塊陣地，碾莊的包圍圈越縮越緊。
1948年11月17日，經過了兩天的準備，解放軍對碾莊發起總攻，粟裕在縱隊會議上定下戰法及在分區作戰的前提之下，執行先打弱敵後打強敵，這個弱敵指的就是100軍和44軍，打的弱敵但是用的卻是強兵，第100軍遭到了殲滅性的打擊，軍長周至道負傷之後化妝逃回了徐州。
從11月18日開始，解放軍每天使用炮彈不下三萬發，整日整夜人們耳朵裏面充滿了此起彼伏的爆炸聲，經過高密度的炮擊，碾莊成為一片瓦礫，工事大部分毀壞，當天第44軍被殲滅，軍長王澤浚成為俘虜，至此黃百韜兵團被打掉三個軍的編制，僅有25軍以及64軍的殘部守在碾莊周圍的幾個村子裏。
1948年11月19日，華野各縱隊從不同方向同時殺入碾莊，指揮所內黃百韜向劉峙、杜聿明發去了求援急電，告知碾莊已經危在旦夕，發完電報之後他登上屋頂指揮預備隊向解放軍發起衝鋒。
1948年11月20日清晨，華野完全佔領碾莊，25軍基本瓦解，黃百韜的兵團司令部被攻陷，黃百韜與陳士章在分頭突圍時失散，陳士章化妝成為傷兵逃至徐州。
大家都明白黃百韜被消滅，僅僅只是一個時間問題，明知敗局已定，黃百韜仍然不聽任何人的勸阻，他説道“我年紀大了，身體多病，做俘虜我也走不動，而且很難為情，不如犧牲了，讓別人知道，還有對國民黨忠心耿耿的人”。
他希望劉鎮湘能夠率部突圍，沒有想到劉鎮湘突然做出一個讓眾人驚歎的舉動，他打開皮箱，穿上了將軍禮服和皮靴，繼續率部死戰。
解放軍發起猛攻，戰至黃昏，156師大部被殲滅，黃百韜、劉鎮湘等人分別帶一部分作戰人員突圍，途中劉鎮湘被俘，黃百韜負傷，由25軍副軍長楊廷宴攙扶着，黃百韜掏出自己的名片，在背後寫了“黃百韜盡忠報國”幾個字，囑咐楊廷宴萬一能夠突圍出去的話，將名片轉交給蔣介石，然後便讓楊廷宴開槍打死他，楊廷宴遲遲下不了手，黃百韜就拔槍自殺。
黃百韜是皖南事變的主要策劃人，在歷史上與以新四軍為前身的華野有着血海深仇，經過十天的血戰，華野終於將黃百韜兵團全殲於碾莊，華野僅在碾莊傷亡了近五萬人，參加了碾莊攻堅戰的華野官兵都一致認為，此戰是淮海戰役中最慘烈的一戰！