1948年11月5日，顾祝同召集徐州剿总和一线将领们开会，会上黄百韬提出建议放弃海州，黄百韬兵团由原驻地新安镇全部撤往徐州，然而国防部的郭汝瑰让他等44军一起撤往徐州，郭汝瑰是我军安插在国民党内部的高级特工，他这么做的目的就是想拖慢黄百韬的行军速度，粟裕在第一时间得到了黄百韬即将西澈的情报之后，他立即决定提前两天发起战斗。
1948年10月6日晚上，华野在中野的配合之下，分三路向南挺进，华野迫近台儿庄贾汪一线，直逼黄百韬兵团的侧背，黄百韬通过侦查得知华野有十几个纵队南下，因此估计仅凭华野就会有30多万兵力参战，而自己只有10万人，黄百韬已经非常清楚自己的结局，他让人给蒋介石带去遗言，表示自己受蒋介石的知遇之恩，无论如何都要报效于他。
这时的黄百韬兵团包括44军等五个军，是徐州剿总序列之下最大的一个主力兵团，要撤往徐州，就必须要渡过运河，10万人马仅通过一座桥过河，速度肯定很慢。
于是粟裕抓紧时间完成另一项机密任务，国民党第三绥军区副司令何基沣、张克侠，两人是中共秘密党员，早在淮海战役发起之前，粟裕就在争取他们两人率部起义，两人决定于18日凌晨发动起义，他们两个起义之后，意味着黄百韬兵团插翅难逃。
粟裕下令各纵队对黄百韬兵团进行追击，正好追上了正在渡河的黄百韬兵团后卫部队，将国民党63军予以全歼，军长刘章负伤之后自杀。
黄百韬兵团齐聚徐州以东150里处的碾庄，黄百韬面临着两个选择，要么西进、要么固守碾庄。
此时黄百韬兵团内部意见不统一，除了64军军长刘镇湘要求固守待援之外，其余的人都要求西进徐州，这个刘镇湘要求固守待援的原因也很简单，刚刚说到63军被全歼，军长自杀，63军和他的64军都是粤军，广东人很讲究义气，听到自己的同乡被全歼之后，他想留下来和华野决战为同乡报仇。
就在争论即将结束之时，黄百韬突然接到国防部的电报，让他们在碾庄略加整顿之后再撤往徐州，黄百韬知道邱清泉不可能全力救援自己，就把希望寄托在孙元良和李弥两个兵团上面。
其实在黄百韬进入碾庄之前，李弥就率部撤离了距离碾庄只有24里距离的曹八集，李弥刚一走，国民党第100军44师就驻扎到曹八集，但就是这么一个小小的空隙时间，粟裕抓住战机，全歼第44师，师长刘声鹤开枪自杀。
1948年10月11日，随着解放军占领曹八集，黄百韬的西撤之路被切断，华野围点部队完成了对黄百韬兵团的全面包围，随即展开了碾庄攻坚战。
黄百韬能够下决心在碾庄固守待援，一定程度上是看中了此处的易守难攻的地形，此前李弥兵团曾在碾庄驻守，留有大量完备的工事，粟裕想趁黄百韬立足未稳迅速攻入碾庄，因此各纵队都是谁先到谁先打，一路猛冲猛打结果损失非常巨大。
黄百韬还设置了夹壁墙式的工事，外表看不出来，以为是普通的墙壁，而工事里面的守军就专等解放军冲过去，然后从背后开枪。
从前沿阵地回来的参谋向粟裕报告“黄百韬兵团真难打，100米宽的正面就有20多挺重机枪，子弹像泼黄豆子一样”，敌军火力如此密集，粟裕推断前方部队的伤亡一定不小，可是从纵队上报上来的伤亡数字来看，又似乎伤亡不大，于是粟裕亲自到野战医院了解情况，发现各个纵队上报来的数字，都已经打了很大的折扣，于是亲自打电话给陶勇，陶勇只好如实报告，纵队伤亡4300人以上，这还仅仅只是一个纵队的伤亡。
顾祝同派出作战飞机增援碾庄，为了使空、地协同更为密切，空军通讯科科长亲自驾驶飞机，向碾庄空投陆、空通讯电台，中途因为飞机发生故障，这名科长直接跟随电台一起，跳伞降落在碾庄，在炮兵机枪手的掩护之下，华野各战斗小组，沿着交壕使用炸药包、手榴弹和冲锋枪边打边侦查，夺取一块阵地即巩固一块阵地，碾庄的包围圈越缩越紧。
1948年11月17日，经过了两天的准备，解放军对碾庄发起总攻，粟裕在纵队会议上定下战法及在分区作战的前提之下，执行先打弱敌后打强敌，这个弱敌指的就是100军和44军，打的弱敌但是用的却是强兵，第100军遭到了歼灭性的打击，军长周至道负伤之后化妆逃回了徐州。
从11月18日开始，解放军每天使用炮弹不下三万发，整日整夜人们耳朵里面充满了此起彼伏的爆炸声，经过高密度的炮击，碾庄成为一片瓦砾，工事大部分毁坏，当天第44军被歼灭，军长王泽浚成为俘虏，至此黄百韬兵团被打掉三个军的编制，仅有25军以及64军的残部守在碾庄周围的几个村子里。
1948年11月19日，华野各纵队从不同方向同时杀入碾庄，指挥所内黄百韬向刘峙、杜聿明发去了求援急电，告知碾庄已经危在旦夕，发完电报之后他登上屋顶指挥预备队向解放军发起冲锋。
1948年11月20日清晨，华野完全占领碾庄，25军基本瓦解，黄百韬的兵团司令部被攻陷，黄百韬与陈士章在分头突围时失散，陈士章化妆成为伤兵逃至徐州。
大家都明白黄百韬被消灭，仅仅只是一个时间问题，明知败局已定，黄百韬仍然不听任何人的劝阻，他说道“我年纪大了，身体多病，做俘虏我也走不动，而且很难为情，不如牺牲了，让别人知道，还有对国民党忠心耿耿的人”。
他希望刘镇湘能够率部突围，没有想到刘镇湘突然做出一个让众人惊叹的举动，他打开皮箱，穿上了将军礼服和皮靴，继续率部死战。
解放军发起猛攻，战至黄昏，156师大部被歼灭，黄百韬、刘镇湘等人分别带一部分作战人员突围，途中刘镇湘被俘，黄百韬负伤，由25军副军长杨廷宴搀扶着，黄百韬掏出自己的名片，在背后写了“黄百韬尽忠报国”几个字，嘱咐杨廷宴万一能够突围出去的话，将名片转交给蒋介石，然后便让杨廷宴开枪打死他，杨廷宴迟迟下不了手，黄百韬就拔枪自杀。
黄百韬是皖南事变的主要策划人，在历史上与以新四军为前身的华野有着血海深仇，经过十天的血战，华野终于将黄百韬兵团全歼于碾庄，华野仅在碾庄伤亡了近五万人，参加了碾庄攻坚战的华野官兵都一致认为，此战是淮海战役中最惨烈的一战！