1948年济南战役结束之后，菏泽、临沂、烟台等地国军纷纷弃城，国民党军在山东只剩下了青岛等少数据点，其余地方都被解放军控制。解放军在此后的南下作战中也没有了任何负担，粟裕向军委提出乘胜攻歼淮阴、淮安、宝应、高邮、海州等地区，歼灭距离徐州较远的黄百韬第7兵团、李延年第9绥靖区等部，为夺取徐州做好准备的计划。
粟裕的这一作战计划被称之为淮海战役，但是由于范围相对而言比较小，又被称之为小淮海。后来由于战场态势的变化，毛主席根据粟裕的这一作战计划，将小淮海演变成了一场大淮海战役，刘伯承，邓小平率领的中原野战军也参与进来，和国民党军的80万主力进行了一场生死大决战。
国民党军在中原地区部署的兵力很多，而且都是国军的头等精锐部队，共80余万大军，装备精良，名将云集，而中原野战军和华东野战军两大主力加起来，也不过60万之众。在这场敌众我寡的大决战中，出现了多次非常危急的状况，其中淮海战役第二阶段的双堆集战役，最让刘伯承，陈毅，粟裕等解放军将领感到担忧。
黄百韬兵团被歼灭之后，1948年11月23日，中原野战军七个纵队全线出击，将国民党军12兵团包围在宿县西南以双堆集为中心、纵横约7.5公里的地区内。
国民党军12兵团是国军的主力兵团，下辖四个军和一个快速纵队，下辖的四个军分别是第十军，第十八军，第十四军，第85军，这四个军都不是软柿子，全都是国军中的精锐部队，全副美械装备，战斗力十分强悍。尤其是18军，这支部队是国军五大主力之一，战斗力不弱于此前的整编74师。
第12兵团司令黄维毕业于黄埔一期，是国民党军中的一员儒将，很多人都说他是书呆子，事实上并非如此，书呆子这个称号主要是因为他不善于人际关系，和日军在淞沪会战时死磕才得来的，他的军事才能在国民党军中属于中等偏上的水平，但是战斗意志却很强。而且黄维深受中国传统儒家思想的影响，对蒋介石非常忠心。
12兵团副司令胡琏毕业于黄埔四期，他也是员悍将，石牌保卫战的时候，胡琏率领18军11师和日军血拼十余日，最终击溃了日军。解放战争开始之后，他一直担任整编11师师长，这支部队就是由18军改编而来的，给华野造成了很大的伤亡。
双堆集战役开始之后，缺乏重武器的中原野战军，发现包围是把他们包围了，但是却打不过。最开始黄维组织四个师在飞机坦克大炮的支援下，拼死突围，但是在突围的过程中，第110师师长廖运周（中共秘密党员）率部起义。之后黄维开始加强防御，12兵团依靠村庄，地堡群固守，中野严重缺乏重武器，进展十分缓慢。
在这种情况下，中野请求华野支援，华野此时的压力也很大，华野组成两大阻击兵团：一路北阻由徐州南犯的邱清泉、孙元良兵团；一路力挡由蚌埠北援的李延年、刘汝明兵团，阻止敌人救援黄维兵团。但华野还是让参谋长陈士渠带着三个纵队携带重武器，前来增援双堆集战场。
1948年12月5日，刘伯承重新调整部署，将全部部队分成了三个集团，以中野第四、九、十一纵队及豫皖苏独立旅、华野特纵炮兵一部等组成东集团，由陈赓、谢富治指挥，向双堆集以东地区进攻；以华野第十三纵队，中野第一、三纵队组成西集团，由陈锡联指挥，向双堆集以西地区进攻；以中野第六纵队、华野第七纵队和陕南十二旅组成南集团，由王近山、杜义德指挥，向双堆集以南地区进攻。
12月6日，中原野战军发动全线进攻，但是在总攻的时候却发生了一件事情，那就是华野参谋长陈士渠带着三个纵队按兵不动，这件事让刘伯承十分恼火。他直接急电粟裕：“陈士渠在干什么，华野再不上，中野就要打光了。”
粟裕又联系陈士渠，问他怎么回事，陈士渠说：“中野已经很疲惫了，让他们给我们让出一条主线来，我们攻打。”陈士渠考虑的是当时中野已经人困马乏了，华野作为一支刚上去的生力军，应该集中使用，去攻打黄维兵团的某个方向，这样才能一鼓作气击败敌军，而不是被分配到各个战场分散使用，这样不能充分发挥华野增援部队的威力。
总前委后来也采纳了这一建议，12月13日，为迅速解决战斗，淮海前线总前委再次调整部署，确定以华野第三、十三及特纵一部加强南集团，由华野参谋长陈士榘统一指挥。华野的生力军刚上去，就在南线和国民党军主力进行了猛烈的交战，12月15日，黄维兵团被全歼，黄维被俘，副司令胡琏开着一辆破坦克逃了出去。此次战役，共歼敌12万余人。