1946年6月，國民黨挑起全面內戰。期間，蔣介石制定了所謂的“兩步走”的作戰綱要。第一步，全面搶奪解放軍佔據的重要城市和交通據點。第二步，控制全部交通線，分割包圍解放區，對解放軍部隊進行逐個的殲滅戰。
至1947年2月，前後8個月的時間裏，國民黨佔領解放區105座城市，但也為此付出了巨大的代價。第一線作戰部隊兵力從117個旅鋭減到85個旅，平均每佔據一座城市損耗高達7000人。此時，蔣介石的“兩步走”計劃已經很難維持下去了。
1947年3月，蔣介石重新調整進攻戰略，把全面進攻改為重點進攻。他把進攻重點放在我軍東西兩翼的陝北和山東。蔣介石寄希望於在西面進攻延安，東面拿下山東，就此形成戰略鉗形攻勢。
面對蔣介石的大軍壓境，中共黨中央決定避其鋒芒，於3月19日主動撤出延安。此時，山東方向則成為全國關注的重點。蔣介石曾説，只要山東問題解決了，全國問題就解決了十分之六。
為了解決山東問題，蔣介石重新進行兵力部署。
首先，撤銷了原本各自為政的徐州、鄭州綏靖公署，成立了由陸軍總司令顧祝同指揮的徐州指揮部。
接着，他又把國民黨的五大主力中的三大主力（整編74師、整編1師、第五軍）調到山東。並以此為骨，重新編組了3個兵團：湯恩伯的第一兵團，王敬久的第二兵團，歐震的第三兵團。一共25萬5千餘人。
最後，又以7個整編師17個旅，約20萬人，配備在外圍的徐州、濟南及魯西南，擔任守備和策應。
此時的我軍與國民黨軍隊有着相當強烈的反差。兵力方面，我華東野戰軍下轄11個步兵縱隊和1個特種兵縱隊，加起來只有27萬人。與國民黨的24個整編師60個旅45.5萬人兵力比較，雙方几乎是1：2的比例。
裝備方面，我軍前期雖有魯南大捷有所繳獲，但總體上還是“小米加步槍”的落後裝備。國民黨的軍隊則全部都是美械裝備，火力和機動能力都遠遠高於我軍。我軍作戰形勢之嚴峻、壓力之大可想而知。
3月下旬，顧祝同開始發動總攻。到了4月中旬，他已經完全佔領魯西南地區，並且打通了津浦線上的部分交通。此時的國民黨已經對我華東野戰軍形成的包圍之勢。
5月份，陳毅和粟裕領導的華野得到一份秘密情報。原來，恩伯早就知道了華野指揮部所在位置。他想利用張靈甫的王牌師74師，加上左右策應的25師和83師一起對華野總部發動攻擊。
這份情報讓大家看得一頭冷汗。華野指揮部立即開會，商討對策。在會上，粟裕一反常態。他並沒考慮撤退的情況，而是主張和74師硬碰硬的來一場正面戰。他對陳毅説：74師與其他的敵軍不一樣，作為5大主力之首，它是蔣介石手中最大王牌。如果把它打掉將給予敵人精神和實力上的雙重打擊。聽完粟裕的分析，陳毅也拍案而起説：好！我們就要有百萬大軍取上將首級的氣勢。
5月13日，74軍對華野總部發起攻擊。根據張靈甫以往的經驗，當74師主力向單個陣地進攻時，對方一般不會硬碰硬。但這次不同，戰鬥持續了一整天，陣地都沒有拿下來。經過偵查，他發現解放軍的部隊正源源不斷的連夜趕來，分別向74師的左右兩翼插進來。儘管如此，張靈甫也沒有表現出任何慌忙。因為他知道兩翼的25師和83師，對抗華野的一個縱隊還是綽綽有餘的。
但是，右翼部隊的問題卻令張靈甫始料未及。右翼部隊將領張天霞因為與張靈甫關係不和，並沒有按照湯恩伯的指示把部隊開到右翼，而是派了一個連在那裏打游擊。粟裕抓住右翼的空檔，不斷插入部隊。直到5月14日，右翼已經被塞滿3個縱隊，對74師形成半包圍狀態。
張靈甫立即向湯恩伯請示撤退，得到同意後邊撤到了汶河以南。此時的74師還沒有完全撤出華野的包圍圈，張靈甫完全可以繼續往後退，但是他沒有這麼做。他準備充當誘餌,吸引華野主力與之決戰。張靈甫把這一戰術命名為“固守待援，中心開花”。
既然是“固守待援”，就需要找到一個合適的固守點。張靈甫面對着2個選擇，第一個地點是垛莊，第二個是孟良崮。垛莊四周環山無險可守，張靈甫最後選擇了孟良崮。退守孟良崮後，74師與左右翼的黃百韜、李天霞相距不過10來裏的距離，且有通信聯絡。
可惜，張靈甫還是棋差一步。10天前，王必成部隊奉命南下魯南。粟裕要求王必成停止攻擊，只需隱蔽行跡即可。從顧祝同到湯恩伯再到張靈甫，都不知道魯南還隱藏着這樣一支部隊。
5月12日，王必成接到華野指揮部電報。要求王必成在48小時內趕到前線，搶佔垛莊，切斷74師唯一的退路。從魯南到垛莊有200多里路，用王必成自己的話説這就是“飛兵激渡”。王必成帶領部隊提前8小時到達垛莊，一舉拿下垛莊這個後勤補給點。此時孟良崮已徹底被我軍包圍，只剩下以孟良崮為中心的狹長地帶。
此時蔣介石徹底坐不住了，他親自調度10個整編師向孟良崮逼近，對74師進行增援。黃百韜的部隊裏74師最近，他不顧一切的向孟良崮猛衝。王必成見狀急忙插上，先40米登上制高點，阻攔了黃百韜的部隊。此時張靈甫帶領74師繼續固守孟良崮，因為他知道就算黃百韜被擋住了，還有其他部隊趕來救援。這也正是他“固守待援，中間開花”的最終目的。
沂蒙山有七十二崮，其中孟良崮是最大的一個。所謂的崮就是奇形怪狀的大石頭山，而山的四周則是高不可攀的懸崖峭壁。很明顯，崮就是一個易守難攻的戰略要地。孟良崮的主峯有500多米，我軍必須重下往上仰攻，往往要通過數十次的反覆衝鋒才能拿下一個點。
5月14日，粟裕下達了總攻令。敵我雙方，真是針尖對麥芒，以狠對狠。由於戰況過於激烈，素以剽悍著稱的74師竟出現了一線士兵偷偷逃跑的現象。華野部隊亦前赴後繼，有的連隊前後換了7任連長。仗還沒打完，孟良崮的主峯就被削去了好幾尺。
總攻一直持續到晚上，在付出慘重的代價後，華野部隊終於將74師壓縮到東西3公里，南北2公里的狹窄山區。74師的官兵們也是苦不堪言，孟良崮是石頭山沒有水，他們不能生火做飯，只能忍飢挨餓。另外，74師的重機槍全部都是水冷式的，因為無水製冷，也打不響了。張靈甫只得寄希望於空投糧水和彈藥，但國民黨飛機不敢低飛，因此很多物資都落到我軍的陣地上。
5月16日凌晨，華野對孟良崮又是一陣炮擊，炸的孟良崮猶如火山爆發一般。戰鬥異常激烈，74師全面告急，但孟良崮依然在張靈甫的掌握之中。直到凌晨3點，經過反覆10次衝鋒，華野部隊終於攻克了540高地，74師的防禦陣地才被撕開了一條口子。
此時的粟裕已經連續幾天幾夜沒有閤眼了，由於高血壓和頭痛病，整個人都漲得通紅。戰後量血壓時，竟然高達220。此時的戰役已經到了白熱化的地步，比的就是意志和耐力。
時間到了第二天上午10點，又攻不動了。粟裕只得繼續調配兵力，這也是粟裕唯一能做的事情。前線傷亡太大，當粟裕把電話打過去，要9縱隊全部壓上去時，許世友漸漸表現出不滿情緒，説着説着，竟然和粟裕在電話裏吵了起來。陳毅聽到後，便上前去接電話和許世友説，粟裕的命令就是我的命令，你們必須無條件執行，不要講什麼價錢。
5月16日下午2點，第三次總攻號角吹響。炮彈從四面八方飛向孟良崮山頂及74師僅剩下的600高地，無水無援的74才最終垮掉。
陳毅和粟裕經歷的大仗不少，但孟良崮戰役卻令他們驚心動魄。粟裕對於這場戰役的評價是，解放戰爭以來少見的惡戰。陳毅在戰後也發出了，如果以後兒子長大了，絕對不讓他帶兵打仗的感嘆。