經過一年的作戰，人民解放軍的總兵力增加到195萬，中央軍委審時度勢，做出了人民解放軍變戰略防禦為戰略進攻的英明決策，決定人民解放軍劉鄧大軍向國民黨統治地區大別山實施進攻的戰略進攻。1947年6月，中央軍委指示晉冀魯豫野戰軍主力於月底強渡黃河，先在魯西南地區求殲敵軍，爾後向大別山'進擊，在鄂豫皖邊界地區實施戰略展開。
對晉冀魯豫野戰軍主力渡過黃河，國民黨軍陸軍總司令顧祝同甚為震驚，慌忙從豫北、豫皖蘇邊界地區抽調3個整編師又1個旅，連同整編第70師組成第2兵團增援魯西南。7月10日，國民黨援軍東路整編第70師（1個半旅）、整編第32師和第66師主力，分別進至六營集、獨山集、羊山集地區，由北向南擺成一字長蛇陣。晉冀魯豫野戰軍當即調整部署，轉兵東進。13日中午，第2縱隊協同第3縱隊將在羊山集的敵66師分割包圍。
羊山集是山東金鄉城西北30華里處的一個大鎮，居民千餘户，村鎮背靠羊山。羊山集東西長約3華里，因為靠山，以石磚房居多，周圍環有寨牆，並有外壕一道，東南兩邊地勢低窪。北面背靠東西向長約2000米、高400米的孤山，山有三個突出山峯，遠遠望去，猶如一隻卧倒的綿羊，羊山集由此而得名。
國軍整編第66師開進羊山集後，又進行了緊急維修，重新構築了許多暗堡和鹿砦。以羊山和山下集鎮的民房構成核心陣地，在周圍修築了隱蔽環形工事，形成了堅固的防禦體系。第66師是國軍嫡系精鋭，配置一流的武器裝備，戰力也頗強勁。晉冀魯豫野戰軍面對的是一個非常難啃的硬骨頭。
7月15日，第2、第3縱隊對羊山集發起攻擊。由於雨季剛過，羊山集附近幾成一片沼澤，給部隊運動帶來很大困難。攻擊部隊連攻兩天，不但未能奏效，反而有不小的傷亡。
17日，整編66師在羊山火力掩護下，進行反衝擊。野戰軍除二縱五旅一個營佔領羊山尾部及四旅一營佔領西關外一所獨立院外，其餘全部潰敗。部隊傷亡慘重。7月19日，蔣介石急飛開封城，親自督戰，並調8個師外加1個旅馳援羊山集。
眼看敵人重兵即將圍攏上來，大軍雲集羊山集，激戰數日，不但未能得手反而造成不小傷亡，此前一直順風順水的晉冀魯豫野戰軍陷入了進退維谷的境地。7月23日，中央軍委來電，除調動其它野戰軍行動配合外，充分授權野戰軍，並規定陳謝集團挺進豫西后歸劉鄧指揮。
面對中央軍委的信任和宏大的戰略意圖，野司深感責任重大，進過細密分析，最後決定繼續進攻據守羊山集之敵並消滅之，徹底卸掉南進道路上的包袱，勝利完成躍進大別山的戰略任務。針對前期進攻中暴露出來的問題，各部隊都進行了有針對性的整改；劉鄧也親臨前線，檢查戰備、鼓舞士氣。
7月27日，連續陰雨天突然放晴，解放軍久等的機會來到了，18：30分總攻開始。剎那間，前期加強來的大炮打出一片彈雨，劈頭澆向敵人陣地；突擊部隊接着大炮的掩護，迅速接近阻擊陣地，不斷爆破、突破。戰至28日拂曉，敵軍漸漸支撐不住，向後退去。最後，帶領親信和警衞連固守羊山集東北角的一所院子的師長宋瑞珂見大勢已去，只好投降。
經過一天激戰，第66師被全殲。解放軍共擊落國軍飛機2架，摧毀坦克2輛，繳獲野炮、迫擊炮28門、各種小炮102門、輕重機槍367挺、手提機槍158支、長短槍2516支、汽車35輛、電台7部、騾馬420匹。雖然取得了最後勝利，但鏖戰半個月的解放軍也傷亡慘重。2縱隊司令員陳再道將軍後來感慨萬端地説：“羊山集這一仗，是我們打得最苦的一仗！陣亡的戰士最多！”
羊山集之戰，是整個魯西南戰役中最為重要，最為艱苦的一次戰鬥，這一次戰鬥的勝利，晉冀魯豫野戰軍徹底打開了千里躍進大別山的大門。難怪性格沉穩的劉伯承也要興奮地賦詩一首：
狼山戰捷復羊山，炮火雷鳴煙霧間。
千萬居民齊拍手，欣看子弟奪城關。