1952年10月，隨着抗美援朝的持續進行，第四野戰軍第44軍和第45軍各自派出一部分部隊，組建一個混編軍入朝輪番作戰。第44軍的前身是東北野戰軍第7縱隊，第45軍的前身是東北野戰軍第8縱隊，這兩個軍都是戰功赫赫的王牌軍，當年從東北一路打到了廣西。當時，第44軍和第45軍組建混編軍的時候，兩個軍還為混編軍的番號爭執不休，最終由總理拍板，兩個軍各取一個數字，冠以新的作戰番號——第54軍。
從第54軍組建的時間來講，它可以説是我軍成立最晚的一軍。第54軍在組建之後，經過兩個多月的整訓，立即乘坐火車從駐地廣東開赴朝鮮，參加了抗美援朝。從朝鮮回國之後，第54軍馬不停蹄奔赴西北地區和西南地區，參加當地的剿匪作戰，隨後進駐西藏，後來還參加了對印自衞反擊作戰，戰功尤為突出。1985年，第54軍改編為了集團軍，是當時三個快速反應重裝集團軍之一（另兩個為第38集團軍和第39集團軍），屬於戰略預備部隊。
在1952年10月，第54軍組建之後，擔任首任軍長的是丁盛，他是江西于都人，出生於1913年。丁盛很早就參加了紅軍，在紅軍長征時期曾擔任過紅一方面軍政治保衞局第二科政委，後來在陝北勝利會師之後，丁盛還擔任過陝北紅28軍組織科科長、第2團政委。全面抗日戰爭爆發之後，丁盛又歷任八路軍第120師第358旅政治部助理員、科長，挺進軍第7團政委，晉察冀軍區教導第2旅第1團政委，熱遼縱隊第27旅旅長，參加過黃土嶺圍殲戰以及百團大戰。
到了解放戰爭時期，熱遼縱隊劃歸東北民主聯軍序列，先後改編為東北民主聯軍第8縱隊、東北野戰軍第8縱隊、第四野戰軍第45軍。在這一時期，丁盛一直在這支部隊中任職，先後擔任過東北民主聯軍第8縱隊第24師師長、東北野戰軍第8縱隊第24師師長、第四野戰軍第45軍第135師師長、第45軍副軍長、第45軍軍長。他率領部隊先後參加了保衞四平、遼瀋戰役、平津戰役、渡江戰役、衡寶戰役和廣西戰役等重大戰役。
特別是在衡寶戰役中，丁盛率領第135師深入敵後，以一個師對陣白崇禧率領的桂系王牌第7軍四個師，為主力部隊圍殲桂系第7軍立下了突出戰功。丁盛的這一戰，還被美譽為“腰斬七軍”。1952年10月，第45軍與第44軍合編為第54軍，當時擔任第45軍軍長的丁盛，被任命為第54軍首任軍長，率領部隊開赴朝鮮作戰，並在金城戰役中大顯神威。1955年9月，丁盛被授予了少將軍銜。
在丁盛的軍事生涯之中，瓦弄之戰不得不提。在對印自衞反擊作戰中，丁盛指揮第54軍第130師再次表現出了王牌部隊的強大威力，在瓦弄地區全殲印軍三個營、一個營大部和印軍第十一旅旅直部隊等共計1200多人。這一戰是對印自衞反擊作戰中最關鍵的一戰，也是最後的一戰，史稱為“瓦弄大捷”。此戰過後，丁盛率領的第54軍名聲大振，成為了王牌軍中的王牌軍。第54軍後來在1985年百萬大裁軍不僅沒有被撤銷，而且改編為重裝集團軍，與這一戰有着非常大的關係。