1952年10月，随着抗美援朝的持续进行，第四野战军第44军和第45军各自派出一部分部队，组建一个混编军入朝轮番作战。第44军的前身是东北野战军第7纵队，第45军的前身是东北野战军第8纵队，这两个军都是战功赫赫的王牌军，当年从东北一路打到了广西。当时，第44军和第45军组建混编军的时候，两个军还为混编军的番号争执不休，最终由总理拍板，两个军各取一个数字，冠以新的作战番号——第54军。
从第54军组建的时间来讲，它可以说是我军成立最晚的一军。第54军在组建之后，经过两个多月的整训，立即乘坐火车从驻地广东开赴朝鲜，参加了抗美援朝。从朝鲜回国之后，第54军马不停蹄奔赴西北地区和西南地区，参加当地的剿匪作战，随后进驻西藏，后来还参加了对印自卫反击作战，战功尤为突出。1985年，第54军改编为了集团军，是当时三个快速反应重装集团军之一（另两个为第38集团军和第39集团军），属于战略预备部队。
在1952年10月，第54军组建之后，担任首任军长的是丁盛，他是江西于都人，出生于1913年。丁盛很早就参加了红军，在红军长征时期曾担任过红一方面军政治保卫局第二科政委，后来在陕北胜利会师之后，丁盛还担任过陕北红28军组织科科长、第2团政委。全面抗日战争爆发之后，丁盛又历任八路军第120师第358旅政治部助理员、科长，挺进军第7团政委，晋察冀军区教导第2旅第1团政委，热辽纵队第27旅旅长，参加过黄土岭围歼战以及百团大战。
到了解放战争时期，热辽纵队划归东北民主联军序列，先后改编为东北民主联军第8纵队、东北野战军第8纵队、第四野战军第45军。在这一时期，丁盛一直在这支部队中任职，先后担任过东北民主联军第8纵队第24师师长、东北野战军第8纵队第24师师长、第四野战军第45军第135师师长、第45军副军长、第45军军长。他率领部队先后参加了保卫四平、辽沈战役、平津战役、渡江战役、衡宝战役和广西战役等重大战役。
特别是在衡宝战役中，丁盛率领第135师深入敌后，以一个师对阵白崇禧率领的桂系王牌第7军四个师，为主力部队围歼桂系第7军立下了突出战功。丁盛的这一战，还被美誉为“腰斩七军”。1952年10月，第45军与第44军合编为第54军，当时担任第45军军长的丁盛，被任命为第54军首任军长，率领部队开赴朝鲜作战，并在金城战役中大显神威。1955年9月，丁盛被授予了少将军衔。
在丁盛的军事生涯之中，瓦弄之战不得不提。在对印自卫反击作战中，丁盛指挥第54军第130师再次表现出了王牌部队的强大威力，在瓦弄地区全歼印军三个营、一个营大部和印军第十一旅旅直部队等共计1200多人。这一战是对印自卫反击作战中最关键的一战，也是最后的一战，史称为“瓦弄大捷”。此战过后，丁盛率领的第54军名声大振，成为了王牌军中的王牌军。第54军后来在1985年百万大裁军不仅没有被撤销，而且改编为重装集团军，与这一战有着非常大的关系。