他是平江起義走出的優秀將領，而參加紅軍前他已經有兩年的戰鬥經驗，此後數十載憑藉自己優秀的軍事才華，不斷在戰場上建功立業。新中國成立時已是解放軍高級將領。
55年授銜時，因為國家的需要，他放棄參與授銜儀式，3年後重回部隊，鑑於他為國家做出的巨大貢獻，有人提議授予他大將銜，不過他主動要求授上將，此人就是開國上將李聚奎。
1904年，李聚奎生於湖南安化。北伐時期他報名參加了國民革命軍，加入唐生智第八軍工兵營一連，後來編入湖南獨立第五師第一團，團長就是大家熟悉的彭老總。
1928年，彭老總、滕代遠、黃公略等人領導了平江起義，起義後部隊改編為紅五軍，李聚奎也成為紅軍的一員。
1930年，國軍集結10萬大軍開始對蘇區進行第一次“圍剿”進攻，12月28日清晨，待張輝瓚的先頭部隊進入王竹玲伏擊圈後，李聚奎和王玉洪率領27團、25團對敵軍發起攻擊。
王玉洪負傷後，李聚奎指揮兩個團，一舉殲滅這個敵軍旅和跑來增援的一個敵軍團。趁着勝勢李聚奎率軍直奔張輝瓚的指揮部，被紅八師、紅九師團團包圍的張輝瓚負隅頑抗，戰鬥中李聚奎大腿中彈，血流不止，只能退出戰場，臨走前他向師長建議：“讓26團上，定可快速結束戰鬥”。
此戰勝利後，全殲敵18師，連師長張輝瓚和旅長王捷俊也被活捉，此戰之後，敵軍不敢靠前，第一次反“圍剿”鬥爭取得勝利。
長征時，李聚奎是紅一師師長，當時他手下人才濟濟，紅一團團長是楊得志、紅二團政委是鄧華、紅三團團長叫黃永勝，幾位多年後都成為開國上將。
當時紅一師作為全軍的先頭部隊，他指揮一師連續作戰，連續突破敵軍三道封鎖線。此人敵人已在湘江兩岸部署20個師的兵力，設置了第四道封鎖線。為了掩護主力渡過湘江，李聚奎率紅一師趕到覺山部署陣地，冒着敵機狂轟亂炸的情況下阻擊敵人，敵軍雖然有兩個師的兵力，但一次次進攻都被打退，只有一些陣地因為紅軍全員陣亡才被佔領，紅一師付出巨大傷亡才完成任務。
經過千難萬險，李聚奎來到陝北，待三大主力會師後，他又參加了西路軍行動。孤軍深入無援的西路軍打得很苦、很悲壯，戰士們大都犧牲，活下來的也都被打散了，最後李聚奎只剩下孤身一人，此時他只有一個念頭，就是想方設法要找到組織、要回到延安。他靠着一個指北針，一路乞討，輾轉兩個月終於回到延安，當時主席見到他説：“你雖敗猶榮！”，聽完李聚奎眼淚止不住往下流。
全國解放後，李聚奎已是四野副參謀長，抗美援朝開始後，他調任東北軍區後勤部部長兼政委，俗話説：兵馬未動，糧草先行。何況這是我軍第一次出國作戰，軍需給養問題自然放到首位，所以説李聚奎負責的後勤工作非常重要。
最開始由於沒有空軍的掩護，我軍輸送線遭到美機轟炸，受損嚴重，李聚奎建議在原來信號站的基礎上設置防空哨兵。經過一番部署，2800多公里的交通幹線上，設置了1568個哨所，有了他們，我軍運輸汽車損失率大大減少。
而美軍卻一直沒弄明白，後來美遠東空軍參謀長達爾·阿爾其爾准將曾感慨道：他們究竟是怎樣保障補給品的運輸，使之不中斷？這真是個奇蹟，希望戰爭結束後，見到一個人，那就是志願軍的後勤部部長。
55年授銜前夕，國家剛成立石油工業部，需要一位有能力的領導者主持工作，經過考慮最終選中李聚奎擔此重任，但由於離開軍隊系統，李聚奎沒有參加授銜儀式，兩年多的時間，他帶領石油專家、技術工人趕赴大西北，開發了克拉瑪依油田，並訓練了一批專業人才，為以後新中國石油工業發展做好人才儲備。
1958年李聚奎調回部隊，擔任總後勤政委，此時為他補授軍銜的事宜也提上議程。以他曾經的功績、資歷，以及為新中國石油工業的貢獻，評他大將沒什麼問題，而且他當年的部下有不少都是上將。但問題是，十大將已經明確，總不能更改吧，所以組織上去諮詢李聚奎的意見，將軍聽後主動提出“就低不就高，上將就行了”。
於是1958年，李聚奎將軍被授予上將軍銜，1995年，李老病逝於北京，享年91歲。