1862年，應上海士紳的邀請，曾國藩決定派李鴻章組建一支獨立建制的軍隊，前往江蘇一帶抗擊太平軍。
李鴻章回安徽老家募集了幾千人，再加上曾國藩從湘軍裏挑選的幾千人，組成了淮軍，計14個營。除了“濟”字營留防池州大本營外，其餘13個營共計9000餘人由7艘英國商船分批運抵上海。
出現在上海街頭的淮軍將士，均身着芒鞋短衣，布帕包頭，滿嘴安徽土話。因為很久沒有洗澡，他們身上散發出一股濃烈的味道，再加上手中武器簡陋，多是大刀長矛，看上去就像一羣乞丐。英法軍隊見此情狀，笑着把他們稱為“叫花子兵”。
李鴻章鼓勵淮軍將士：“軍貴能戰，待吾破敵懾之。”
很快，李鴻章就率領這支“叫花子軍”，接連打了虹橋、北新涇、四江口3次惡戰，遏制住了太平軍的勢頭，緩解了上海的燃眉之急，也讓中外人士對淮軍刮目相看。
淮軍不但在上海站穩了腳跟，還進一步發展壯大。在上海士紳的支持下，李鴻章購買大量洋槍洋炮，對淮軍進行改裝，並聘請外國教練按照西式制度進行訓練。一支迥然不同於湘軍的新式軍隊——淮軍，就出現在大家面前。
由於淮軍的武器裝備很好，還鬧了一個笑話。
在平定太平天國後，劉銘傳指揮淮軍進剿捻軍。僧格林沁親王部下有一名將領叫陳國瑞，陳國瑞見淮軍所配洋槍洋炮精美，十分羨慕，竟然帶了500精鋭前去打劫淮軍，企圖殺人奪械。結果，偷雞不成蝕把米，淮軍依仗精良的火器，將陳國瑞全軍殲滅，陳國瑞本人也成了俘虜。
劉銘傳也是一個狠人，將陳國瑞關在一個小閣樓裏，餓了三天三夜，直到他認輸投降才放了。
李鴻章的淮軍與左宗棠的楚軍一起剿滅捻軍後，成為清朝最大的武裝力量。李鴻章因此被朝廷重用，做了25年直隸總督兼北洋通商大臣，權傾朝野。
淮軍雖然武器精良，但紀律鬆弛，將領們不惜手段聚斂財富，禍害地方。1868年，清朝命令左宗棠進軍陝甘，並有將淮軍劃撥到西征大軍的計劃。左宗棠奏報朝廷時，將淮軍狠狠地諷刺了一通，“淮皖諸軍皆新立功，其將領皆富貴矣”，然後批評淮軍不過是一羣走到哪裏，就禍害到哪裏的禍患之輩，表示不願意收納淮軍。他寧願重新到安徽、河南等地招募士兵，重新打造一支楚軍。
淮軍遇弱則強，遇強則弱，戰鬥力並沒有想象中那麼高。在中法戰爭和中日甲午戰爭中，淮軍都有參加，但表現不佳。特別是在甲午戰爭中，竟然出現了不少“逃跑將軍”，導致最終一敗塗地。
甲午戰爭之後，朝廷開始訓練新軍，淮軍的作用越來越小。大部分淮軍駐防大運河一線，相當於巡防部隊，不再承擔國防任務。只有在甲午戰爭中表現突出的聶士成部，被按照德國營制重新編成武毅軍。
武毅軍聘請德國和俄國教習教練步隊和馬隊，按照《淮軍武毅各軍課程》《武毅先鋒馬隊操練教程》《武毅軍練兵圖説》等開展軍事訓練，創辦開平武備學堂，用近代軍事知識教育軍官，訓練士兵，戰鬥力顯著上升。
1899年，朝廷創立武衞軍，武毅軍改為武衞前軍。1900年，八國聯軍侵華，聶士成率武衞前軍與列強軍隊作戰，傷亡慘重。聶士成本人也戰死沙場。
1901年，李鴻章病逝，享年79歲。此後，隨着新軍的崛起，淮軍逐步淡出視野，直至消失。
【參考資料：《淮軍簡介》《清史稿》等】