在湘軍集團中，胡林翼絕對是個無可替代的人物。他既是湘軍大佬，又是湖北省綠營的統帥，能文善武，懂經濟，擅理政，與曾國藩、左宗棠被史學家稱為大清“中興三名臣”。在晚清，時人都認為胡林翼的治行才望在曾國藩、左宗棠之上。曾任御史的晚清名士慈銘說胡林翼“老謀深識，燭照不遺，固中興第一流人”，曾撰著《湘軍志》的晚清大學者王闓運說“中興之業，實基自胡”，而沈卓然認為胡林翼應位列同治中興功首，《清史稿》評價他：長於綜核，幹濟冠時。
曾國藩自己也曾在奏議中稱讚“潤芝(胡林翼)才力過國藩十倍”。曾國藩還說胡林翼之功在於“變風氣為第一，而蕩平疆土二千里次之”。李鴻章晚年，與人談舊事，常掛在口邊的是“先師曾文正公”與“前輩胡文忠公”(胡林翼諡文忠)。清人唐文治在《胡文忠公語錄序》中對胡林翼有兩句恰如其分的讚語：“此其量，江海之量;此其心，江海之心也。”《清史稿》對胡林翼識才、愛才和用才方面的過人之處也評價甚高，說他“馭將以誠，因材而造就之，多以功名顯……”
胡林翼在後世之所以鮮為人知，主要是因為他壯年早逝，才華未能充分地施展開來。“中興三名臣”之中，曾國藩享壽61歲，左宗棠更是以73歲高齡西歸，而胡林翼卻僅僅只活了49歲，當時輿論普遍認為，設若胡林翼不死，成就當不在曾國藩之下。
我們都知道毛澤東的字是潤之(芝)。但鮮為人知的是，毛澤東的字“潤芝”來自於胡林翼(胡林翼字貺生，號潤芝)。毛澤東1945年重慶談判時，曾與當時任《新民報》副刊編輯的作家張恨水談起：“我以前常用的‘潤芝’一名，便是在湖南一師時，楊懷中先生為我取的。有一次，我在給楊先生的信中署名‘毛學任’，楊先生問我何故?我說學一學梁任公(即梁啟超)。楊先生便給了我一部《胡文忠公全集》要我讀。我反覆閱讀後，仰慕清朝的湘撫胡林冀,覺得胡林冀確實值得學習，胡字‘潤芝’，我就改為‘學潤’。楊先生對我說：‘司馬長卿崇拜藺相如改名相如。你既然尊敬胡潤芝，就乾脆改成潤芝吧。’以後，師長和好友們多叫我‘潤芝’。”
胡林翼出身於頗有家資的書香門第，年輕時放蕩不羈，經常尋花問柳，目空一切。其父胡達源深以為憂，逼他刻苦攻讀聖賢之書，老父常為此掀髯動怒。無奈，胡達源只好將孽子送至好朋友、兩江總督陶澍的幕府，讓他去好好領教領教“軍管”的滋味。哪曾想到，胡林翼到了江寧(南京)，半點也不收斂，依然我行我素，風流依舊。兩江總督陶澍嚴禁僚屬酒色荒嬉，卻獨獨對胡林翼網開一面，還將愛女毅然決然地許配給他，陶夫人再怎麼反對也無濟於事。其時，胡林翼在南京縱情山水，並流連忘返於秦淮河畔、釣魚巷中時，有人密告陶澍，不料陶澍卻說：“潤之(芝)之才，他日勤勞將十倍於我，後此將無暇行樂，此時姑縱之。”(黃濬：《花隨人聖庵摭憶》，上海書店出版社1998年版，第434頁)
更有趣的是，新婚之夕，大家四處都找不到新郎倌胡林翼的影子，原來他獨自跑到外面喝酒去了，而且喝得爛醉如泥。這一回，陶夫人更加火冒三丈，埋怨陶澍看人走眼，選擇了這麼個混帳女婿，誤了女兒終身，陶澍回答說：“此子是瑚璉之器，將來必成大事，年少縱情，不足深責。他現在不玩，國家用材之時，他就沒有時間玩了。”
有次他老丈人兩江總督陶澍請當地名流吃飯，他在席間滔滔而談，不管誰和他辯論都要被他一頓奚落，甚至譏諷。結果被岳父罵作“浮萍耳”。此後，他便浪子回頭，發奮讀書，後來中進士，胡林翼就開始鉚足了勁兒唸書，第二年鄉試高中，第三年又連捷中進士點翰林，時年僅25歲。
成為翰林後，胡林翼仍流連於勾欄瓦肆。《花隨人聖庵摭憶》裡講了這樣一件趣事：胡林翼點翰林後，常與同鄉善化人周壽昌出入花街柳巷間。一夕，方與周壽昌同就某娼家，坊卒掩至，周壽昌機警，避入廚房，易服而立，得免被執，而胡林翼等人被抓回去問訊，因為不敢吐露身份，所以頗受辱。及釋歸，就與周絕交，謂其臨難相棄，不夠朋友。其後，胡林翼治軍招勇，就不喜用善化籍人。
真正使胡林翼大徹大悟、痛改前非的是四年後的江南鄉試案。那一年，文慶任主考，他任副主考，一同主持江南鄉試。不料，他們違規攜帶別人入闈閱試卷之事被告發。結果，文慶謫戍新疆，胡林翼降一級左遷內閣中書。此事對胡林翼的父親胡達源打擊很大，第二年便因鬱病去世。胡林翼為此深自悔恨。父親的去世，也使他頓覺家族的重任將壓在他一人的身上。丁憂期間，他痛定思痛，反躬自省，下決心再不像過去那樣荒廢年月了。
胡林翼一出手就顯示了其不同凡響的見識。他深知如果靠一步一步升遷那是希望渺茫，於是他就從親友那借了一萬五千兩銀子捐了個知府銜，很快就被分到貴州安順縣。當時安順土匪猖獗，一般人都視之為畏途，不願前往，而胡林翼因為捐的錢較多，本可以自行選擇其他地方任職的，但是他毅然前往。
貴州是胡林翼事業開始的地方。《清實錄》說“貴州所屬各地方往往聚有匪徒”，“數百為群，聚散無定，搶劫拒捕”。胡林翼年輕時究心兵略，對軍事素有研究，此時剛好派上用場。他深入民間，延訪士紳;短衣草鞋，探訪匪穴;訓練民兵，遂以知兵名天下。他在貴州和土匪打了六七年的交道，帶領官兵與盜匪作戰數百次，鎮壓過天柱等地苗民起義和湖南李沅發起義，後總結戰爭經驗編成了《胡氏兵法》。《胡氏兵法》不只談兵，更多是談怎樣培養人的精神品格，怎樣進行道德修養，怎樣對待民眾，培本養民。胡林翼在貴州任知府的前三年內，因為剿匪安民有功連升三級，官至貴東道。
時值太平軍勢如破竹，進軍湖南、湖北，清廷上下震動。於是，御史王發桂上疏推薦胡林翼，說他“捕盜鋤奸，有膽有識，平日訓練壯勇，仿戚繼光成法而變通之。勇不滿三百，銳健果敢，一可當十。搜剿匪徒於深山密箐中，與士卒同甘苦。所著《保甲團練條約》及《團練必要》諸篇，行之均有成效，歷任督撫深為倚重。倘蒙聖恩逾格畀以重任，留於湖北帶兵剿賊，可期得力”。
後經允准，胡林翼遂提兵進入兩湖戰場，開始其“中興名臣”的戎馬生涯。後來與太平軍作戰中，多次運用“圍城打援”的戰術，打敗石達開和陳玉成，最大的勝利莫如收復武昌。後來的安慶之戰也是因為採納他的策略而取得成功的。
太平軍來勢洶洶，於1853年1月攻克武昌，太平軍人數增至五十萬，清廷驚慌不已。1854年4月，清王朝就把胡林翼調至湖北任巡撫，他帶領湘軍連續作戰，連連獲勝，扭轉了當時的被動局面，他的名聲，在江南大震。湘軍在胡林翼的手上發展迅猛。在他擔任湖北巡撫以前，湘軍只有不到兩萬人。而自從他在湖北開始編練部隊以後，四年時間裡，湘軍部隊的總數增加到了七萬多人，遠遠超過了過去曾國藩所統帥的部隊規模。胡林翼與曾國藩的關係十分融洽，不僅與他隨時協商軍事部署，源源不斷地提供餉銀，還為曾國藩的復出，為其謀求地方實職一再上奏朝廷。1857年，曾國藩被剝奪了兵權，困守湖南老家。如果不是胡林翼極力向朝廷爭取重新起用曾國藩，也許這位湘軍的領袖就在湖南那個偏僻的鄉村裡慢慢度過自己的餘生。
胡林翼比曾國藩小一歲，成名卻早於曾國藩，世人並稱“曾胡”。他先於曾國藩成為封疆大吏，並且曾國藩後來所任的兩江總督一職本來咸豐帝是準備授給胡林翼的，然肅順提議說：“胡林翼在湖北措注盡善，未可挪動，不如用曾國藩督兩江，則上下游俱得人矣”，咸豐帝稱善，遂如其議(薛福成：《庸庵筆記》卷一)。二人相比，論學問，胡不如曾，論處世，曾不如胡。
胡林翼馳騁官場很有過人之處。任湖北巡撫期間，令他最頭痛的問題是如何處理與湖廣總督官文的關係。當時大多數地方的督、撫都是互不買賬，明爭暗鬥，互使絆子，不是你參我，就是我整你，大大影響辦事效率，這是清代地方政府的痼疾。胡林翼以大局為重，主動與官文修和。
官文是滿洲正白旗人，出身軍人世家。此人驕悍昏庸，名為總督，實則是朝廷派到湖廣監視漢官的耳目。不久，官文極為寵愛的六姨太要過生日，總督府向武昌官場大發請柬，要為姨太太熱鬧一番。可按漢人規矩，同僚屬官們給總督太太拜壽，沒的話說;為總督小妾慶祝生日，則是有失體面，再說湖北司道府縣大部分官員平日對官文都無好感，所以，許多官員都託辭不來，或觀望猶豫。生日這天，日上三竿了，總督府還冷冷清清。官文急得團團轉，六姨太也尋死覓活的。這時候，胡林翼來了，不僅儀仗整齊，他還帶來了老母親和夫人，以太太之禮，給官文姨太太送了一份厚禮。他這一帶頭，那些觀望的和不準備來的官員也都紛紛跟著來捧場，這位六姨太心下自然十分感激胡林翼的俠義救場。宴席上，胡老太太及胡夫人盡挑些好聽的話恭維六姨太，把個六姨太喜得合不上嘴。六姨太出身貧賤，自幼喪母，見胡老太太這樣喜歡她，便認胡老太太為母。老太太欣然應允，又叫她拜見了兄長鬍林翼。事後官文十分感謝。從那以後，六姨太常常在枕邊吹風，說胡家母子的千好萬好，並說，現在兩家認了親，就是一家人了，就不要再為難義兄胡林翼了。官文對這個嬌媚聰慧的六姨太向來是百依百順，果然從此再不給胡林翼使絆子了。
不僅如此，胡林翼每次起草請功奏摺時，總把總督的名字寫在第一位。把這官文弄得樂滋滋的。這樣，官文則當起了甩手掌櫃，軍政大事，全付與胡林翼去辦理，他只在公文上畫諾而已。胡林翼則放開手腳大幹起來，積極整頓吏治，增加稅收，革除田賦積弊，剿滅盜賊，募勇練兵。湖北當時督撫關係之和睦，為全國之首。當時，由於與官文的關係好，湖北的軍政實權都在胡林翼的手裡。
胡林翼很善於理財。當他初任湖北巡撫時，湖北大半淪沒於太平軍，可謂庫儲一空，百物蕩然，然而胡林翼透過改漕章、通蜀鹽、整榷務等手段，歲入四百多萬兩銀子，在當時東南諸省中僅次於江蘇和浙江。這些錢，主要用作湘軍軍餉。為此，曾國藩讚譽胡林翼說：“以湖北瘠區養兵六萬，月費至四十萬之多，而商民不敝，吏治日懋，皆其精心默運之所致也。”(《清史列傳》，第3352頁)在他苦心經營下，“糜爛眾棄之鄂”變為了“富強可宗之鄂”(《曾國藩全集·書信三》。
胡林翼重用從京師下放湖北的戶部小官閻敬銘，協助他整頓湖北財務。閻敬銘這個人，號稱“晚清第一理財能手”。此人後來得到慈禧太后的特別賞識，官至戶部尚書、協辦大學士、軍機大臣，執掌大清帝國的最高財權。當時，閻敬銘竭盡全力輔佐胡林翼整頓吏治，嚴杜貪汙中飽，查禁走私，廣開釐捐，使出渾身解數，終於為湖北藩庫積攢了一大筆銀錢。
除養兵外，這些錢有的用來“分援鄰省，規畫江淮”，有的則“為養士及假歸來依之營官、哨官起見”。胡林翼這種具餉必豐、養人以寬的籠絡手段，不僅使部下死心塌地供他驅遣，而且也使很多客將願意歸附他。因此，曾國藩說：“近世將才，湖北最多”，其中的塔齊布、羅澤南、李續賓、都興阿、多隆阿、李續宜、楊載福、彭玉麟、鮑超等都是當時名將，威震天下。
胡林翼在晚清還以善於發現和擢拔人才出名。其中尤以七次薦舉左宗棠傳為政壇佳話。左宗棠尚為“湘上農人”時，胡林翼身為黔中僻地小小的知府，人微言輕，便向自己的頂頭上司、雲貴總督林則徐薦舉左宗棠為幕賓(左未成行);後又多次致書湖廣總督程矞採，稱譽左宗棠“有異才，品學為湘中士類第一，……如便中訪問，必有裨高諒”，此事終因左宗棠不願出山而告寢;胡林翼並未就放棄，後來又致函湖南巡撫張亮基，褒美左宗棠“廉介方剛，秉性良實，忠肝義膽，與時俗迥異，其胸羅古今地圖兵法，本朝國章，切實講求，精通時務”。他以其誠意感動了孤傲的左宗棠，左宗棠終於出山了，開始了其風起雲湧的報國生涯。
難能可貴的是，胡林翼還很善於調和將領間的矛盾。當年，湘軍水師的兩位大統領楊嶽斌和彭玉麟，都是身經百戰的虎將，分掌長江內湖水師，因事失和，鬧到彼此反目的地步。同袍內訌，這是兵家之大忌。胡林翼很清楚，這個心結一日不解，則一日隱伏後患，於是，他分別寫信邀請楊嶽斌和彭玉麟前來商量軍情。楊捷足先至，賓主握手言歡，彭後到，楊便起身要走，胡林翼強行將他摁在座位上，彭一見這情形，即打算掉臂而去，胡林翼又強行將他摁在座位上，只差沒用兩口大釘子將他們釘牢在原處了。彭、楊二人相對無語，很是尷尬。胡林翼於是令手下設席開宴，“酌酒三鬥，自捧一斗，跪而進曰：‘現在天下糜爛到這等地步了，確實仰賴您二人和衷共濟，支撐危局;您二人如今先鬧彆扭了，又如何佐助中興大業?!’說完，泣下沾襟。”(方宗誠《柏堂師友言行記》)彭玉麟和楊嶽斌都是性情中人，見胡林翼出此至誠，當即大為感愧，趕緊扶起胡老闆，謝了罪，道了歉，彭、楊二人也非雞腸小肚之徒，遂捐棄前嫌，從此和衷共濟，共赴國難。
1861年9月30日，胡林翼因病嘔血死於安徽軍中。諡文忠，追加太子少保，兵部侍郎。他死後，曾國藩在咸豐十一年(1861年)九月的《日記》中感嘆道：“赤心以憂國家，小心以事友生，苦心以調護諸將，天下寧復有斯人哉!”曾國藩還贊胡林翼“憂國之誠，進德之猛，好賢之篤，馭將之厚，吏治之精，無善不備，無日不新，同時輩流，固無其匹，即求之古人中，亦不可多得”，其評價之高，在曾國藩論人之語中，是絕無僅有的。
胡林翼生前傾其所有，在益陽石筍瑤華山，修建了箴言書院“以公邑人”，培育人才，造福桑梓。其所著《讀史兵略》46卷，奏議、書牘10卷等，輯有《胡文忠公遺集》。他還曾繪製《大清一統輿圖》，為我國早期較完整的全國地圖。
“護國軍神”蔡鍔特別欣賞胡林翼的軍事才能和用兵思想，就把曾國藩胡林翼的治軍用兵之道編成《曾胡治兵語錄》，用於指導和武裝他的部隊。1924年蔣介石將此書作為黃埔軍校教材，並增輯《治心》一章以《增補曾胡治兵語錄》出版。1943年八路軍《軍政雜誌》曾出版《增補曾胡治兵語錄白話句解》，1945年八路軍山東軍區重印出版。