彭玉麟祖籍湖南衡陽，1816年生於安徽安慶，字雪琴（後有雪帥之稱），自號退庵堂主人。其父彭鳴九做過“合肥梁園鎮巡檢”，儘管這是一個級別很低的武官，卻得到當時的安徽巡撫李翰章（李鴻章之兄）極高的評價，於彭鳴九死後親自做傳，將彭鳴九“推為皖中循吏之最”。然而彭鳴九英年早逝，加之為官兩袖清風宦囊如洗身後沒留下什麼財產，再加上族中一些不良之輩又對他們孤兒寡母橫加欺凌，致使彭玉麟在故鄉湖南衡陽度過的少年時代不堪回首，歡娛既少，悲苦尤多。
令人氣憤的是，他們孤兒寡母僅有的一點薄產也被族中惡徒侵吞了，彭玉麟的弟弟彭玉麒竟險些被人擠到河中溺斃。一天，母親王夫人把兩個兒子彭玉麟和彭玉麒叫到跟前，哭着對他們説：“我們老是受欺受壓的，這地方沒法長住下去。你們尚未成年，還是遠出避禍吧。記着，從今以後，你們要自強自立，等有了成就，再來見我！”慈母淚落，滴滴傷情。窮人的孩子早懂事，於是十三歲的彭玉麒跟人去跑遠水生意，長期音信杳然。十六歲的彭玉麟則就讀於衡陽城中的石鼓書院，他聰穎好學，特別能吃苦，從不怨天尤人。他當時“緼袍敝冠、三餐不繼，然介然自守，未嘗有飢寒之嘆”。
生活的困頓，使彭玉麟不得不中斷其學業，在軍營中謀了一份相當於文書的職業，聊以奉養寡母。在這期間，彭玉麟遇上了他生命中第一位伯樂——時任衡陽知府的高人鑑，一個偶然的機會，高人鑑在軍營中看到了彭玉麟寫的一份文書，對他的文才與書法大加讚賞，後來又招攬為門下弟子，並招他到官學讀書，成為了一名秀才。但如果止於此，彭玉麟最多隻能是衡陽城中一介名士，通過科舉之路謀一份官職，像父親一樣儘管賢能幹練卻只能終老鄉間。
咸豐四年（1854年），太平天國鋒芒正盛，腐朽不堪的八旗兵節節敗退，曾國藩正在衡州、湘潭組建水師，廣求人才。先有曾國藩的弟弟曾國葆稱讚彭玉麟，後又有常儀安推薦彭玉麟膽略超人，曾國藩遂發書召他速來。可是彭玉麟剛剛喪母，在家守制不出。曾國藩再次勸出，並説：“鄉里藉藉，父子且不相保，能長守丘墓乎？”這話説得很有水平，彭玉麟感其誠義，慨然應徵，當即人軍。43歲的曾國藩與38歲的彭玉麟這次相遇，開始了其共同對風雨飄搖的清朝力挽狂瀾於既倒的非凡人生。
入湘軍後，彭玉麟在與太平天國軍隊的作戰中驍勇善戰，智勇過人。湘軍主帥曾國藩讓他創立了湘軍水師，購買洋炮，製造大船，訓練將士。彭玉麟治軍極嚴，湘軍水師中，他的坐船是一條插着紅旗的快艇，巡視各處，來去如風，營中三不準“鬥毆、賭博、抽鴉片”，如有違者，輕則笞杖數十，重則人頭落地，因此彭玉麟治下，軍紀在湘軍中堪稱第一，遠勝於以金錢醇酒美人為餌誘部卒死戰的曾國荃所部。易宗夔在《新世説》中稱其時的彭玉麟“貌清癯如閒雲野鶴，出語聲細微至不可辨。然每盛怒，則見之者不寒而慄”，歌頌其威嚴治軍。
他不負曾國藩之厚望，率領湘軍水師於湘潭之戰擊敗太平軍，後隨軍攻陷嶽州，在武漢、田家鎮連敗太平軍水師。後來他率領的湘軍水師在江西湖口被石達開打敗。於是他整頓水師，配合陸軍大敗太平軍於樟樹鎮、臨江等地。接着，他率領的湘軍水師與楊載福的部隊一起攻佔湖口、九江、安慶，升任水師提督，兼兵部右侍郎。在攻佔天京（今南京）的戰役中，他親率水師策應曾國荃的陸師沿長江東下，堵截天京護城河口。第二年他與楊載福等攻下江浦、九洑洲、浦口，斷絕了天京糧道，成為攻陷天京的大功臣。在剿滅了太平天國後，他一心撲在清軍的長江水師的建設中，為清軍的這支水師嘔心瀝血，鞠躬盡瘁。後來傾注了彭玉麟無數心血的長江水師被李鴻章全盤接收，成為北洋水師最主要的力量，近代海軍起步於斯。
彭玉麟對官場腐敗深惡痛絕，下決心不與腐敗官員為伍。他任長江水師提督治理水師及兵部尚書的時候，秉公辦事，疾惡如仇，嚴懲惡勢力，甚至不惜得罪清廷高官大紅人曾國藩和李鴻章。曾國荃是曾國藩親弟，彭玉麟發現曾國荃的陸軍部隊綱紀廢弛，還抓住了曾國荃手下的兩名吸鴉片的戰將。曾國藩是彭玉麟的恩師，對他可謂恩重如山，但是彭玉麟卻不顧師生情誼，毅然提筆三次彈劾曾國荃，致使曾國藩大怒寫信給他責問自己弟弟到底哪裏得罪了他。
有一年，彭玉麟路過安慶，忽然有人攔馬喊冤，狀告當地惡霸李秋升。李秋升是李鴻章的堂侄兒，仗着權傾朝野的李鴻章的勢力橫行鄉里、奪人妻女，當地老百姓敢怒不敢言。經調查，彭玉麟掌握了足夠證據，把李秋升抓來審訊，李秋升竟然藐視彭玉麟不敢把他怎麼樣而供認不諱。彭玉麟斷然下令：“此人不除，安慶難安寧。”這時，安徽巡撫聞訊，風疾火急地趕來求情，彭玉麟開柵迎接，密令手下速將惡少斬首。巡撫還在字斟句酌，惡少業已命赴黃泉。事後，彭玉麟致書李鴻章，只是輕描淡寫：“令侄壞公家聲，想亦公所憾也，吾已為公處置訖矣。”李鴻章閲畢對彭玉麟恨之入骨，卻還只得回信道謝！
彭玉麟任職期間還先後彈劾處置了腐敗無能官吏一百餘人，其中不乏高官。此外，彭玉麟的一個外甥曾任知府，由於貽誤軍機也被他殺了。他的所作所為在當時的民間流傳下一句佳話：“彭公一出，江湖肅然。”安慶候補副將胡開泰召娼殺妻，彭玉麟怒而殺之；湖北總兵銜副將譚祖綸誘劫朋友髮妻，還殺人滅口，州、縣官員與他沆瀣一氣，連總督都袒護他，但彭玉麟照樣繩之以法而斬之。
彭玉麟以一介書生投身湘軍水師，由於他智勇雙全，在攻打田家鎮、湖口等戰役中屢立戰功，便逐步擢升至水師統領，成為湘軍水師統帥。先後被朝廷授為金華知府、廣東按察使、安徽巡撫、太子少保、漕運總督、水師提督、兵部右侍郎、署兩江總督兼南洋通商大臣、兵部尚書。他視富貴如浮雲，一生中曾六辭高官。所以當時民諺有“彭玉麟拼命辭官，李鴻章拼命做官”。
第一次是辭去安徽巡撫（相當於安徽省長）之職。當時是在咸豐十一年，彭玉麟官職是安徽布政使（相當於副省級）銜水師統領。曾國藩任兩江總都，把所屬三個省份的巡撫任給他的三個親信，任彭玉麟為安徽巡撫。他卻一連三次辭謝，其理由是已習於軍營而疏於民政，請朝廷勿棄長用短。朝廷真只好收回成命，改任他為兵部侍郎，依舊留在前線督帶水師，他這才坦然接受。
第二次是在同治四年二月，朝廷任命彭玉麟署理漕運總督。漕運，就是解往京師糧食貨物的水上運輸業。漕運總督掌管魯、豫、蘇、皖、浙、贛、湘、鄂八省的漕政，是眾人所垂涎的天下一流肥缺，多少人夢寐以求，謀之不得，而彭玉麟卻視之如草芥，兩次上書謝絕，理由除了不懂漕政外，又加上性情褊急、見識迂愚，不會與各方圓通相處。自稱“臣以寒士來，願以寒士歸也。”對於彭玉麟固請力辭不願為官的行為，清廷很感奇怪，當時官場裏的人也極不理解，甚至有人出面向清廷建議，以他不受命，近乎矯情而處分他。曾國藩聞訊，出面為他説情，他説：“查彭玉麟自咸豐三年初入臣營，堅與臣約，不願為官，嗣後屢經奏保，無不力辭，每除一官，即具稟固請開缺。咸豐十一年，擢任安徽巡撫，三次疏辭，臣亦代為陳情一次，仰邀允准。此次親奉恩旨，署理漕運總督，該待郎聞命悚惶，專折瀝陳。頃來金陵，具述積疾之深，再申開缺之請，臣相處日久，知其勇於大義，淡於浮榮，不願仕宦，份出至誠，未便強為阻止。”清廷看了曾國藩的這篇奏摺，才冰釋狐疑，准予彭玉麟之所請。
第三次是在同治七年六月，彭玉麟上疏請辭已當了六七年的兵部侍郎。原因是當年從軍時，三年母喪只守了一年，現在國家安定，他理應解甲歸田，將剩下的兩年補滿。這次朝廷看他情懇意切，便同意了他的請辭。
第四次是彭玉麟離職休養三四年後，朝廷又任命他為署理兵部侍郎兼同治帝大婚慶典宮門彈壓大臣。待到慶典一結束，他立即上疏請辭署理兵部侍郎。朝廷接受後，又交給他一項差使，即每年巡視長江水師一次。
第六次是在光緒八年，朝廷任命彭玉麟為兵部尚書（相當於國防部長）。與過去一樣，他接旨後即請辭，朝廷未準。不久，中法戰爭爆發，朝廷命他率領舊部將士並增募新軍，迅速前往廣東部署海防。他認為此時是臨危受命，不宜再辭，便以衰病之軀奉旨赴粵，帶領所部駐紮南海前線，整修虎門要塞，加強沿海完備，遣部將防守欽州、靈山。多次上疏主戰，戰後疏請嚴備戰守，以防後患。中法戰爭勝利結束後，光緒十一年三月，他便上疏請辭兵部尚書之職，朝廷未予接受。他又於這年八月、第二年八月、第三年七月、第四年六月接連四次上疏請求辭職。鑑於他的執着，朝廷只得接受。
“不要命”、“不要官”之外，彭玉麟還有一大美德，即“不要錢”。咸豐四年(1854)冬，彭玉麟率湘軍水師配合陸師攻陷了太平軍的要地田家鎮後，清廷獎給他4000兩白銀，他卻轉而用於救濟家鄉。他在給叔父的信中説：“想家鄉多苦百姓、苦親戚，正好將此銀子行些方便，亦一樂也。”還要求他叔父從中拿出一些銀兩在家鄉辦所學堂，期望為家鄉“造就幾個人才”。他要求自己和家人卻甚為嚴苛。當他得知兒子花費2000串銅錢修葺了家中老屋之後，即去信嚴辭斥責：“何以浩費若斯，深為駭嘆。”説他一貫將“起屋買田視作仕宦之惡習，己身誓不為之。不料汝並不來信告示於我，遽興土木；既興土木之後，又不料汝奢靡若此也。外人不知，謂吾反常，不能實踐，則將何顏見人!”其實，他兒子修葺後的老屋也不過是三間土牆瓦屋而已。
彭玉麟自律甚嚴，但對他人卻十分闊綽，他自己的錢，常常用於賙濟窮困的親友，贈予凱旋的部下，還積極贊助公益事業，現在衡陽城內的船山書院就是他一手捐建的。彭玉麟在去世前將為官幾十年的官俸、養廉、經費等等加起來上百萬兩的收入全部捐出來做了軍費。
清代書畫有兩絕，一為鄭板橋的“墨竹”，二為彭玉麟的“梅花”。彭玉麟工書善畫，尤精於畫梅，所畫梅花風骨凜然，虯枝如龍，花似血濺，人譽之為“兵家梅花”，時人多以為神品。其畫梅之愛好來自於他以罕見的痴痴柔情演繹的曠世之“梅姑之戀”：彭玉麟小時候曾經住在安徽安慶的外婆家裏，最喜歡跟外婆的養女梅姑一起玩耍。梅姑雖然只比彭玉麟大一點點，但是從輩份上講，她是彭玉麟的小姨。兩人青梅竹馬，兩情相悦，私定終身。但兩人的戀情因為八字不合遭到家長的反對。後來彭玉麟跟着全家搬回衡陽去，他和梅姑不得不忍痛分別，而這一別就是14年，彭玉麟已娶妻成家。
在彭玉麟30歲的那一年，他聽説舅舅在安慶去世了，外婆和梅姑沒有人贍養，於是他趕緊就派了自己的弟弟去安慶，把外婆和梅姑接到衡陽來住。而梅姑來到彭家沒多久，彭玉麟的妻子嫉恨彭玉麟與梅姑的關係，唆使彭玉麟的母親把梅姑嫁出去了。彭玉麟曾經考慮要阻止這件事情，但是因為決斷遲了，錯過了最後挽回的時機。梅姑出嫁四年以後，死於難產。彭玉麟傷心得捶胸頓足，在梅姑墳前立下誓言，要一生畫梅，以萬幅梅花紀念她。彭玉麟後來在詩中寫到“前機多為因循誤，後悔皆以決斷遲。”
光緒十六年（1890年）三月，彭玉麟以平民之身病逝于衡陽城內的退省庵，終年75歲。他死後被御賜為太子太保，建專祠紀念，贈諡號剛直。著有《彭剛直公奏稿》、《彭剛直公詩集》。曾任兩廣總督和湖廣總督的張之洞評之為“加官不拜，久騎湖上之驢；奉詔即行，誓翦海中之鱷”，併為他寫下一首五言長詩： “神州貫長江，其南際漲海。江海幸息浪，砥柱今安在……”彭玉麟的同時代人，曾任翰林院編修的著名學者俞樾稱其為“咸豐、同治以來諸勳臣中始終饜服人心，無賢不肖交口稱之，而無毫髮遺憾者”的唯一一人”，評價之高，足見彭玉麟名聲之重。時任湖北布政使的陳寶箴在悼念彭玉麟的輓聯中寫道：“不要錢，不要官，不要命，是生平得力語，萬古氣節功名都從此。”