清朝的《賊情彙纂》記載，“首謀八匪魁”：洪秀全家裏有田有宅，但他們兄弟三人都要自己種田、放牛，家境尚可，屬於今天的小康型富裕中農，要是很有錢，洪秀全何至於因為向工頭索要工資，耽誤了在美國教堂受洗的機會；馮雲山的家境據説比洪秀全還差些，要靠抄寫藍本和打短工貼補家用——想想也是，他倆人的處境基本差不多，俗話説“家有五斗糧，不當孩子王”，要是有錢，這二位何至於塾師當了那麼多年？可見都是謀生活而已；楊秀清5歲喪父，9歲喪母，一介燒炭的，翻山越嶺去賣煤炭，“生長深山之中”、“零丁孤苦，困厄難堪”，靠打短工過日子；韋昌輝家有田畝若干，按後來的“階級成分”劃分，也就是個富農；蕭朝貴也是紫荊山山區靠種菜、耕山、燒炭艱難度日，“自耕而食，自蠶而衣”，秦日綱是貴縣的礦工首領，這二位屬於不折不扣的“無產階級”；石達開剛是“耕讀之家”，自己還經常幹農活。
而唯獨胡以晃是廣西屈指可數的鉅富大賈，擁有橫跨平南、藤縣和金秀瑤山，每年能收年租4800石的煊赫家產。胡以晃，字杏雲，書中記載他“身材中人，黃面高鼻，短頦，髭濃髯少”。他的祖上乘瑤民“四野奔散”之機，把他們辛勤開闢的大片山場田地據為己有。接着又設法買通官府，把居住在羅文村一帶的瑤民趕走，將那裏的田地也霸佔起來了。然後招人耕種，坐享租利，剝削和壓迫勞動人民以發家致富。
胡以晃老家在廣西平南縣官成鎮羅文村，有一間豫王胡以晃的舊居，此地距縣城約30公里，村前面是一片開闊的盤地，四面是高山環抱，村中有一條小溪從中穿過，流水潺潺，兩岸交通有橋，山清水秀，十足的“小橋流水人家”，從遠處看，古屋旁邊雜草叢生，台階上又長滿苔蘚，但山間景色怡人，人稱是當地風水最佳的地方。
胡以晃的父親積累大量的財富主要有三招：一是恃勢霸佔。胡琛學習他先祖胡其灼的手法，進一步把鄰近的瑤民趕走，搶奪他們的山林田地。
二是債利盤剝。胡琛通過借錢、借谷、借牛給人等方式，榨取很高的利息。據説：他擁有耕牛四百多頭，大部租人放牧使用。除牛租外，生下仔牛也算他的。人們形容胡琛放債取利的收入是：“每天打開大門口，起碼有一百幾十兩白銀到手。”
三是收取地租。胡琛佔有的山場田地，橫跨平南、藤縣和金秀瑤山三個縣區。有一首歌謠，形容他佔地的情況是：上至瑤口（在金秀瑤山），下達三江（在藤縣）；鳥飛不過，馬走難窮。
胡以晃這樣一個大財主，怎麼“從了賊了”？這個問題，當年的清朝官員，可是怎麼也想不通的。
原來，胡以晃父親胡琛後，當時胡以晃不滿十歲他霸佔的大量山場田地，“手創”的四十八萬斤糧租，親自籌建的幾座青磚瓦屋，由三個年幼的兒子繼承着。家庭的重大變故，造成了“家道”的急劇逆轉，從迅猛積累財富向迅速分散財富轉化。兄弟不和分了家，胡以晃一氣之下憤然離開了羅文村祖居，獨自“遷大同裏山人村結造廬舍”。後來專事學武功，想考個武舉人，才藝壓場，本選高魁，在騎射、步射這兩項關鍵考試中成績斐然，名列前茅，本以為功名唾手可得，沒想到考拉硬弓時興奮過度，居然把弓拉斷，自己也受了臂傷，最終落榜。 所有的人這認為他沒有考上是太可惜了。
家裏生意不順，科場失意，功名不就，對“抱負奇偉”的胡以晃，沉重的打擊。“雖系鄉民，然好高鶩遠……而喜結客。”性豪爽，講義氣，肯疏財，好交遊，他的朋友遍天下，此時，馮雲山秘密從紫荊山深入平南山人衝拜訪他。當時，胡以晃正是牢騷滿腹，鬱郁不得志的時候，經馮雲山一番勸説，欣然加入了拜上帝會，並變賣田產招兵造反。
這年九月，由於廣西天地會到處舉事，清廷派出多路人馬深入堵截，其中一支李殿元部恰好堵住了山人村的出口，十月初一日起，胡以晃連續多次率部出擊，都不能突圍，不得不派人翻山，去金田村求援，使者到達金田村韋昌輝家時，在此養病的楊秀清忽然病癒，“耳聰目明”，派蒙得恩率部赴援，十一月二十四日，胡以晄、蒙得恩內外夾擊，大破李殿元，殺死清巡檢張鏞，取得了第一次大戰的勝利，史稱“迎主之戰”。
這一戰奠定了胡以晄在太平天國的地位，1851年10月，太平軍在廣西永安州封立東、西、南、北、翼五王，其它各級職官也紛紛設立，天官正丞相秦日綱、春官正丞相胡以晄兩人，也就是説，此時胡以晄是太平天國天王以下的第八號人物。
後來，在安徽廬州之戰中，胡以晄在湘軍創始人，太平天國的頭號悍敵江忠源抵達廬州後第二天就神速圍城，歷時36天，最終水西門、大東門守軍譁變，太平軍於十二月初十日攻克廬州，全殲江忠源部，主帥江忠源投水自殺。
太平軍廬州大捷傳到天京，洪秀全、楊秀清十分高興，他隨後被封為護國侯、護天侯，並晉封為豫王，成為天京事變前僅有的7位封王者之一，隨即命胡以晄成為防守廬州主帥，洪秀全賞賜給他五名如花似玉的“王娘”，並寫詔書告之，這賞賜的“王娘”絕對正宗沒有動過，加上金銀財寶，綢緞錦綸，派出一艘非常漂亮的戰艦，沿着長江送浩浩蕩蕩送給豫王。
沒有想到剛剛四十歲的胡以晃，看了五名如此漂亮的王娘後，只收下了一名安徽女子，其它四名又有原封不動地退了回去，針對胡以晃退回王娘事件，清人《賊情彙纂》裏記載，胡以晃“不能人事”，説他不是男子漢，不會動女人，又説他是陽痿之類。
後來這天王賜的留下的一位安徽籍王娘給他連生二子，一子胡萬勝襲爵豫王封號成為“幼豫王”，現存眾多後代。我想，這位胡豫王爺的想法，可能是怕老婆太多麻煩事情多，才不肯一下子接受五個，從這一件事情可以看出，説胡以晃不是男人，這純屬是造謠、污衊農民軍領袖的可恥行為。