海瑞和宋朝的包拯一樣，是中國歷史上清官的典範、正義的象徵。
然而，就是這位被稱為“海青天”的海瑞，在私生活上也有鮮為人知的另一面。據有關史料記載，海瑞是回族人，祖上從福建晉江垵邊遷居海南瓊山海厝。他四歲喪父，由母親一手帶大。海家三代單傳，家庭關係比較簡單。但是，海瑞的妻妾問題卻顯得迷霧重重，異常複雜。
海瑞的侄女婿梁雲龍曾寫過《海忠介公行狀》一書，其中有海瑞“三妻兩妾”之說。根據這部書，史學家黃仁宇在《萬曆十五年》中說，海瑞“曾經結過三次婚，又有兩個小妾”，這個說法為許多著作所繼承。但也有人說海瑞娶過六七次妻妾，甚至還有“九娶”的說法，並說“瑞已耄，而妻方艾”。意思是說海瑞耄耋之年還娶年輕漂亮的女孩子做小老婆。雖然這些說法有些過分，但是可以看出，海瑞妻妾成群則無疑是不可抹殺的事實。
海瑞的第一位夫人許氏，為海瑞生有兩個女兒。嘉靖二十五年(1546年)，海瑞32歲時，這位許夫人就被海瑞休棄了。在那個年代，一個女人被休棄是莫大的羞恥，何況這時候已經育有兩個女兒，讓一個女人離開自己生養的孩子必然也是莫大的痛苦。而且，似乎許夫人還在經濟上吃了虧，為此，她還告過海瑞。
許夫人到底是什麼原因被休，她犯了“七出”中的哪一條?從“以大故所出婦許氏”的提法來看，許夫人似乎有過什麼大差錯，但是所謂的“大故”到底是什麼呢?也許是沒有生男孩。海家三代單傳，如若無後，如何面對列祖列宗?這是比較靠譜的理由。是否如此已經無從查考。不過許夫人年紀尚輕，生育問題似乎不成理由。
另一種原因，也是許多人曾經猜測的，可能是她與海瑞的母親海太夫人之間的婆媳矛盾有關。這樣的事，在著名的漢代長詩《孔雀東南飛》裡有過詳細的描述，在單親家庭中是一種比較常見的現象。問題在於，許夫人如同不幸的劉蘭芝，海瑞是不是也有焦仲卿那樣的感情?歷史材料顯示，海瑞雖然不是焦仲卿，但他是個著名的孝子，他永遠無條件地站在母親這一邊，這就決定了海家的媳婦處於相當難堪的位置。
海瑞和許夫人離異之後，又娶了潘氏夫人。但是，潘夫人到海家之後不到一個月又被休棄，休棄的理由不得而知。
接著海瑞又娶了王氏夫人。王夫人比較爭氣，在海瑞到達淳安之前兩年為海瑞生了個兒子，取名中砥。海瑞到淳安任上之後的當年，王夫人又為海瑞生了個兒子，取名中亮。王夫人還生了個女兒。
嘉靖四十三年十月，海瑞被調到京城戶部任職，海太夫人不喜歡到寒冷的北方去生活，海瑞沒有辦法，只好讓王夫人攜二男三女服侍海太夫人從海瑞在江西興國縣令的任上南歸，而海瑞則帶了兩個僕人北上任職，這一年海瑞50歲了。
嘉靖四十四年十月，海瑞上了震驚朝野的尖銳批評嘉靖的“直言天下第一事疏”，即《治安疏》。因此，他在次年二月下獄，兩個兒子就在這一年相繼死去，一個11歲，一個9歲，而海瑞此時已經52歲了。
三年之後，也就是隆慶二年(1568年)七月二十四日晚上，王夫人突然病世，但也有人說是自殺身亡的。《萬曆十五年》中說王夫人“在極為可疑的情況下死去”。在王夫人去世前11天，海瑞的小妾韓氏上吊自殺。這兩件事聯絡起來，使海瑞的家庭生活變得十分撲朔迷離。韓氏為何自殺?王夫人到底因何而死?這些事雖然已經成了歷史之謎，但是，這使海瑞在官場上有了非常不好的名聲。這時候的海瑞在南京任正四品的通政司右通政之職，他是半年多前才到南京來的。
可以想見，這一連串的打擊對於海瑞和他的家庭來說，會是怎樣的殘酷和無情。妻死妾亡，海瑞的心態如何呢?據他寫給朋友的一封信件透露，海瑞說自己“每一思及，百念灰矣”，可見他未必是人們想象的那種無情之人，對妻妾也不是沒有感情。而釀成這樣的家庭悲劇，癥結可能還是出在已近80歲高齡的海太夫人身上。
海瑞還有一妾邱氏，史料中只說她為晚年的海瑞生了一個兒子，但孩子長到三歲就夭折了。海瑞於隆慶四年申請退休，獲准後離開南京回家鄉瓊山閒居，從此離開官場15年，直到萬曆十三年(1585年)，已經71歲的他又重新回到官場，到南京任都察院右都御史及吏部右侍郎之職。邱氏可能就是海瑞在家鄉閒居時所納的小妾。
萬曆十五年十月十四日，海瑞病逝，他死的時候有“二媵四僕”。“媵”即側室，也就是小妾。這二妾中有一個是邱氏，另一個則是有人所說的“瑞已耄，而妻方艾”的那個“方艾”的女孩子。如果這樣說，海瑞就應該有過三個小妾了。
海瑞此時已經73多歲了，“人活七十古來稀”，頭髮斑白，年邁力衰，以一老邁年高之身納一個年輕漂亮的女孩為妾，雖然這在古代也不算是什麼稀奇事，但畢竟也不是什麼光彩的事。這無疑給當朝的政敵們留下了難以磨滅的口實，因此，許多政敵紛紛以此大加攻擊是顯而易見的了。
當時，海瑞身邊至少已有一妾，他還要納一個年輕漂亮的女孩為妾的正當理由是什麼呢?也許是為了傳宗接代。但是納妾是要花錢的，這錢從哪裡來?不僅娶的時候要花錢，進門後的用度也要花錢，而作為兩袖清風的清官海瑞怎麼會有大把的銀子頻頻納妾呢? 明代納妾的身價如何呢?在明代，如果要贖買一個色藝俱佳的名妓為妾，通常需支付千兩白銀。明末的那些秦淮名妓，恐怕還不止這個價。
按明代小說《金瓶梅》中說，收婢女為妾約需白銀50兩，如果是討一個妾，就要百兩以上，一般需要300兩銀子光景。這樣的話，海瑞用在娶妾上的費用就不會少，即便只有三次，怎麼說也總要三四百兩銀子。這對只取有限的法定俸祿的清官海瑞來說，不能不說是一個非常沉重的負擔，與他的生活貧困不能說沒有關係。要知道，這些費用差不多是當時一個七品縣令10年的工資了。
據有關史料記載，海瑞從嘉靖三十二年十二月出任福建南平縣教諭，到隆慶四年四月申請退休，海瑞當了十七八年的朝廷命官，回到家鄉瓊山時用“祿入”所得120兩銀子買了一間房子。海瑞又買房子又納妾，那麼，他作為一個兩袖清風的清官，怎麼會有這麼多的銀子花銷?恐怕也只能成為歷史之謎了。