先講一個真實的例子。
1986 年,為了對比腎結石治療中兩種手術的優劣,有人統計了接受這兩種手術的病人數量和成功率。在統計中,作者按照嚴重程度把病人分為大塊結石和小塊結石兩組,然後分別統計了兩組病人中手術 A 和手術 B 的成功率。得到的結果可以清晰地展示在下面的這個表格中:
讓我們來一行行地看一下這個表格。
先看第一行:對於小塊結石的病人,手術 A 的成功率為 93%,手術 B 的成功率只有 87%。很明顯,手術 A 勝出。(表格中百分比後面的兩個數字分別是成功案例數 / 總案例數)。
我們再看第二行:對於大塊結石的病人,手術 A 的成功率為 73%,手術 B 的成功率只有 69%。手術 A 再次勝出。
數字是不會説謊的。看到這裏,我們似乎已經可以得出結論了:無論對於小塊結石還是大塊結石的病人來説,手術 A 都有着較高的成功率。這個結論背後有堅實的數據作為支撐,證據確鑿,鐵證如山。
如果你得出了這樣一個結論,請繼續往下看第三行,你的內心可能會在一瞬間崩潰。
第三行中不再把病人分為大小結石兩組,而是顯示了每種手術在所有病人中的成功率。根據第三行的數據,手術 A 在所有病人中的成功率為 78%,手術 B 在所有病人中的成功率為 83%。這樣看起來,好像手術 B 的成功率又比較高!
WTF!為什麼分開比較時手術 A 在每組病人中都有較高的成功率,但進行合計後手術 B 反而有較高的成功率?這聽起來是一件不可能的事情,一定是表格中某個數字算錯了。但你可以把表格中的數字隨便檢查多少遍,你會發現每一個數字都是正確的。
有興趣的話,你可以先自己琢磨一下這究竟是怎麼回事,然後再接着往下讀。
在統計學的世界中,數字不但會説謊,而且它有時還是一個謊話連篇的碧池。如果仔細觀察一下上面表格中的數字,你會發現前兩行四個格子裏的手術數量並不是均勻分佈的。右上角和左下角的格子裏集中了更多的手術,這是因為醫生在面對小塊結石時,更傾向於選擇較小的手術 B,而在面對大塊結石時,則更傾向於選擇大手術 A。換句話説,醫生在為病人選擇手術種類時,已經無意識中影響了最後的統計結果。
由於在總樣本中佔據了較大的數量,右上和左下的兩個格子中的成功率對比直接決定了合計行中兩種手術的成功率對比。所以這個結果這與我們的直覺正好相反:直覺告訴我們如果手術 A 在兩組病人中都更好,那麼在所有病人中也應該更好。
評論中有人説答主故意編造了一組數據來誤導大家,其實不是的。這是一個人們在統計手術成功率時發生的真實案例,維基上有這篇醫學論文的題目:Comparison of treatment of renal calculi by open surgery, percutaneous nephrolithotomy, and extraco。這種違揹人類直覺的現象在統計學中還有一個專門的名稱,叫做 Simpson's Paradox。
翻翻這個問題下的答案,你會發現大部分違反人類直覺的問題都和概率統計有關。這是因為我們的大腦和幾萬年前原始人的大腦沒有太大區別。在幾百萬年的進化中,我們的直覺可以很好地引導我們理解大小、高低、速度這些直觀的概念,但對於概率統計中極度抽象的概念,我們的直覺就不管用了。
在醫學統計中犯下這種錯誤,會讓你得出一個錯誤的結論。而在法庭中犯下這樣的錯誤,則可能會把一個無辜的人送進監獄。
在 1996 年和 1998 年,英國女性 Sally Clark 的兩個年幼的兒子先後突然死亡。1999 年,警方逮捕了 Clark,罪名是謀殺自己的兩個兒子。在法庭上,一名不懂概率學的兒科醫生作證説“同一個家庭中,有兩名嬰兒自發突然死亡的概率是七千三百萬分之一”。根據統計數字,平均大約每 8500 個家庭中會發生一起嬰兒自發突然死亡事件,於是這個兒科醫生就想當然地將兩個 1/8500 相乘,作為一個家庭中先後發生兩次自然死亡事件的概率。
同樣不懂概率學的法官又憑藉直覺把這個概率等同於 Clark 無罪的概率,最後判決 Clark 有罪。Sally Clark 在蹲了三年多的冤獄後,這個案子才被平反,她本人在 2003 年出獄。在失去兩個兒子和蹲冤獄的雙重打擊下,這名母親的精神已經變得非常地不穩定。2007 年,43 歲的 Sally Clark 死於酒精中毒。
在這裏,兒科醫生的錯誤計算不是我們討論的重點(他沒有考慮家庭環境、遺傳疾病等因素的影響)。我們重點來關注一下法官在這個案子中犯下的錯誤:一件事發生的概率是否可以直接等同於一個人有罪 / 無罪的概率?
假設我們在一起謀殺犯罪現場找到了一枚兇手留下的指紋,警察將這個指紋和 20000 個人的指紋進行對比後,找到了一個與現場指紋吻合的嫌犯。現在,這名嫌犯被帶上法庭,並被指控為殺人兇手。法庭上的專家告訴你,現代的指紋對比技術的正確率為 99.99%。換句話説,這種比對技術把兩個人的指紋誤認為同一個的幾率只有萬分之一。(評論中有人説得很對,出錯分為“把同一個人的指誤認為兩個人的”和“把兩個人的指紋誤認為同一個人的”,為表述方便,我這裏的萬分之一出錯率指的是後一種。)
如果你現在是法官的話,你會怎麼去判斷這件事情?這是不是意味着這名嫌犯無罪的概率只有萬分之一?
我們的直覺讓我們很容易得出這樣的結論,不是嗎?
但如果你這樣想的話,你就犯了和 Sally Clark 案中法官一樣的錯誤。
如果警方用來進行對比的 20000 人全部都是無辜羣眾,那麼用兇手的指紋和他們進行逐一對比後,至少產生一例吻合的幾率是多少?
答案是 86%。
(評論中有人問這個 86%怎麼算出來的,在這裏簡單説明一下。要計算在 20000 次對比中至少錯一次的概率,我們只要計算對比測試連續對 20000 次的概率,然後剩下的就是至少錯一次的概率。連續對兩萬次的概率是 0.9999 的兩萬次方=0.14,剩下的 0.86 就是至少出一次錯的概率。)
也就是説,用這種準確率為 99.99%的方法在兩萬個無辜的人中去找兇手,你仍然有 86%的概率能至少找到一個倒黴蛋和兇手的指紋對得上。儘管這個人完全是無辜的。
我們的直覺總是讓我們忽略這樣一個事實:如果重複足夠多次數的話,概率再小的事情也會發生。因此,在法庭上絕不能把一件事情發生的概率簡單地等同於當事人有罪 / 無罪的概率。
最後我們來講一下那個經典的三門問題。其他的回答裏已經有人講過這個問題了,但我覺得講得都不是特別清楚,所以在這裏再講一次。
這個三門問題(Monty Hall problem)最早來源於一個美國的電視節目。在節目中,參賽者會面對三扇門,其中一扇門後是一輛汽車作為獎品,另外兩扇門後各有一隻山羊。
主持人首先會讓參賽者選擇一扇門,選定之後,主持人會在剩下的兩扇門裏打開一扇後面是羊的門(主持人知道車子在哪扇門後),以增加現場氣氛。接下來,主持人會問參賽者,你現在還有一次機會換一扇門,要換嗎?
很多人(包括答主)在第一次聽到這個問題時,都會認為換不換是一樣的。因為在主持人打開一扇門之後,還剩下兩扇門可供選擇,其中一扇後面是獎品,一扇後面是羊。這時參賽者面對的問題變成了兩扇門中任選一扇,既然參賽者不知道哪扇門後面是獎品,那麼無論選擇哪一扇門的中獎率都是 50%。
但是,數學計算表明,這時不換門的中獎率是 1/3,而換門後的中獎率是 2/3。參賽者應該選擇換門。
這是一個非常違揹人類直覺的結論。對於這個結果,別説是普通人,就是很多數學家一開始都不相信,很多學者對這個問題還進行過激烈的爭論。
面對着剩下的兩扇一模一樣的門,參賽者可以自由地在兩扇門之間做出選擇,這讓人很難理解為什麼其中一扇門的概率是 1/3,而另一扇是 2/3。
我現在還記得當年的概率課老師曾經説過:“在酒吧裏引發一場鬥毆的最好方法就是把這個題講一遍。”
另外一個答案中貼出了數學計算過程,但我想應該沒人有興趣去看這些公式,所以我在這裏試着用簡單的語言來推導一下這個結果(這也是我怎麼想明白這個問題的)。
假設你是參賽者,在遊戲的最開始主持人要求你在三扇門裏任選一扇。想象在你選擇的一剎那,你的世界分裂成了三個平行世界,每個世界中的你都選擇了一扇不同的門。很顯然,三個世界裏有一個世界中你選對了,另外兩個世界中你選錯了。記住,每一個世界代表 1/3 的概率。
接下來,在每一個世界中,主持人在剩下的兩扇門裏打開了一扇有山羊的,然後問你要不要換門。
選擇不換門:三個世界中,一個你中獎,兩個你沒中獎。所以三個世界加起來你的中獎率是 1/3。
選擇換門:在原來你中獎的那個世界中,你放棄了正確的門,換成了一個錯誤的門。但是!在另外兩個世界中,你從錯誤的門換到了正確的門,因為主持人已經幫你排除掉了一個錯誤的門。三個世界中,一個你沒中獎,兩個你中獎。所以三個世界加起來你的中獎率是 2/3。
這樣講是不是能讓你更好地理解這個問題?
人類的直覺在這個問題中之所以會出錯,同樣是因為人腦十分不擅長處理與概率有關的數字。問題究竟出在哪裏呢?在你做出第一次選擇的時候,汽車在你選中的門背後的幾率是 1/3,在另外兩扇門背後的幾率也分別是 1/3。當主持人打開一扇門後,相當於幫你排除掉了一扇門。那麼,原來屬於這扇門的 1/3 的概率跑到哪裏去了呢?這多出來的 1/3 的概率“疊加”在了另外一扇你沒有選擇的門上,把它的概率增加到了 2/3。這就是為什麼換門會有更高的中獎率。
我們的無法看到、也無法感知到這兩個 1/3 疊加的過程,所以在這裏我們的直覺又不管用了。直覺只會告訴我們,你面前有兩扇門,其中一扇裏面有獎品,所以每扇門的中獎率是 50%!
PS:
對於我來説,我更喜歡用平行世界這種方式來想明白這個問題,因為説白了平行世界也就是對概率樹種不同情況的一個比喻罷了。但我在評論中看到好幾個很好的思路,對於有些人來説,可能這些思路理解起來更容易。我在這裏彙總一下:
思路一:把 3 扇門擴大到 100 扇。你選中一扇門之後,主持人幫你排除掉 98 扇錯誤的,這時候換還是不換?憑直覺也能感到應該換了吧。
思路二:如果選擇換的話,本質上等於你一開始就同時選擇了這兩扇門(主持人幫你去掉了一個錯誤的,等於多送了你一條命)。
看到評論裏爭論得這麼激烈,我的概率課老師一定會感到很欣慰。
評論裏留言的大部分都是明白選擇換門勝率更大的,我想這是因為會做這個題目的人有更多的動力來寫評論。如果在現實生活中找一屋子人來問的話,選擇換和不換的應該是一半一半,甚至選擇不換的更多。