醉汉的脚步:直觉没错

http://cxwangyi.github.com/2012/11/09/the-intuition-is-correct/

《醉汉的脚步》(The Drunkard’s Walk)是一本很有意思的统计学科普读物。不过今天感觉其中也有错误。请诸位一起看看。

在第二章《The Law of Truths and Half-Truths》里,第一个例子是说 Kahneman 和 Tversky 的试验(下面简称 K&T 试验)能检测出人类的直觉和统计学基本原理相违背的地方。

K&T 试验的大意是:按照统计学原理,A和B两个事件都发生的概率应该小于其中任何一个事件发生的概率。但是,如果A和B两者之间存在关联(correlation),则人们的直觉是它俩都发生的概率很大,甚至大于其中任何一个事件发生的概率。这样,直觉和统计学原理就违背了。

书中列举了一些 K&T 试验中的例子,比如:“一个人看到一起凶杀现场后离开了”和“一个人看到凶杀现场后,害怕自己被误以为是凶手所以离开了”,哪个看起来可能性更大?很多人觉得后面这个情况更有可能。但是作者认为(或者他觉得 K&T 认为),前一个情况中只有事件“A=离开”,而后一个情况中是两个事件“A=离开”和“B=怕被误解”,所以人们的直觉与统计学中的原则 P(A) <= P(A,B) 相悖。

我没有看过 K&T 试验的论文,所以不知道 K&T 是否如作者那样解答他们的试验结果。但是我实在不觉得以上情况里,人们的直觉错了,也不觉得直觉和统计学原理之间相悖。相反的,我以为是书的作者没有正确理解统计学原理。

上面例子里的正确文字阐述应该是“因为怕被误解而离开”和“离开”:B是原因,A是结果。用概率论来表示,应该是比较 P(A) 和 P(A|B) 哪个大,而不是比较 P(A) 和 P(A,B) 哪个大。

那么按照统计学原理,P(A) 和 P(A|B) 哪个大呢?按照 Bayes’ theorem,P(A) 是事件 A 的“先验概率”,也就是没有事实支持的时候的可能性;而 P(A|B) 被称为“后验概率”,也就是存在事实支持情况下,事件A的可能性。当A和B存在因果关系的时候,P(A|B)是大于 P(A)的。

所以说,人们的直觉和统计学中的Bayes原理是一致的,或者说统计学原理是正确表述人类直觉的。而书中的问题是,作者自己(以及他理解中的 K&T)错误的使用了统计学中的原理,所以以为直觉和统计学原理相悖了。