统计学的发展——统计学的思想和方法之拟合优度检验

对于某一种疾病，我们知道A药的治愈率是pA=0.7，现在又研制出了一种新药B，给100个患者服用，治愈73人，新药比旧药好吗？令pB表示B药的治愈率，则pB的最大似然估计是0.73，因为0.73>0.7我们就可以认为新药好于旧药吗？研究这样的问题必须谨慎，因为旧药的安全性往往要高于新药，只有能够确定新药疗效真正好于旧药时才可以使用新药，因为估计是一个随机变量，这就促使我们必须考虑：这次100人的试验的结果是不是偶然的呢？如果新药并不比旧药好，试验结果大于等于0.73的可能性有多大呢？这类问题形成了推断数据分析的一个重要研究领域：假设检验。皮尔逊1900年发表在《哲学杂志》上的论文奠定了这个领域的基本思想，他给出了被称为拟合优度的检验统计量。

我们从更一般的角度讨论皮尔逊的检验方法。他先给出了现代统计学研究的基础，即总体的概念之后，考察一组样本x₁,…,x_n是否是来自某一个已知的总体F(x)，比如某一个正态分布或者二项分布。把样本可能取值的范围(a,b)划分成k个首尾相接的小区间，要求k<n，比如

（a,y₁），（y₁,y₂），…，（y_k-1,b）

用n_i表示样本落在第i个区间的个数，i=1，…，k，用p_i表示总体F(x)取值在第i个区间的概率。如果这n个样本是来自这个总体，那么np_i就表示样本落在第i个区间的期望个数。于是，皮尔逊构造了检验统计量

X²=(n_i-np_i)²/np_i

显然，如果这个数很大则可以认为样本不是来源于这个总体。皮尔逊给出了这个统计量在假定来自总体F(x)的取值分布，这就是大名鼎鼎的卡方分布，记为χ²(m)，其中m表示自由参数的个数，被称为自由度，比如在我们现在的问题中m=k-1。这种检验方法也被称为卡方检验。

可以看到，这个方法是非常重要的，这种方法构建了数据与总体之间关系的桥梁，正如C.R.劳所说，“皮尔逊是第一个试图沟通描述数据分析与推断数据分析的统计学家”。卡方检验甚至被誉为20世纪科学技术20个重要发明之一，这20个发明包括相对论，电视，计算机，抗生素等。

后来，在20世纪30年代美国统计学家内曼（1894-1981）和皮尔逊的儿子E.皮尔逊（1895-1980）发展了假设检验的严格的数学理论，给出了判别检验统计量好坏的标准。基于检验，他们还给出了区间估计的思想与方法。

除了上面提到的统计学最基本也是最重要的思想与方法之外，费歇还提出了充分统计量，相合估计，方差分析等一系列思想与方法。澳大利亚统计学家皮特曼（1897-1993）提出的非参数方法优化准则，美国统计学家沃尔德（1902-1950）提出的统计决策理论都对推动现代统计学的发展起到了积极的作用。

统计学只是近代才成为一门重要的学科。随着各个学科领域研究的不断深入，人们越来越感觉到数据分析的重要，而计算机技术与信息科学的快速发展又为这种需要提供了可能性，于是，统计学应用的领域越来越广泛，特别是在生物学，医学，信息科学，材料科学，经济金融等领域的应用前景十分广泛。事实上，统计学并没有固定的研究对象，统计学的研究依赖于数据以及数据产生的背景。那么，什么是“数据”呢？这是一个最为基本也是最难回答的问题。现代统计学涉猎的领域如此广泛，几千年来人们对于数据的理解就没有发生变化吗？

我想，我们是否可以这样来理解数据：数据是信息的载体，这个载体包括数，也包括言语，信号，图像，凡是能偶承载事物信息的东西都构成数据，而统计学就是通过这些载体来提取信息进行分析的科学和艺术。