概率统计学习之参数估计与假设检验

1参数估计

假设随机变量X的分布函数是已知的，但是它的一个或多个参数未知，需要借助总体的一个样本来对总体参数进行估计，就是参数估计问题。

⑴点估计

点估计就是指通过样本X来估计样本参数的值。点估计问题就是利用样本构造一个统计量，用它的观察值，作为分布参数的估计值。

①矩估计法

矩是描述随机变量特征的重要数字，用大写字母E表示。E[(X-c)k]为随机变量X关于点c的k阶矩。

当c=0时，称E[Xk]为X的k阶原点矩（k=1为X的均值）；

当c=E[X]时，称E[(X-E[X])k]为X的k阶中心矩（k=1时为X的方差）。

矩一个重要的特征是收敛性，也即当k趋向于无穷大时样本的k阶矩与总体的k阶矩相同。因此，可以将样品矩作为总体矩函数的估计量，矩估计法主要利用下面等式：

其中θ为分布参数，通过上式建立方程组来求解参数值。

②最大似然估计法

假设有离散型随机变量X，其分布律为，P{X=x}=p(x, θ)，θ为待估参数，其取值范围为Θ，对于X中抽取的样本X1、X2、X3...Xn，由于其是独立的，那么其联合分布律为:

那么对于其中一个事件（已知观测值）X1=x1、X2=x1...发生的概率为：

L(θ)称为样本的似然函数。基本想法是：现在已经取到样本值X1=x1、X2=x1...，说明这个事件的发生概率是比较大的，而使得这个事件发生概率很小的参数值自然是不可信的。其哲学原理为发生的即是合理的，在总体中随机抽取的样本总是会最大可能的代表总体的数据结构。

最大似然法就是固定样本观察值，在参数可能的取值范围Θ内挑选使似然函数值达到最大的参数值作为θ的估计量

。对于连续型随机变量，最大似然函数为：

由于L(θ)是关于θ的函数，一般来讲其取最大值时导数为0。

根据最大似然法，可以求出正态分布期望μ的最佳估计量为样本均值，方差σ2的最佳估计值为样本方差，如下所示：

由此看来，总体期望与方差和样本均值与方差并不是一样的概念。

最小二乘法就是最大似然法的应用，除了这两种方法，其余的参数估计方法还有最小风险估计、贝叶斯估计等。

⑵估计量的评选标准

同一参数采用不同估计方法得出的估计量可能不同，这就需要设定一些标准来评价估计量，从而确定最佳参数值。

①无偏性

若估计量

的数学期望E(

)存在，并且对任意的θ具有：

那么称

为θ的无偏估计量。无偏估计的实际含义就是无误差估计，也即反复估计参数最后取估计量的均值作为参数估计值。

②有效性

假设不同方法获得的

1与

2都是θ的无偏估计量，且有：

由于方差小说明关于均值偏离程度更小，那么

1比

2更加有效。

③相合性

一般情况下，随着样本容量的增大，参数估计的准确性提高，假设

(X1，X2，X3，...，Xn)为参数θ的估计量，如果当n→∞时(X1，X2，X3，...，Xn)依概率收敛于θ，那么

称为θ的相合估计量。

⑶区间估计

对于一个未知量，仅仅是得到估计值并不满足严谨的科学要求，还需要知道这个估计值的误差范围，以及在这个范围包含参数真值θ的可信程度。

①置信区间

设总体X的分布函数F(x,θ)含有一个未知参数θ，其取值范围为Θ，对于给定的值α(0<α<1)，若由X中抽取的样本X1、X2、X3...Xn确定的两个估计量

(X1, X2, X3,...,Xn)和

(X1, X2, X3,...,Xn)，对于任意的θ∈Θ满足：

则称区间(

,

)是参数θ置信度为1-α的置信区间，1-α称为置信水平，置信度也即置信区间的取值概率。

②正态总体参数范围

事实上科学研究中对于参数估计需求最多的就是正态分布模型，因此这里详细介绍正态总体参数估计。由于正态分布总体的参数经过转换后符合抽样分布，因此我们根据1.4.3.3中的分布函数很容易得出参数的范围。

设X~N(0,1)，对于任给的α，(0<α<1)，称满足P(X>Zα)=α的点zα为标准正态分布的上α分位点，也即将概率函数分为概率大于α和小于α两部分。同理，tα为t分布上的α分位点，以此类推。但是由于概率密度函数的两侧都是极值，置信区间位于中央，应取双侧分位点，因此置信水平1-α的α分位点实际为±Zα/2。分位点数据可以通过查询标准分布表获得。

对于正态总体N(μ,σ2)，σ2已知的情况下期望的置信度1-α的置信区间为：

σ2未知的情况下：

σ2的置信区间为：

可以看出，正态总体参数估计就是根据样本的均值、方差，依据正态总体抽样分布情况对总体的期望方差做出预测。对于数量有限的n个样本，在均值确定后，如果知道了其中n-1个数的值，第n个数的值也就确定了，因此自由度为n-1。当n为5左右时，均值0.95置信水平下的置信区间约为均值加减一个标准差，这也是做图中通常使用1个标准差做误差棒（error bar）的原因。

对于两个正态总体X属于N(μ1, σ12)与Y属于N(μ2, σ22)，我们希望比较两个变量的期望差值与方差壁纸，σ21、σ22已知的情况下期望差值μ1-μ2的置信度1-α的置信区间为：

σ21、σ22未知的情况下：

σ21/σ22置信区间为：

参数估计是参数检验的基础，在参数的假设检验中，要根据统计量的概率函数以及置信区间对假设做出判断。

2假设检验

在总体分布函数完全未知或者已知函数形式但是不知道参数的情况下，为了推断总体的特性而对总体做出某种假设，然后使用样本数据来检验所做出的假设是否接受，就是假设检验问题。我们所做出的假设一般有两种：不关心效应问题的零假设H0和关心效应问题的备择假设H1。所谓零假设就是关心的效应不存在，也即，两个组之间不存在差异、因子变量对响应变量无影响、回归模型不显著等。然后根据零假设构建统计量T并估计其置信区间，如果根据观察值计算的T0在置信区间内则接受H0，如果小概率事件发生也即p值太小则拒绝H0接受H1。对于基于正态分布的参数检验，我们一般构建的统计量服从正态分布的抽样分布（t分布、F分布等）；对于非参数检验，一般构建分布可求的统计量例如秩和检验的中的秩和R；对于统计量分布完全未知的情况，可以基于零假设通过统计推断的方法构建随机分布模型-零模型，从而根据T0对H0做出判断。构建零假设的哲学原理是“我们宁愿相信效应是不存在的，直到现实结果出现矛盾”。由于我们对统计量估计的是其置信区间，因此我们很难做出H0为真的判断，但是却很容易做出其为假的判断。

在假设检验中，难免出现错误，如果假设为真(TRUE)，但是拒绝了假设，这称为第一类错误；如果假设不为真(FALSE)，但是接受了假设，为第二类错误。只控制第一类错误不考虑第二类错误（宁肯错杀一千，不肯放过一个）称为显著性检验。第二类错误主要依赖样本量的选择。与参数估计中的置信水平相对应，我们称小概率事件发生的概率α为显著水平。如果根据假设构造的统计量值落在了分布曲线α分位点外侧（也即小概率范围内），那么假设与真值存在显著性差异，因此拒绝假设。

⑴正态总体均值假设检验

对于正态总体N(μ, σ2)，σ2已知的情况下均值的检验为Z检验，因为由1.4.3.3中正态总体参数分布可知正态总体均值服从正态分布N(μ, σ2/n)，那么利用u转换将其转换为标准正态分布，也即构建一个新的统计量Z~N(0, 1)，统计量Z如下所示：

将Z的计算数据与查表数据进行比较，在显著水平α下，当μ=μ0为真，那么Z~N(0,1)，肯定有|Z|~Zα，如果|Z|≤Zα，则可以拒绝μ>μ0的假设，而|Z|≥Zα，则可以拒绝μ<μ0的假设。

而更多的情况是方差未知。σ2未知的情况下均值的检验为t检验，即利用t转换构造统计量t使其利用样本方差来代替总体方差（t转换），统计量t如下所示：

如果统计量t的绝对值|t|~tα/2(n-1)），则预测值μ0为真，其使用方法与Z检验类似。

对于两个正态总体的样本独立样本X和Y，我们关心的是其均值的比较情况，t统计量为：

如果t的绝对值|t|~tα/2(n1+n2-2)，那么μ1-μ2=δ为真。

⑵正态总体方差的假设检验

对于单个样本，使用卡方检验，我们构建卡方统计量来转换使得正态分布样本方差符合卡方分布：

在显著水平α下，若σ=σ0为真，那么

。

对于两个总体，我们使用F检验，构建F统计量：

在置信水平1-α下，命题及其拒绝域如下所示：

3非参数检验

参数估计与检验均是总体分布模型已知的情况下（主要是正态分布），但是实际获得的数据很多情况下并不知道总体分布类型，因此需要进行非参数检验。

⑴

拟合检验

拟合检验法用来检验总体是否具有某一分布类型。设随机变量X的总体分布未知，x1, x2,...xn是来自总体的样本，现在假设X的分布函数为F(x)，并在假设为真的前提下将总体Ω分成互不相交的子集A1, A2,...Ak，以fi记样本观察值x1, x2,...xn落在Ai中的个数，也即事件Ai发生的频率为fi/n，在假设前提下我们可以根据X的总体分布函数F(x)计算事件Ai发生的概率pi，很自然fi/n与pi会有差异，然而当假设为真而且样本量足够大的情况下，这种差异应该不会很大，我们定义统计量来描述这种差异：

根据皮尔逊（Karl Pearson）定理（也即这个统计量服从卡方分布），在置信水平α下有：

则拒绝假设。

假如X的总体分布为F(x, θ1, θ2,...θr)含有r个参数θ1, θ2,...θr，则需要k>r+1，需要先用最大似然法对参数进行估计然后求得pi，若有：

则拒绝假设。

⑵偏度/峰度检验

偏度/峰度检验法是检验样本是否来自正态分布总体，随机变量X的偏度和峰度是指u转换统计量

的三阶矩和四阶矩：

若X服从正态分布，那么肯定有ν1=0，ν2=3。如果Bk为样本x1, x2,...xn的k阶中心矩，那么样本的偏度与峰度为：

假如X服从正态分布为真，而且n充分大，则有：

记：

那么如果假设为真，且样本容量n充分大，则有：

如果假设为真，那么样本与总体的偏度和峰度相差不会很大，也即G1与G2收敛于ν1和ν2。

如果|U1|≥Zα/4，或者|U1|≥Zα/4，假设不为真。使用偏度/峰度检验法时样本量以大于100为宜。

⑶秩和检验

秩和检验法是一种简单、有效的检验方法，主要判断两个总体的样本之间差异而不需要很大的样本容量。设随机变量X为一总体，将其中一容量为n的样本按照从小到大的顺序排列编号：x(1)<x(2)<…<x(n)，那么我们称i为x(i)的秩(rank)，也即秩就是元素的大小排名（样本值越大排名越大）。

设有两个连续型总体，它们的概率密度函数分别为f1(x)、f2(x)，均为未知，但是已知f1(x)=f2(x-a)，其中a为常数，也即f1(x)与f2(x)可以进行平移转换，其分布模型相同。假设两总体期望为μ1、μ2，那么有μ2=μ1-a。

从这两个总体中分别抽取容量为n1、n2的独立样本，而且n1≤n2，将这n1+n2个样本观察值放在一起排列并求每个元素的秩，然后将属于第一个总体的样本观察值的秩相加其和记为R1，第二个总体为R2，统计量R1、R2称作这两个样本的秩和。显然R1、R2是离散型随机变量并且有：

也即R1、R2的和是确定的（就是1+2+…+(n1+n2)），只需确定其中一个即可。对于R1有：

上式左边为样本1元素全部小于样本2时的秩和，右边为样本1元素全部大于样本2时的秩和，而R1是这个范围内的任一个整数。如果假设a=0，也即μ2=μ1，那么R1过大或者过小都可以拒绝假设，也即两个样本差异显著。在样本量很小的情况下，利用穷举法可以很容易的获得R1的取值范围以及每个数的概率，并制作R1的分布表来进行检验。当n1，n2≥10时，有以下近似：

那么我们可以使用u转换构造统计量使其符合标准正态分布，从而可以利用标准正态分布表来进行检验。

4p值检验法

前面所提到的所有检验方法均是临界值法，主要是利用概率密度函数分位点，判断在某一显著水平上统计量是否在可接受范围内，从而对假设做出判断。然而在实际情况中，由于统计量的取值是连续的，那么显然统计量与分位点“差一点”和“差很大”其检验结果的准确度是不一样的。而且对于假设的检验结果，我们很想知道假设在多大程度上为假或者在多大程度上为真，从而使得不同的检验结果之间也可以比较。在这里我们舍弃根据显著水平而定的分位点判断法，以Z检验为例，假设根据样本转换的Z统计量观察值为z0，那么：

也即概率密度曲线z0点左边的面积为p值。假如检验的原假设为μ=μ0，那么p值实际上是原假设可被拒绝的最小显著水平，或者原假设被接受的最大显著水平。如果设显著水平为α=0.05，那么p>0.05则假设成立，也即μ=μ0。在差异检验中，如果p>0.05那么两个总体差异不显著。

总结

假设问题就是根据样本的情况来推测总体的情况。对于单个总体的样本，我们对其总体参数大小进行假设；对于多个总体的样本，我们假设两个总体的比较情况。做出假设之后需要检验假设的真假，对于已知总体分布的，因为总体的参数就可以反映总体情况，所以我们根据总体参数进行参数检验，根据参数估计结果构造统计量来对样本参数进行转换，使其符合某种标准分布，然后根据标准分布表分位点数据，来判断统计量是否在显著水平α下概率高（置信水平1-α）的范围内。例如对于正态总体的参数检验，我们利用样本构造统计量Z、t、

、F使其符合标准正态分布、t分布、卡方分布、F分布这几大抽样分布，从而对其进行检验。对于未知总体分布的，我们进行非参数检验，利用样本观察值构造统计量来使其符合某种标准的已知分布，例如对于秩和检验构造统计量秩和，使其符合正态分布，从而判断其取值是否在高的概率范围内。p值检验法则实际上是对检验结果的一种量化。