假设检验
依据
小概率原理: 小概率事件在一次试验中几乎不会发生(实际推断原理)
小概率事件在一次试验中发生的概率记为\alpha,\alpha为显著水平,检验水平
方法(概率论反证法)
- 先对关心问题提出原假设H_0和备择假设
- 运用样本信息看在H_0成立下会不会矛盾
- 最后对H_0成立与否做出判断: 若小概率事件发生,则否定H_0;否则接受H_0
逻辑
小概率事件在一次试验中居然发生,就可以以很大把握否定原假设。
注意:不否定H_0并不是肯定H_0一定对,而是说差异不够显著,没有达到足以否定H_0的程度
两类错误
第一类错误
为犯第一类错误
第二类错误
记事件B为犯第二类错误
- 当样本容量固定式,一类错误概率减少导致另一类错误概率增加。\alpha减少,区间长度2U_{\frac{\alpha}{2}}\frac{\sigma}{\sqrt{n}}变长,则\beta变大。
- 要同时降低两类错误的概率,或在\alpha不变时降低\beta,需要增加样本容量。
- 显著性检验只对犯第一类错误的概率加以控制,而不考虑犯第二类错误的概率
解题步骤
以单正态总体均值$\mu$双边检验为例,方差$\sigma$已知,显著水平$1-\alpha$
- 提出原假设和备择假设:
- 选取统计量
- 写出拒绝域
- 确定Z_{\frac{\alpha}{2}}
- 计算|U|
- 判断结果 $$ \begin{aligned} |U|\ge Z_{\frac{\alpha}{2}} \quad \text{reject } H_0 \ |U|< Z_{\frac{\alpha}{2}} \quad \text{accept } H_0 \end{aligned} $$
以单正态总体均值$\mu$左边检验为例,方差$\sigma$已知,显著水平$1-\alpha$
- 提出原假设和备择假设:
- 选取统计量
- 写出拒绝域
- 确定Z_{\alpha}
- 计算U
- 判断结果 $$ \begin{aligned} U\le -Z_{\alpha} &\quad \text{reject } H_0 \ U> -Z_{\alpha} &\quad \text{accept } H_0 \end{aligned} $$
以单正态总体均值$\mu$右边检验为例,方差$\sigma$已知,显著水平$1-\alpha$
- 提出原假设和备择假设:
- 选取统计量
- 写出拒绝域
- 确定Z_{\alpha}
- 计算U
- 判断结果 $$ \begin{aligned} U\ge Z_{\alpha} &\quad \text{reject } H_0 \ U< Z_{\alpha} &\quad \text{accept } H_0 \end{aligned} $$
注意:
- 无论是双边检验还是单边检验,原假设H_0中一定要包含等于。
- 左边检验和右边检验原假设箭头方向问题。可以这么理解:左边检验,检验的是下界,箭头就是\ge,右边检验检验的是上界,箭头就是\le。
- 单边检验和双边检验使用情况总结: 右边检验:是否提高、是否偏高、是否增加、是否超过,原假设就是没有提高,用小于等于... 左边检验:是否降低、是否偏低、是否减少、是否不足,原假设就是没有降低,用大于等于... 双边检验:是否正常、是否合格、有无差别、有无差异、有无变化、有无影响 总的来说,单边检验问题中有方向性,双边检验问题无方向性。 关于原假设的提法,我也是搞了很久,一直不明白,我们再回顾一下假设检验的逻辑:小概率事件在一次试验中居然发生了,那我们就有很大把握否定原假设,因此原假设必然是大概率的,你没有足够的证据就不能说明原假设是错的(类似于法律上的无罪推定),也就是所谓的H_0受保护。那什么样的假设是大概率的?或者说我们该如何提原假设?我认为应该把通常情况,或者说过去一直发生的情况,或者说某种标准,再或者原先就有的结论作为原假设,因为这些事件都是大概率的;把我们需要去证明的结论作为备择假设(这种主要用于前面所说的几种情况题目中都没给)。比如题目中可能会说,某标准为不超过多少,问是否符合标准,此时应假设是符合标准的,即H_0:\mu\le \mu_0。比如以往某机器精度为\mu_0,让检验现在机器是否正常工作,此时应假设正常工作,即H_0:\mu=\mu_0。再比如什么都不知道,题目问能否认为某某超过\mu_0,此时假设H_1:\mu > \mu_0H_0错了,也就拒绝H_0。
以下双边检验仅提供统计量和拒绝域以及单边检验的原假设和拒绝域:
单正态总体均值假设检验,方差未知
选取统计量: T=\frac{\bar{X}-\mu}{S/\sqrt{n}}\sim t(n-1)
拒绝域:|T|\ge t_{\frac{\alpha}{2}}(n-1)
$$ \begin{aligned} \text{right}&: \quad H_0:\mu\le\mu_0;\quad H_1:\mu>\mu_0 \ \text{rejection region}&: \quad \frac{\bar{X}-\mu}{S/\sqrt{n}}\ge t_\alpha(n-1) \ \text{left}&: \quad H_0:\mu\ge\mu_0;\quad H_1:\mu<\mu_0 \ \text{rejection region}&: \quad \frac{\bar{X}-\mu}{S/\sqrt{n}}\le -t_\alpha(n-1) \end{aligned} $$
单正态总体假设检验,均值未知
选取统计量: \chi^2=\frac{(n-1)S^2}{\sigma^2}\sim \chi^2(n-1)
拒绝域:\chi^2\le\chi^2_{1-\frac{\alpha}{2}}(n-1)或\chi^2\ge\chi^2_{\frac{\alpha}{2}}(n-1) 两个临界值都需要确定
$$ \begin{aligned} \text{right}&: \quad H_0:\sigma^2\le\sigma^2_0;\quad H_1:\sigma^2>\sigma^2_0 \ \text{rejection region}&: \quad\chi^2\ge\chi^2_{\alpha}(n-1) \ \text{left}&: \quad H_0:\sigma^2\ge\sigma^2_0;\quad H_1:\sigma^2<\sigma^2_0 \ \text{rejection region}&: \quad\chi^2\le\chi^2_{1-\alpha}(n-1) \end{aligned} $$
两个正态总体参数的假设检验,检验两正态总体均值相等
- 方差\sigma^2已知 双边 选取统计量:U=\frac{\bar{X}-\bar{Y}}{\sqrt{\frac{\sigma_1^2}{n_1}+\frac{\sigma_2^2}{n_2}}}\sim N(0,1) 拒绝域:|U|\ge U_{\frac{\alpha}{2}} 单边
- 方差\sigma^2未知 双边 选取统计量:T=\frac{\bar{X}-\bar{Y}}{S_w\sqrt{\frac{1}{n_1}+\frac{1}{n_2}}}\sim t(n_1+n_2-2),\quad S_w=\sqrt{\frac{(n_1-1)S_1^2+(n_2-1)S_2^2}{n_1+n_2-2}} 拒绝域:|T|\ge t_{\frac{\alpha}{2}}(n_1+n_2-2) 单边
两正态总体均值之差的假设检验,方差未知
如果是检验\mu_1和\mu_2是否相等,则\delta=0
选取统计量:T=\frac{\bar{X}-\bar{Y}-(\mu_1-\mu_2)}{S_w\sqrt{\frac{1}{n_1}+\frac{1}{n_2}}}=\frac{\bar{X}-\bar{Y}-\delta}{S_w\sqrt{\frac{1}{n_1}+\frac{1}{n_2}}}\sim t(n_1+n_2-2)
拒绝域:|T|\ge t_{\frac{\alpha}{2}}(n_1+n_2-2)
$$ \begin{aligned} \text{right}&: \quad H_0:\mu_1-\mu_2\le \delta;\quad H_1:\mu_1-\mu_2 > \delta \ \text{rejection region}&: \quad T\ge t_\alpha(n_1+n_2-2) \ \text{left}&: \quad H_0:\mu_1-\mu_2\ge \delta;\quad H_1:\mu_1-\mu_2 < \delta \ \text{rejection region}&: \quad T\le -t_\alpha(n_1+n_2-2) \end{aligned} $$
两正态总体方差相等的假设检验,均值未知
选取统计量:F=\frac{S_1^2/\sigma_1^2}{S_2^2/\sigma_2^2}=\frac{S_1^2}{S_2^2}\sim F(n_1-1,n_2-1)
拒绝域:F\le F_{1-\frac{\alpha}{2}}(n_1-1,n_2-1)或F\ge F_{\frac{\alpha}{2}}(n_1-1,n_2-1)
- 单边 $$ \begin{aligned} \text{right}&: \quad H_0:\sigma_1^2\le\sigma_2^2;\quad H_1:\sigma_1^2>\sigma_2^2 \ \text{rejection region}&: \quad F\ge F_\alpha(n_1+n_2-2) \ \text{left}&: \quad H_0:\sigma_1^2\ge\sigma_2^2;\quad H_1:\sigma_1^2<\sigma_2^2 \ \text{rejection region}&: \quad F\le F_{1-\alpha}(n_1+n_2-2) \end{aligned} $$
大子样总体均值的假设检验
\mu假设检验是X\sim N(\mu,\sigma^2)下提出的,当X不能服从正态分布时,只需要n足够大,对\mu均可用Z检验。
- 方差已知 选取统计量:Z=\frac{\bar{X}-\mu_0}{\sigma/\sqrt{n}}\sim N(0,1)【近似】
- 方差未知 选取统计量:Z=\frac{\bar{X}-\mu_0}{S/\sqrt{n}}\sim N(0,1)【近似】
大子样总体均值相等的假设检验
- 方差已知 选取统计量:\frac{\bar{X}-\bar{Y}}{\sqrt{\frac{\sigma_1^2}{n_1}+\frac{\sigma_2^2}{n_2}}}\sim N(0,1)【近似、大子样】
- 方差未知 选取统计量:\frac{\bar{X}-\bar{Y}}{\sqrt{\frac{S_1^2}{n_1}+\frac{S_2^2}{n_2}}}\sim N(0,1) 若考虑\bar{X}、\bar{Y}, |\bar{X}-\bar{Y}|>U_{\frac{\alpha}{2}}\sqrt{\frac{S_1^2}{n_1}+\frac{S_2^2}{n_2}}
非正态总体的参数假设检验
0-1分布
P{X=x}=p^x(1-p)^{1-x}
H_0:p=p_0;H_1:p\neq p_0
E(\bar{X})=p,D(\bar{X})=\frac{1}{n}p(1-p)
当n很大时,U=\frac{\bar{X}-p}{\sqrt{\frac{p(1-p)}{n}}}\sim N(0,1)
拒绝域:|U|=\frac{|\bar{X}-p_0|}{\sqrt{p_0(1-p_0)}/{\sqrt{n}}}\ge U_\frac{\alpha}{2}
非正态总体均值的假设检验
中心极限定理:当n充分大时,
- 方差已知 选取统计量:U=\frac{\bar{X}-\mu_0}{\sigma/\sqrt{n}}\sim N(0,1)【近似】
- 方差未知 选取统计量:U=\frac{\bar{X}-\mu_0}{S/\sqrt{n}}\sim N(0,1)【近似】
拒绝域:|U|\ge U_{\frac{\alpha}{2}}
两个非正态总体均值的假设检验
- 方差已知 选取统计量:U=\frac{\bar{X}-\bar{Y}-(\mu_1-\mu_2)}{\sqrt{\frac{\sigma_1^2}{n_1}+\frac{\sigma_2^2}{n_2}}}\sim N(0,1)【近似】
- 方差未知 选取统计量:U=\frac{\bar{X}-\bar{Y}-(\mu_1-\mu_2)}{\sqrt{\frac{S_1^2}{n_1}+\frac{S_2^2}{n_2}}}\sim N(0,1)【近似】
拒绝域:|U|\ge U_{\frac{\alpha}{2}}
分布拟合检验 卡方检验法
- F(x)不含未知参数
选取统计量:
【
拒绝域:\chi^2\ge\chi^2_\alpha(k-1)
- F(x)含有未知参数 先求未知参数的极大似然估计 \hat{p}_i=\hat{p}(A_i) 选取统计量:
【
- 拒绝域:\chi^2\ge \chi^2_\alpha(k-r-1)
注意:
- 大样本,n\ge 50
- 要求各组理论频数np_i\ge5或n\hat{p}_i\ge 5
- 一般数据分成7到14组
存在问题:
- 分组不同,拟合的结果不同
- 需要有足够的样本容量
- 对连续型变量的优度拟合,\chi^2检验不是理想的方法
独立性检验(相关性检验)
H_0:X,Y 独立;\quad H_1:X,Y 不独立
选取统计量:
【近似】
拒绝域:\chi^2\ge \chi^2_\alpha((m-1)(k-1))
同时,还能通过独立性判断相关性。