玩转“检验力”与“效应量”计算

检验力与效应量

Power &Effect Size

本文作者是北师大心理学部大二本科生

统计检验力和效应量为什么越来越受到重视？

如何在文章里填上应有的检验力数据？

以下是一份检验力和效应量计算的操作指南。

——为什么需要报告检验力和效应量——

假设检验是为了在虚无假设H0和备择假设H1之间做出选择。但是，如果仅仅采用显著性水平指标α，则：

只能确定一类错误的大小，只知道方向性信息；关于各组间具体差异大小和犯二类错误的可能性却不知道；

在不显著的情况下，不知道是真的应该保留H0假设呢，还是因为犯了第二类错误而错误拒绝了H1假设；

如果实验统计检验力（β）低下，则重复实验很容易犯第二类错误（1-β），不能检验出效容易错误地保留H0。比如，如果二类错误率高达0.5，那么就有一半的概率检定不出应有的效应。

不利于进行元分析。

因此，确定效应量、确定统计检验力（犯二类错误的概率）是非常有必要的！

——概念介绍——

效应量（Effect size）：用以衡量自变量和因变量之间关联强度的指标，它是虚无假设H0错误的程度且几乎不受样本量大小的影响。当效应量过小时，自变量就是不重要的。

检验力（Power）：1-β，是正确拒绝虚无假设的概率，也是检验出一个真实存在的效应的概率。检验力会受到效应量大小，样本量，α的影响。效应量大，α大，样本量大，则检验力（1-β）也大。

——实操流程——

在具体实验时，改变样本量是改变检验力的最容易的方法。所以确定一个合适的样本量以保证检验力足够是心理学研究中很常用的。以下是实际实验中比较容易做到的。

一般进行先验检验力分析（prior power analysis）：根据实验预期的效应量和β，α；得出合适的样本量。效应量一般根据前人的研究或者理论或者直接设定一个small-to-medium效应。可以使用相应的统计软件完成计算（见文末介绍的G*power）；

之后是进行假设检验，看是否显著；

如果显著，则报告效应量；

如果不显著，则报告效应量并进行后验检验力分析（post-hoc power analysis）。post-hoc power analysis是在试验后根据样本量，效应量，α来得到检验力大小的过程；

如果检验力不足，则需要增加被试量。直到高检验力、小效应的情况下才能保留虚无假设。

——HLM中效应量的计算——

最为常见的效应量计算会出现在方差分析和t检验以及回归分析中，SPSS会输出Eta方和Cohen’s d值以及R方。在此不做介绍。

这里仅仅以HLM中最简单形式的调节效应检验为例，对交互项的效应量的计算略做介绍。

第一步：

level-1：因变量=β0j+β1j（自变量）+rij

level-2：β0j=γ00+γ01（调节变量）+U0j

β1j=γ10+U1j

记录下U1对应的Variance Component(在表格Final estimation of variance components中)，记为τ1

第二步：

level-1：因变量=β0j+β1j（自变量）+rij

level-2：β0j=γ00+γ01（调节变量）+U0j

β1j=γ10+γ11（调节变量）+U1j

记录下U1对应的Variance Component(在表格Final estimation of variance components中)，记为τ2

效应量R方=（τ1-τ2）/τ1

——G*power确定统计检验力——

G*power是一款简单的，用以确定统计检验力的软件。只需要输入所需的值即可。毕竟在样本量，效应量，α，检验力这四者之间是可以知三求二的。

下面只就多元线性回归中调节效应的先验，后验检验力分析来介绍G*power

选择F检验，R方增长的多元线性回归模型，prior。

输入效应量f方：0.09（可能是前人的结果），之后确定你需要的power和选定的显著性水平，之后，tested predictors的数量是多元线性回归第二层输入的变量数量，这里只有一个，应该是交互项。

Predictors的总数则需要加上第一层中的变量数。

按calculate ，得出所需的sample size：147

说明，在实验的效应量只有0.09的情况下，如果要达到0.95的power，需要147个被试。

注：多元线性回归中的效应量f方可以根据R方计算出来。

在post-hoc power analysis中，则需要你输入你的样本量，显著性水平和效应量来得到power。

效应量可以直接输入，也可以通过determine按钮计算（见下图）。

在多元线性回归中，可以通过From variances 和Direct 两种方法来计算效应量。Variance explained by special effect ：模型2的R方减去模型1的R方；Residual variance：1减去模型2的R方。

其余类别的检验力分析也于此类似。