统计学分两大学派:频率(Frequentist)学派和贝叶斯(Bayesian)学派。以p-value为代表的就是频率学派。p-value是一个条件概率,依赖于零假设,统计模型,试验设计,样本量,以及样本空间。贝叶斯学派则是结合试验数据的似然函数(Likelihood)与参数的某种先验分布(Prior)来获取参数的后验分布(Posterior),以下就是经典的贝叶斯公式:
但今天不是来讨论Frequentis和Bayesian的区别,而是聊一下跟贝叶斯有关的另一个话题。贝叶斯的优势在于能将一次试验数据分析所获取的后验分布作为下一次试验数据分析的的先验分布。还是举例方便说明:
第一步:准备一个模拟数据集test(列出前20条数据):
统计模型:
第二步:调用SAS的混合效应模型来估计方差:
结果如下:
第三步:将数据集test按factor A 分成若干部分,这里分成5部分:test1 - test5。然后对test1应用贝叶斯方法,指定一个noninformative的Jeffreys' prior:
获取后验分布(inverted gamma distribution):
以及相应的sample(共10000个,列出前10个):
对样本求mean 和 std:
跟mixed model的结果相比,Factor A的方差估计相差比较大。
第四步:将第三步获取的后验分布incorporate到对数据集test2的分析:
Posterior:
sample的mean和std:
跟第三步的结果相比,Factor A的方差显著减小,其variability也变小了。
第五步:重复第四步,直到test5。中间结果就不再展示了,直接给出最后结果,用动图呈现:
图中,对每个待估计的方差(cov1, cov2, cov3),分别有三条颜色较浅的直线代表来自mixed model的估计值和对应的标准误(+/-)。动图呈现的是贝叶斯方法的相应的估计值。可以看出经过5次贝叶斯分析,cov1,cov2,cov3的变异逐渐变小,最终跟mixed model的结果一致。
到这,今天这个例子所列举的就介绍完了。从中不能发现,贝叶斯方法每次分析都能借助以前分析所获取的信息,再结合新的数据,得到新的估计。例子中所呈现的就如同贝叶斯方法在不停的学习,不断的修正模型的参数,最终得到正确的估计。这跟贝叶斯机器学习有点沾边了。机器学习是人工智能的核心,除了贝叶斯方法,还有其他多种方法,说到这,要学的东西就太多了。
最后用一张比较有意思的图来结束今天的话题:
喜欢的小伙伴记得点赞哦
领取专属 10元无门槛券
私享最新 技术干货