2.6 共轭先验分布

《变分推断技术》读书笔记

原文地址：

https://yuedu.baidu.com/ebook/d0b441a8ccbff121dd36839a

笔记要点：

贝叶斯公式

贝叶斯估计

共轭先验

笔记正文：

1，贝叶斯公式

要理解共轭的概念，就需要先回忆起贝叶斯公式，只要明白了贝叶斯公式中先验和后验的关系，看书就比较好理解了。

上图贝叶斯公式的分母是P(A)的概率，这里用全概率公式表示。下图描述的是P（B）的全概率，我从网上找的图。

2，贝叶斯估计

贝叶斯估计是贝叶斯学派用来做参数估计的一种方法。类似前面提到的极大似然估计法。

参考资料1：贝叶斯估计在陈希孺《概率论与数理统计》4.2.4 P167中进行了详细讲解。

我还是把教材贴出来吧，看到这段材料后也解了我长久以来许多疑惑。注意f（X,θ），f是概率密度函数，θ参数确定后，f（X,θ）其实表达的是一个条件概率密度P(X|θ)。所以公式（2.11）其实就是贝叶斯公式。

3，共轭先验

有了上面的前置数学知识，再来看书中的公式。

第一次看的时候，百思不得其解。我知道根据贝叶斯公式，分母是全概率。全概率在θ参数的所有可能取值上进行划分（离散情况）。但这里对p(x|θ)p（θ）进行了积分，求积分相当于计算面积，概率再乘以一个dθ分量。得到的这是什么鬼？

我从陈希孺老师的书中找到了答案，在之前的笔记也提到过。从上文贝叶斯估计公式（2.10）可以看出，积分里面的p(x|θ)p（θ）不是概率，而是概率密度。如此则得以解释得通了。描述连续随机变量的总体分布，没有特殊说明时，一般认为是概率密度函数。

剩下的，请直接看书上原文吧，这一节已经没有任何难点。