机器学习day19概率图模型

概率图模型

概率图模型（Probabilistic Graphic Model），能够很好地挖掘潜在的内容。

概率图中的节点分为隐含节点和观测节点，边分为有向边和无向边。从概率论的角度，节点对应于随机变量，边对应于随机变量的依赖或相关关系，其中有向边表示单向的依赖，无向边表示互相依赖。

概率图模型分为贝叶斯网络（Bayesian Network）和马尔可夫网络（Markov Network）两大类。贝叶斯用有向图结构表示，马尔可夫网络用无向图的网络结构表示。

概率图模型包含朴素贝叶斯模型、最大熵模型、隐马尔可夫模型、条件随机场、主题模型等等。

贝叶斯联合概率分布

左边为贝叶斯网络，右边为马尔可夫网络

贝叶斯网路和马尔可夫网络

由图可见，在给定A的条件下，B和C是条件独立的，基于条件条件概率的定义可得

同理，在给定B和C的条件下，A和D是条件独立的，可得

上面两个式子可联合概率

马尔可夫联合概率分布

在马尔可夫网络中，联合概率分布的定义如下：

其中C为图中最大团所构成的集合，

为归一化因子，用来保证P(x)是被正确定义的概率，

是与团Q对应的势函数，势函数非负，并且应该在概率较大的变量上取得较大的值，例如指数函数

其中

对于图中所有节点

所构成的一个子集，如果这个子集中，任意两点之间都存在边相连，则这个自己的所有节点构成一个团。如果在这个子集中加入其他任意节点，都不能构成团，我们称这样的子集构成一个最大团。左边为贝叶斯网络，右边为马尔可夫网络

贝叶斯网路和马尔可夫网络

显然这里只有(A,B)、(A,C)、(B,D)、(C,D)构成团，且是最大团。联合概率密度可以表示为

如果使用上面的指数函数作为势函数，则有

得