机器学习初探（五）概率图模型专题（二）-条件独立

概率图模型及条件独立

时间：01月21日

分享人：秦毅 黄东宸

本次我们邀请了中科院物理所的秦毅同学和黄东宸同学，在朴素贝叶斯的基础上，秦毅同学基于概率图模型中的贝叶斯网络框架对条件独立性进行了探讨，并且阐述了概率图模型下机器学习过程的表达方式，黄东宸同学则为我们系统的讲解了贝叶斯多项式回归的原理。

概率图模型简介

什么是概率图模型？概率图模型是用图来表示变量概率依赖关系的理论，结合概率论与图论的知识，利用图来表示与模型有关的变量的联合概率分布。

概率图模型有什么用？

简而言之，就是图使得概率模型可视化了，这样就使得一些变量之间的关系能够很容易的从图中观测出来；同时有一些概率上的复杂的计算可以理解为图上的信息传递，这是我们就无需关注太多的复杂表达式了。最后一点是，图模型能够用来设计新的模型。所以多引入一数学工具是可以带来很多便利的，我想这就是数学的作用吧。

当然，我们也可以从另一个角度考虑其合理性。我们的目的是从获取到的量中得到我们要的信息，模型是相互之间约束关系的表示，而数据的处理过程中运用到了概率理论。而图恰恰将这两者之间联系起来了，起到了一个很好的表示作用。

概率图模型框架下的条件独立性

总而言之，言而总之，在概率图模型的框架下，A,B,C三个节点若发生一次关系(咳咳..)，当B节点给定且附近的箭头是头对尾，或者尾对尾，A,C两个节点一定是条件独立的；若果当B节点给定或者B节点的子节点给定，且附近的箭头是头对头的，A,C两个节点一定是条件独立的。

接下来，大家来依据这一准则来判断一下下面几种情况的条件独立性吧~

概率图框架下的贝叶斯多项式回归

通过训练集t求得w的过程其实就是训练模型的过程，在概率图模型的框架下我们可以解释为什么我们经常假设训练数据(tw)服从高斯分布，利用极大似然估计，我们要求后验概率p(wt)取最大值(可以理解为一旦模型确定，预测出t的概率应该最大)，此时如果假设p(tw)服从高斯分布，利用极大似然估计的一般处理手段，我们可以发现要求后验概率p(wt)取最大等效于最小二乘法，如果我们重新定义最小二乘法中的损失函数，倒推回去，我们就可以假设不一样的分布。要求后验概率p(wt)取最大事实上就等效于要求损失函数最小！

分享人：黄东宸

“这是我在JainMe的

第2次分享”

分享人：秦毅

“这是我在JainMe的

第1次分享”

误区

不在少数的微信小编在刚接触排版这项工作的时候都会以为“排版就是用模板排版”，导致排版出来的结果要么无法形成公众号的品牌特色；要么太过于为排版而排版，变成了一篇模板大杂烩。