前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
MCP广场
社区首页 >专栏 >个推漫话数据智能 | 《天才基本法》中的贝叶斯网络及原理解读

个推漫话数据智能 | 《天才基本法》中的贝叶斯网络及原理解读

原创
作者头像
个推
发布于 2022-08-16 12:25:39
发布于 2022-08-16 12:25:39
7670
举报
文章被收录于专栏:个推技术实践个推技术实践

最近的热播剧《天才基本法》中,提到了很多有趣的数学知识点,比如“亲和数”“巴什博奕”“孔明棋”“七桥问题”等等,让很多观众直呼不明觉厉。其中,最让Mr.Tech感兴趣的是剧中男女主参加数学建模大赛时用到的贝叶斯网络。

▲女主使用贝叶斯网络进行算法建模,来预测嫌犯行动轨迹和抓捕时间方位。图片截图自电视剧《天才基本法》

贝叶斯网络是一种分类算法,被广泛地应用于医疗诊断、风控等业务场景中,并发挥着重要作用。关于“贝叶斯网络”,你了解多少?今天个推就和大家一起走进机器学习领域,共同学习这个神奇的算法模型。

一、走进贝叶斯网络

生活中,人们往往会从最终的结果反向推测其原因,从而更好地做风险规避,或提前创造充分条件以达成预期目标。不过事物之间的联系往往错综复杂,我们如何抽丝剥茧,清晰分析出事件和事件之间的相互依赖关系?是否有可能通过数学的方式来计算和衡量其中的因果作用,帮助我们追溯甚至预测事物的走向?

贝叶斯网络就是当下数据科学家和算法工程师用来解决此类问题的一种有效方式。

贝叶斯网络(bayesian network)是描述随机变量(事件)之间关系的模型。例如,贝叶斯网络可以表示疾病和症状之间的概率关系。根据症状,该网络可以计算各种疾病存在的概率。

贝叶斯网络用有向无环图(Directed Acyclic Graph,DAG)表示,其中每个节点代表一个随机变量,节点间的联系用有向箭头表示,箭头从“因节点”指向“被影响节点”,用条件概率表达关系强度。

现实中,医生的诊断过程和贝叶斯网络的推理机制高度一致。如上图,如果患者咳嗽非常严重,甚至出现气急、呼吸不畅等症状,医生结合雾霾天气、患者的吸烟史等情况,初步判断患者可能得了肺炎。接下来医生会要求患者拍肺部的X光片,根据患者的X光片表现,做出更加科学的诊断结论。

目前,很多医疗辅助系统正是基于贝叶斯网络,将过往的医学诊断经验很好地沉淀下来,实现智能诊断,帮助医生大幅提升诊断效率。

接下来,我们再深入了解更深层次的问题:贝叶斯网络如何量化和计算事件之间的因果/条件依赖关系?

在上述案例中,雾霾、吸烟、过敏、病菌感染等都是导致患者得肺炎的风险因子。那么哪一个风险因子的影响作用最大?这就需要我们理解贝叶斯网络的底层数学思想——贝叶斯定理

二、贝叶斯网络与贝叶斯定理

贝叶斯定理由英国著名数学家托马斯·贝叶斯提出,它是关于条件概率的定理,公式如下:

根据高中的概率论知识来理解贝叶斯公式:

  • P(A), P(B) 表示事件 A 和事件 B 的独立发生概率。
  • P(A|B) 是个条件概率,表示当事件 B 发生的情况下,事件A发生的概率。
  • P(B|A) 也是个条件概率,表示当事件 A 发生的情况下,事件B发生的概率。

贝叶斯定理中有先验概率和后验概率之分。

先验概率:指根据以往经验和统计分析得到的概率。是在“结果”发生之前的概率,比如公式中的P(A)就是先验概率。先验概率一般作为“由因求果”问题中的“因”出现。

后验概率:是根据观察到的样本修正之后的概率值。指在结果发生之后,我们根据“结果”来计算和分析最有可能导致该结果的原因,即“执果寻因”中的“因”。公式中的P(A|B)就是后验概率。

接下来,我们将刚才提到的医疗诊断实例简化,来进一步理解贝叶斯定理。

假设(先验概率均为假设数据):

患者病菌感染的概率P(V ) = 5%

患者感冒的概率P(C ) = 30%

患者因为病菌感染而感冒的概率P(C|V) = 40%

那么

根据贝叶斯定理,感冒患者被病菌感染的后验概率P(V|C) = P(C|V)*P(V) / P(C) = 40%*5% / 30% ≈66.67%

再复杂一些。

假设(先验概率均为假设数据):

患者发热的概率P(F) = 6%

患者因为感冒而发热的概率P(F|C) = 60%

那么:

患者因为病菌感染而发热的概率P(F|V) = P(C|V) * P(F|C) = 24%

那么:

根据贝叶斯定理,发热患者被病菌感染的后验概率P(V|F) = P(F|V)*P(V) / P(F) = 24%*5% / 6% =20%

如上,贝叶斯网络其实就是基于贝叶斯定理对事物之间因果关系以及依赖关系进行量化,并使得因果或依赖关系的强弱可以被推理和计算

在解决实际业务问题时,算法工程师们往往会通过对历史数据进行统计得到先验概率,然后使用贝叶斯网络进行推理,实现对机器故障原因、患者病因等的智能分析,以及对机器设备故障概率、患者患病风险等的预测。

只不过,在实际的机器学习过程中,算法工程师们需要计算的数据量非常庞大,所构建的贝叶斯网络更为复杂。

贝叶斯定理与人类大脑的推理过程非常相似,作为人工智能领域学习和推理的重要分支,贝叶斯定理一直备受关注。而以贝叶斯定理为基础的贝叶斯网络由Judea Pearl于1986年提出,是近年来机器学习领域的研究热点。2011年,Judea Pearl还凭借在人工智能以及贝叶斯网络方面的贡献,获得了“计算机界的诺贝尔奖”——图灵奖。

当前,算法工程师们对贝叶斯网络的研究侧重在结构学习方面,希望能够构建起更加客观、可靠的网络模型,更好地发挥出贝叶斯网络在不确定性推理方面的优势。

结语:

《天才基本法》中,女主成功应用贝叶斯网络和贝叶斯定理解决了疑犯轨迹预测和追踪的问题。而在现实世界,人们对大数据和AI技术的应用更加深入,不断探索使用数据智能技术解决各种不确定问题,比如基于丰富、实时的数据构建动态贝叶斯网络,帮助相关部门预测公共突发事件的影响,支撑应急管理等等。

作为一家数据智能企业,个推也一直走在技术创新的前沿。通过对海量数据进行深度治理和挖掘,个推将数据加工为信息和知识,解读出数据的人文涵义,从而更好地服务行业客户和政府相关部门,助力科学决策。

原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。

如有侵权,请联系 cloudcommunity@tencent.com 删除。

原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。

如有侵权,请联系 cloudcommunity@tencent.com 删除。

评论
登录后参与评论
暂无评论
推荐阅读
编辑精选文章
换一批
数据挖掘算法之深入朴素贝叶斯分类
写在前面的话:   我现在大四,毕业设计是做一个基于大数据的用户画像研究分析。所以开始学习数据挖掘的相关技术。这是我学习的一个新技术领域,学习难度比我以往学过的所有技术都难。虽然现在在一家公司实习,但是工作还是挺忙的,经常要加班,无论工作多忙,还是决定要写一个专栏,这个专栏就写一些数据挖掘算法、数据结构、算法设计和分析的相关文章。通过写博文来督促自己不断学习。以前对于数学没有多大的兴趣爱好,从小到大,学数学也是为了考试能考个好的成绩,学过的很多数学知识,并没有深刻的感受到它的用途,不用也就慢慢遗忘,但自从我
汤高
2018/03/28
9680
数据挖掘算法之深入朴素贝叶斯分类
《搞懂朴素贝叶斯:先验概率与后验概率的深度剖析》
在人工智能与机器学习领域,朴素贝叶斯算法凭借其简洁高效的特性,在文本分类、垃圾邮件过滤、情感分析等诸多场景中广泛应用。而想要深入理解朴素贝叶斯算法,掌握其中先验概率和后验概率的含义及计算方法是关键。今天,我们就一起深入探讨这两个重要概念。
程序员阿伟
2025/02/03
1630
什么是贝叶斯定理?朴素贝叶斯有多“朴素”?终于有人讲明白了
导读:如果有一天,我们知道的统计规律和现实生活发生了冲突,又或者前人的经验不符合亲身经历,那么该怎么办?面对经验与现实的矛盾,我们需要一种应对方案。
IT阅读排行榜
2022/01/20
1.9K1
什么是贝叶斯定理?朴素贝叶斯有多“朴素”?终于有人讲明白了
算法——贝叶斯
简介 学过概率理论的人都知道条件概率的公式:P(AB)=P(A)P(B|A)=P(B)P(A|B);即事件A和事件B同时发生的概率等于在发生A的条件下B发生的概率乘以A的概率。由条件概率公式推导出贝叶斯公式:P(B|A)=P(A|B)P(B)/P(A);即,已知P(A|B),P(A)和P(B)可以计算出P(B|A)。 假设B是由相互独立的事件组成的概率空间{B1,b2,...bn}。则P(A)可以用全概率公式展开:P(A)=P (A|B1)P(B1)+P(A|B2)P(B2)+..P(A|Bn)P(Bn)。
cloudskyme
2018/03/20
1.2K0
算法——贝叶斯
机器学习的统计方法 贝叶斯决策理论入门
无论你是在建立机器学习模型还是在日常生活中做决定,我们总是选择风险最小的方案。作为人类,我们天生就采取任何有助于我们生存的行动;然而,机器学习模型最初并不是基于这种理解而建立的。这些算法需要经过训练和优化,以选择风险最小的最优方案。此外,很重要的一点在于,我们必须明白,如果某些高风险的决定做的不正确,将会导致严重的后果。
deephub
2020/05/09
7480
机器学习的统计方法 贝叶斯决策理论入门
【机器学习】解构概率,重构世界:贝叶斯定理与智能世界的暗语
在机器学习的世界中,概率论不仅是数学的一个分支,更是理解数据分布、评估模型性能和进行决策的基石。前两篇博客中,我们分别介绍了线性代数入门和概率论入门,为大家奠定了坚实的数学基础。今天,我们将深入探讨条件概率与贝叶斯定理,这些概念在实际应用中至关重要,特别是在分类、预测和决策模型中。
半截诗
2025/01/09
1720
【机器学习】解构概率,重构世界:贝叶斯定理与智能世界的暗语
Nature子刊:用「反事实推断」帮模型识别罕见病,跻身专家水平,Judea Pearl力荐
近年来,人工智能和机器学习成为解决不同领域复杂问题的强大工具。在医疗诊断方面,机器学习辅助诊断有望通过大量病人数据提供精确、个性化的诊断,从而革新临床决策和诊断。
机器之心
2020/08/28
1.4K0
Nature子刊:用「反事实推断」帮模型识别罕见病,跻身专家水平,Judea Pearl力荐
【续】分类算法之贝叶斯网络(Bayesian networks)
在上一篇文章中我们讨论了朴素贝叶斯分类。朴素贝叶斯分类有一个限制条件,就是特征属性必须有条件独立或基本独立(实际上在现实应用中几乎不可能做到完全独立)。当这个条件成立时,朴素贝叶斯分类法的准确率是最高的,但不幸的是,现实中各个特征属性间往往并不条件独立,而是具有较强的相关性,这样就限制了朴素贝叶斯分类的能力。这一篇文章中,我们接着上一篇文章的例子,讨论贝叶斯分类中更高级、应用范围更广的一种算法——贝叶斯网络(又称贝叶斯信念网络或信念网络)。 重新考虑上一篇的例子 上一篇文章我们使用朴素贝叶斯分类实现了
机器学习AI算法工程
2018/03/12
1.9K0
【续】分类算法之贝叶斯网络(Bayesian networks)
实例详解贝叶斯推理的原理
推理是一种精确的数据预测方式。在数据没有期望的那么多,但却想毫无遗漏地,全面地获取预测信息时非常有用。
用户7886150
2021/01/29
9570
算法金 | AI 基石,无处不在的朴素贝叶斯算法
但在 20 世纪,这一理论被重新发现并广泛应用于各个领域,如机器学习、医学诊断和金融分析等
算法金
2024/06/10
1940
算法金 | AI 基石,无处不在的朴素贝叶斯算法
深入浅出经典贝叶斯统计
当结果是一个不确定但可重复的过程的结果时,概率总是可以通过简单地观察多次过程的重复并计算每个事件发生的频率来衡量。这些频率概率可以很好地陈述客观现实。如
数据STUDIO
2021/11/10
1.2K0
全栈必备 贝叶斯方法
对一个全栈老码农而言,经常在开发或者研发管理的时候遇到各种预测、决策、推断、分类、检测、排序等诸多问题。面对“你的代码还有bug么?”这样的挑战,一种理智的回答是,我们已经执行了若干测试用例,当前代码中存在bug的可能性是百分之零点几。也就是说,我们对当前程序中没有bug的信心是百分之九十九点几。这实际上就是一直贝叶斯思维,或者说使用了贝叶斯方法。不论我们看到,还是没有看到,贝叶斯方法都在那里,熠熠生辉。
半吊子全栈工匠
2018/08/22
5290
全栈必备 贝叶斯方法
【机器学习基础】分类算法之贝叶斯网络
一个贝叶斯网络定义包括一个有向无环图(DAG)和一个条件概率表集合。DAG中每一个节点表示一个随机变量,可以是可直接观测变量或隐藏变量,而有向边表示随机变量间的条件依赖;条件概率表中的每一个元素对应DAG中唯一的节点,存储此节点对于其所有直接前驱节点的联合条件概率。
Ai学习的老章
2021/10/11
1.1K0
估计和贝叶斯定理 Estimation Bayes Rule
高斯分布的概率密度函数(PDF):观测数据x ,均值\mu ,方差\sigma^2
esse LL
2024/08/09
1510
贝叶斯网络,看完这篇我终于理解了(附代码)!
概率图模型是用图来表示变量概率依赖关系的理论,结合概率论与图论的知识,利用图来表示与模型有关的变量的联合概率分布。由图灵奖获得者Pearl开发出来。
mantch
2019/07/30
4.7K0
贝叶斯网络,看完这篇我终于理解了(附代码)!
数据挖掘算法之贝叶斯网络
贝叶斯网络 序 上上周末写完上篇朴素贝叶斯分类后,连着上了七天班,而且有四天都是晚上九点下班,一直没有多少时间学习贝叶斯网络,所以更新慢了点,利用清明节两天假期,花了大概七八个小时,写了这篇博客,下面讲的例子有一个是上一篇朴素贝叶斯讲过的,还有其他的都是出自贝叶斯网络引论中。我会以通俗易懂的方式写出来,不会讲得很复杂,会介绍贝叶斯网络的绝大部分知识点,看完会让你对于贝叶斯网络有个大概的了解。但是对于比较深层次的东西,我先不打算写。比如训练贝叶斯网络,因为涉及到比较加深入的数学知识,我自己暂时也不是理解得很透
汤高
2018/03/28
3.7K0
数据挖掘算法之贝叶斯网络
数据挖掘面试题之:朴素贝叶斯
关于作者:DD-Kylin,一名喜欢编程与机器学习的统计学学生,勤学好问,乐于钻研,期待跟大家多多探讨机器学习的相关内容~
木东居士
2019/07/30
3.1K0
专题|Python贝叶斯网络BN动态推理因果建模:MLE/Bayes、有向无环图DAG可视化分析呼吸疾病、汽车效能数据2实例合集
作为数据科学家,我们始终在探索能够有效处理复杂系统不确定性的建模工具。本专题合集系统性地解构了贝叶斯网络(BN)这一概率图模型在当代数据分析中的创新应用,通过开源工具bnlearn构建了从理论到实践的完整方法论体系。专题涵盖结构学习(Structure Learning)的评分搜索法(hc-BIC)、约束检验法(cs-χ²),参数学习(Parameter Learning)的MLE与Bayes估计,以及动态推理引擎的工程实现,为数据驱动决策提供了新的范式。
拓端
2025/03/24
5850
专题|Python贝叶斯网络BN动态推理因果建模:MLE/Bayes、有向无环图DAG可视化分析呼吸疾病、汽车效能数据2实例合集
贝叶斯网络的因果关系检测(Python)
虽然机器学习技术可以实现良好的性能,但提取与目标变量的因果关系并不直观。换句话说,就是:哪些变量对目标变量有直接的因果影响?
算法进阶
2023/09/21
1.8K0
贝叶斯网络的因果关系检测(Python)
《从贝叶斯定理到朴素贝叶斯算法:解锁概率推理的奥秘》
在机器学习的奇妙世界里,贝叶斯定理和朴素贝叶斯算法是两颗璀璨的明珠,它们为我们理解和处理数据中的不确定性提供了强大的工具。今天,让我们一起深入探索贝叶斯定理与朴素贝叶斯算法之间千丝万缕的联系。
程序员阿伟
2025/02/02
960
《从贝叶斯定理到朴素贝叶斯算法:解锁概率推理的奥秘》
推荐阅读
相关推荐
数据挖掘算法之深入朴素贝叶斯分类
更多 >
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档