本文由Google的研究科学家Jasper Snoek和Google的研究工程师Zachary Nado发布于GoogleAI博客,atyun编译。
在理想情况下,机器学习方法(如深度学习)被用来对与训练数据分布相同的数据进行预测。但实际情况可能大不相同:相机镜头变得模糊,传感器退化等问题,都可能导致训练模型与应用模型数据分布之间的差异,从而导致所谓的协变量偏移。例如,最近有人观察到,接受过胸部 x 光检查肺炎训练的深度学习模型,在根据以前没遇到过的医院数据进行评估时,其精确度水平将大不相同,部分原因是图像采集和处理方面的细微差异。
代码和预训练模型: https://github.com/akhtarvision/cal-detr
本文首发于 【集智书童】,白名单账号转载请自觉植入本公众号名片并注明来源,非白名单账号请先申请权限,违者必究。
DeepAction八期飞跃计划还剩9个名额,联系小编,获取你的专属算法工程师学习计划(联系小编SIGAI_NO1)
今天给大家介绍一篇由Google Research机构的Kehang Han、Balaji Lakshminarayanan、Jeremiah Liu共同发表的文章:《Reliable Graph Neural Networks for Drug Discovery Under Distributional Shift》。在分布偏移下对过度自信的错误预测的关注,要求我们对用于药物发现中的关键任务的图神经网络进行广泛的可靠性研究。该文章首先介绍了CardioTox,,一个真实世界的药物心脏毒性基准,以促进这方面的努力。作者的一个探索性研究表明,过于自信的错误预测往往与训练数据相距甚远。这进而引导作者开发了距离感知的GNNs: GNN-SNGP。通过对 CardioTox 和三个既定基准的评估,他们证明了 GNN-SNGP 在增加距离感知、减少过度自信的错误预测和在不牺牲精确性能的情况下做出更好的校准预测方面的有效性。作者的消融研究进一步揭示了由GNN-SNGP 学习的表征改进了其基本结构上的距离保存,并且是改进的主因之一。
在科学研究中,从方法论上来讲,都应“先见森林,再见树木”。当前,人工智能学术研究方兴未艾,技术迅猛发展,可谓万木争荣,日新月异。对于AI从业者来说,在广袤的知识森林中,系统梳理脉络,才能更好地把握趋势。为此,我们精选国内外优秀的综述文章,开辟“综述专栏”,敬请关注。
雷锋网 AI 科技评论按:本文作者是来自 Taboola 的数据科学家 Inbar Naor,她的研究领域是探索深度学习在推荐系统中的应用,在本文作者介绍了数据科学中模型不确定性的问题,并探索了如何利用不确定性来调试模型。雷锋网 AI 科技评论根据原文进行了编译。
随着深度神经网络(DNN)变得越来越强大,它们的复杂性也会增加。这种复杂性带来了新的挑战,包括模型的可解释性。
本文作者是来自 Taboola 的数据科学家 Inbar Naor,她的研究领域是探索深度学习在推荐系统中的应用,在本文作者介绍了数据科学中模型不确定性的问题,并探索了如何利用不确定性来调试模型。AI 研习社根据原文进行了编译。
机器学习已广泛应用于一系列任务。但是,在某些高风险应用中,例如自动驾驶,医疗诊断和财务预测,错误可能导致致命的后果或重大的财务损失。在这些应用中,重要的是要检测系统何时犯错并采取更安全的措施。此外,还希望收集这些“故障场景”,对其进行标记,并教系统通过主动学习做出正确的预测。
Neighborhood Spatial Aggregation based Efficient Uncertainty Estimation for Point Cloud Semantic Segmentation (2021-ICRA)
大千世界,并非一切事物都可以进行精确的计算,都可以用是非来衡量那么简单。19 实际爱因斯坦与波尔的辩论的结局就是:上帝他老人家也是个赌徒,我们所处的客观世界充满着不确定。因此,发展一套研究不确定性的理论迫在眉睫。好在我们已经有了。
雷锋网 AI 科技评论按:「熵」大概是统计学、信息学里最让初学者愁肠百结的基本概念之一。我们都知道熵可以用来描述含有的信息丰富程度的多少,但是具体是怎么回事呢?这篇文章中雷锋网 AI 科技评论将带大家重新系统认识一下「熵」倒是在讲什么。
2022年8月19日,中科院上海药物所郑明月等人在iScience杂志发表文章Uncertainty quantification: Can we trust artificial intelligence in drug discovery,总结了AI药物发现中不确定性量化问题的最新研究方法以及代表性应用。
雷锋网 AI 科技评论按:「熵」大概是统计学、信息学里最让初学者愁肠百结的基本概念之一。我们都知道熵可以用来描述含有的信息丰富程度的多少,但是具体是怎么回事呢?这篇文章中 AI 科技评论将带大家重新系统认识一下「熵」倒是在讲什么。
今天给大家介绍麻省理工大学的Bonnie Berger教授课题组的一篇文章 “Learning with uncertainty for biological discovery and design”。作者通过对预训练特征使用基于高斯过程的不确定性预测,解决了用于产生生物学假设的机器学习方法在探索超出训练数据分布的范围时容易失败的问题。此外,作者展示了不确定性如何促进计算和实验之间的紧密迭代循环,如何改善新型生化结构的生成设计,并概括了不同的生物学领域。
首先,我们需要认识到的是,面对未知并不意味着无助。相反,它提醒我们有机会去学习、探索新的知识和技能,去挑战自己的舒适区。不确定性之所以令人不安,是因为它突破了我们对于世界的认知框架,使我们感觉失去了控制。因此,对未来的不确定性感到恐惧,实际上是一种对未知的自然反应,它存在于每个人的生活和职业中。
假设您的模型是驾驶一辆汽车,帮助一位医生,甚至只是直接与一个(可能很容易被惹恼的)终端用户交互。在这些情况下,您需要确保在对模型做出的预测采取行动之前,您能够对这些预测充满信心。
就连号称模型更安全、幻觉更少的Claude系列,在Reddit上也能看到不少吐槽。
“问渠那得清如许,为有源头活水来”,通过前沿领域知识的学习,从其他研究领域得到启发,对研究问题的本质有更清晰的认识和理解,是自我提高的不竭源泉。为此,我们特别精选论文阅读笔记,开辟“源头活水”专栏,帮助你广泛而深入的阅读科研文献,敬请关注。
https://github.com/lilihongjava/prophet_demo/tree/master/uncertainty_intervals
Meta 近日宣布发布 Bean Machine,这是一种概率编程系统,表面上可以更轻松地表示和了解 AI 模型中的不确定性。
深度学习取得了很大的成功,但是在可解释,可信任等方面还很不足。模型包含对自我推理结果的置信度很重要,模型需要对自我不确定性推理结果进行告知。如果模型可以知道自己不知道,那模型就是有了最基本的意识,模型可以给出推理结果及对结果的置信度。通过不确定性推理可以达到这一点
2. 在 pre-CTS 的时序约束中,setup 和 hold 的 clock uncertainty 分别由什么组成。
在进行时间序列预测任务时,我们通常会开发产生未来观测点的点估计的解决方案。这是正确的,如果经过适当验证,它们可能对业务结果产生积极影响。有没有可能做得更好?通过简单添加更多信息,我们能够提供更详细的预测吗?
**论文: Gaussian YOLOv3: An Accurate and Fast Object Detector Using Localization
本文介绍了一篇关于多任务学习的综述,详细介绍了文章中关于多任务学习的两个主要研究方向:task balancing和其他。
版权声明:本文为作者原创,如需转载请通知本人,并标明出处和作者。擅自转载的,保留追究其侵权的权利。golang群:570992072。qq 29185807 个人公众号:月牙寂道长 公众号微信号yueyajidaozhang https://blog.csdn.net/screscent/article/details/84998056
这篇论文主要还是在于深度估计这块,深度估计由于硬件设备的不同是有很多方法的,双目,RGBD,激光雷达,单目,其中最难大概就是单目了。在该论文中作者利用BA导出的信息矩阵来估计深度和深度的不确定性,利用深度的不确定性对3D体积重建进行加权三维重建,在精度和实时性方面都得到了不错的结果,值得关注。
来源 | medium 编译 | KK4SBB 深度学习可以应用在哪些场合呢?这是大家在理解深度学习和其它人工智能技术时首先想到的问题。我们往往陷入一个误区,认为“人工智能”可以搞定一切。 若要回答这个问题,首先要知道另一个问题的答案,“我们手中是否已经有足够的数据”?然而,这个问题也需要足够的领域知识才能作答。在学术意义上,我们想理解“边界条件”;或者换句话说,我们想理解问题的内在约束条件。那么,深度学习和人工智能问题的“边界条件”究竟是什么呢? 早些时候,笔者讨论过“什么是可知的”和“什么是知识的当前
临床诊断中,不仅包括常见的疾病类型,往往还会描述相应严重程度和不确定性,目前的医学图像数据库往往满足于预测疾病类型,而忽视了具有重大临床意义的后者。
版权声明:本文为博主-姜兴琪原创文章,未经博主允许不得转载。
区块链将大大改变经济生活,区块链研究者Bettina Warburg论述了通过区块链将形成更加分散、透明、自主的交易系统。
这篇文章的主要目的是为了揭开主动学习的神秘面纱,以及将展示它与传统监督学习的不同之处。
项目地址:https://github.com/qhFang/AccurateACL.
卡阿尔曼滤波器为每个结果状态找到最佳的平均因子。另外,以某种方式保存过去的状态。它针对每个时间范围对变量执行联合概率分布。该算法对每个步骤使用新的均值和新方差,以便计算结果的不确定性,并尝试为测量更新(传感/预测)和运动更新(运动)的每个时间范围提供准确的测量。该算法还使用其他误差和统计噪声来表示初始的不确定性。
讲思维的革命,我们知道,大数据是一种全新的思维方式,按照大数据的思维方式,我们做事情的方式也有不同。首先,大数据的思维方式是什么样的呢?在无法确定因果关系时,数据为我们提供了解决问题的新方法。数据中包含的信息帮助我们消除不确定性,而数据之间的相关性在某种程度上可以取代原来的因果关系,帮助我们得到我们想知道的答案,这就是大数据思维的核心。
收到某消息获得的信息量=不确定性的减少量=(收到该消息前关于某事件发生的不确定性)-(收到此消息后关于某事件发生的不确定性)
来源丨https://zhuanlan.zhihu.com/p/234834189
代码:https://github.com/url-kaist/outlier-robust-radar-odometry.git
今天为大家介绍的是来自Fabian J. Theis & Nir Yosef团队的一篇论文。当前估算 RNA 流速的方法缺乏有效的策略来量化不确定性并确定其对感兴趣系统的整体适用性。在这里,作者介绍了 veloVI(velocity variational inference),这是一个用于估算 RNA 流速的深度生成模型框架。veloVI 学习了基因特异性的 RNA 代谢动态模型,并提供了转录组范围内的流速不确定性量化。
在机器学习(Machine learning)领域,监督学习(Supervised learning)、非监督学习(Unsupervised learning)以及半监督学习(Semi-supervised learning)是三类研究比较多,应用比较广的学习技术,wiki上对这三种学习的简单描述如下:
自动驾驶系统是指一种可在部分或完全脱离人类驾驶员的情况下实现车辆安全行驶的自主系统,主要包括环境感知、路径规划、行为决策、导航控制等主要技术模块[1]。车辆使用多种车载传感器获取车辆自身状态和所处环境信息,并基于传感器技术、信号处理技术、通讯技术、自动控制技术、计算机技术、人工智能技术等多领域技术对数据做出分析和判断,最终依据环境和自身意图完成类人的自主决策控制。
三院院士 Michael I. Jordan 指出:大模型在两个方向仍需 “努力“
贝叶斯推断是概率论和统计学机器学习中的重要组成部分。 它是基于由著名统计学家托马斯贝叶斯给出的贝叶斯定理。 在贝叶斯推断中,随着更多证据或信息的出现,假设概率得到更新。
在变革型领导(https://www.leadershipthoughts.com/transformational-leadership-guide-models-theories/)中,我们了解到变革型领导的一个特点是处理复杂性、模糊性和不确定性。
无论是医疗诊断还是自动驾驶,在许多关乎人类安全与健康的重要领域,神经网络逐渐开始发挥作用。
领取专属 10元无门槛券
手把手带您无忧上云