Loading [MathJax]/jax/output/CommonHTML/config.js
前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
MCP广场
社区首页 >专栏 >可解释图神经网络:5个GNN解释方法

可解释图神经网络:5个GNN解释方法

作者头像
deephub
发布于 2021-07-01 03:07:39
发布于 2021-07-01 03:07:39
1.7K0
举报
文章被收录于专栏:DeepHub IMBADeepHub IMBA

可解释人工智能又向前迈进了一步,以及为什么现有的解释方法难以适用于gnn

可解释性是深度学习中的一个大课题,因为它可以实现更可靠和可信的预测。

由于图结构的不规则性,现有的解释方法难以适用于图神经网络。

Explainability增加可靠性

最近,人工智能中的可解释性引起了人们的广泛关注,其主要动机在于通过深度神经网络等“黑盒子”模型产生更可靠和可信的预测。LIME论文[2]中给出的一个很好的例子是,您会信任您的医生,因为他/她能够根据您的症状解释诊断。类似地,如果能够以人类可理解的方式解释或证明预测,由深度模型生成的预测就更可靠和可信。

相关的帖子

在过去的一个月里,TDS上出现了一些关于可解释AI的帖子。他们中的一些人提供了一些实际的例子来帮助你开始解释AI。如果你想了解更多关于可解释性人工智能的知识,这里列出了几篇文章。

Gianluca Malato的《How to explain neural networks using SHAPE[3]》提供了一个使用SHAPE来解释神经网络的例子,该神经网络被训练来预测给定33个特征的糖尿病概率。然后将解释可视化,以理解每个特性如何对预测结果作出贡献。

可解释的AI (XAI) - Prateek Bhatnagar的《用Python中的7个包来解释你的模型[4]指南》提供了一个概述和一些用于解释深度模型的优秀工具包的实际示例,以帮助你入门。

Javier Marin的可解释深度神经网络[5]提出了一种新的方法来可视化深度神经网络中的隐藏层,从而通过拓扑数据分析了解整个网络中的数据是如何转换的。

为什么很难用现有的方法来解释GNN?

传统的解释方法在卷积神经网络(CNN)上很有效。下面的示例显示了对输入图像(a)的三个顶级预测类标签的LIME解释。我们可以清楚地看到导致相应预测的部分与类标签匹配。例如,吉他颈对预测“电吉他”(b)贡献最大。

然而,当涉及到图神经网络(GNN)时,事情就变得有点棘手了。与cnn所操作的高度规则网格不同,图结构的不规则性带来了许多挑战。例如,我们可以很容易地解释上述CNN模型的解释,但是对于一个图来说,类似的节点级解释就不容易形象化和解释。

在下一节中,我们将通过最近关于gnn[1]可解释性的综述来了解每一组方法的主要思想。

GNN解释方法概述

基于梯度/特征的方法:使用梯度或隐藏特征作为输入重要性的近似值,通过反向传播来解释预测。

基于扰动(Perturbation )的方法:输出对输入扰动的变化反映了输入区域的重要性。或者换句话说,需要保留哪些节点/边/特征,以便最终的预测不会与最初的GNN模型偏离太多。

代理(Surrogate )方法:训练一个使用输入节点的邻近区域更易于解释的代理模型。

分解方法:将预测分解为几个项,每个项作为相应输入特征的重要度得分。

生成方法:学习根据待解释的GNN模型生成获得最佳预测分数的图。

什么是GNN最好的解释方法?

当谈到方法评估时,有很多事情需要考虑。[1]中的作者建议了两个指标来确保以下属性。

  • 保真度:可解释的模型应该与被解释的原始GNN有一致的预测。
  • 稀疏性:只有一小部分节点/边缘/特征被用作解释。
  • 稳定性:输入的微小变化不应过多影响解释。
  • 准确性:解释应该准确地恢复地面真相解释(这只适用于地面真相已知的合成数据集)

总结

可解释性是人工智能的一个关键部分,因为它可以实现可靠和可信的预测。然而,将现有的解释方法应用于GNN并非易事。我们快速浏览了一些现有GNN解释方法中的一般方法,以及定义一个好的GNN解释方法所需的一些属性。

引用

[1] H. Yuan, H. Yu, S. Gui, S. Ji, Explainability in Graph Neural Networks: A Taxonomic Survey (2020), arXiv

[2] M. T. Ribeiro, S. Singh, C. Guestrin, “Why Should I Trust You?”: Explaining the Predictions of Any Classifier (2016), ACM SIGKDD International Conference on Knowledge Discovery and Data Mining (KDD)

[3] How to explain neural networks using SHAPE

[4] Explainable AI (XAI) — A guide to 7 Packages in Python to Explain Your Models

[5] Explainable Deep Neural Networks

作者:Remy Lau

原文地址:https://towardsdatascience.com/explainable-graph-neural-networks-cb009c2bc8ea

deephub翻译组

本文参与 腾讯云自媒体同步曝光计划,分享自微信公众号。
原始发表:2021-06-17,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 DeepHub IMBA 微信公众号,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
暂无评论
推荐阅读
编辑精选文章
换一批
最新综述 | 可信图神经网络: 隐私, 鲁棒性, 公平和可解释性
摘要:对于可信图神经网络(Trustworthy Graph Neural Networks)在隐私(privacy),鲁棒性(robustness), 公平(fairness)和可解释性(explainability) 的研究工作,我们进行了系统的梳理和讨论。对于可信赖所要求的各个方面,我们将现有概念和方法归类并提炼出各类的通用框架。同时我们也给出了代表性工作和前沿方法的具体细节。对于未来的工作方向,我们也进行了探讨。
Houye
2022/06/06
8760
最新综述 | 可信图神经网络: 隐私, 鲁棒性, 公平和可解释性
神经网络的可解释性综述!
Interpretability (of a DNN) is the ability to provide explanations in understandable terms to a human. F Doshi-Velez & B Kim, 2017
Ai学习的老章
2021/07/29
1.1K0
神经网络的可解释性综述!
Patterns | 可解释图神经网络在药物性质预测问题上的定量评估研究
图神经网络因其对图结构数据的强大表达能力而受到越来越多的关注,但它们仍然因为缺乏可解释性而受到质疑。当前可解释性人工智能方法受限于数据集,仅在社交网络等现实世界数据集上进行定性评估,缺少定量评估和比较。同时,可解释性方法生成的解释是否达到预期目的并提供可靠的答案也仍待探索。中山大学杨跃东教授团队联合星药科技研发团队在Cell Press旗下Patterns期刊发表了题为“Quantitative evaluation of explainable graph neural networks for molecular property prediction”的文章,该研究建立了五个分子可解释性基准数据集,定量评估了六种常用的可解释性方法与四种图神经网络模型的组合,并与药物化学家在可解释性任务上进行了直接比较。这是首次将可解释性方法与人类专家在可解释性任务上进行定量实验比较的研究。同时,基于模型学到的解释,研究人员开发了一种数据驱动的分子结构指纹,可作为分子属性预测中经典分子指纹的补充。相关成果[1]已于11月正式发表。
DrugAI
2022/11/29
7960
XAI系列二:模型可解释性技术概览
传统网络安全威胁分析依赖专家知识及基本的数据分析,然而随着攻击技术的复杂化、安全数据接入的多元化,高性能人工智能技术越来越多的应用到威胁分析中,试图解放安全行业的生产力。更复杂的模型往往具备高知识容量,能够支持大规模、高维非线性数据的分析,于此同时,其内部表示学习过程、决策过程愈发不可解释,执行逻辑难以被人类直观理解,逐渐成为“黑盒”模型,反而降低了安全应用的智能化、自动化程度。
绿盟科技研究通讯
2019/12/11
3.7K0
XAI系列二:模型可解释性技术概览
Patterns | 可解释图神经网络在药物性质预测问题上的定量评估研究
图神经网络因其对图结构数据的强大表达能力而受到越来越多的关注,但它们仍然因为缺乏可解释性而受到质疑。当前可解释性人工智能方法受限于数据集,仅在社交网络等现实世界数据集上进行定性评估,缺少定量评估和比较。同时,可解释性方法生成的解释是否达到预期目的并提供可靠的答案也仍待探索。中山大学杨跃东教授团队联合星药科技研发团队在Cell Press旗下Patterns期刊发表了题为“Quantitative evaluation of explainable graph neural networks for molecular property prediction”的文章,该研究建立了五个分子可解释性基准数据集,定量评估了六种常用的可解释性方法与四种图神经网络模型的组合,并与药物化学家在可解释性任务上进行了直接比较。这是首次将可解释性方法与人类专家在可解释性任务上进行定量实验比较的研究。同时,基于模型学到的解释,研究人员开发了一种数据驱动的分子结构指纹,可作为分子属性预测中经典分子指纹的补充。相关成果[1]已于11月正式发表。
智药邦
2023/02/14
3820
Patterns | 可解释图神经网络在药物性质预测问题上的定量评估研究
[ICLR 24] 如何可靠地评估可解释的图神经网络?
作者:Xu Zheng1∗, Farhad Shirani1∗, Tianchun Wang2, Wei Cheng3, Zhuomin Chen1, Haifeng Chen3,Hua Wei4, Dongsheng Luo1
Houye
2024/03/25
4130
[ICLR 24] 如何可靠地评估可解释的图神经网络?
趣味科普|可解释性人工智能
可解释性人工智能 PART.01 概述 1 可解释性人工智能(XAI)定义 随着机器学习和人工智能技术在各个领域中的迅速发展和应用,向用户解释算法输出的结果变得至关重要。人工智能的可解释性是指人能够理解人工智能模型在其决策过程中所做出的选择,包括做出决策的原因,方法,以及决策的内容[1]。简单的说,可解释性就是把人工智能从黑盒变成了白盒。 2 研究的作用 可解释性是现在人工智能在实际应用方面面临的最主要的障碍之一。人们无法理解或者解释为何人工智能算法能取得这么好的表现。可解释性人工智能模型的作用
数据派THU
2023/03/29
9850
趣味科普|可解释性人工智能
机器学习——解释性AI与可解释性机器学习
随着人工智能技术的广泛应用,机器学习模型越来越多地被用于决策过程。然而,这些模型,尤其是深度学习模型,通常被视为“黑箱”,难以理解其背后的决策逻辑。解释性AI(Explainable AI, XAI)和可解释性机器学习(Interpretable Machine Learning, IML)旨在解决这个问题,使模型的决策过程透明、可信。本文将深入探讨解释性AI与可解释性机器学习的概念、方法和代码实现,帮助读者全面理解这一重要主题。
hope kc
2024/10/19
3320
重温三十年前对于 NN 的批判:神经网络无法实现可解释 AI
美国东北大学体验式人工智能研究所的高级研究科学家 Walid S. Saba 从组合语义的角度出发,提出一个观点:深度学习无法构造一个可逆的组合语义,所以它无法实现可解释AI。 作者 | Walid S. Saba 编译 | Antonio 编辑 | 陈彩娴 1 可解释AI (XAI) 随着深度神经网络 (DNN) 用于决定贷款批准、工作申请、批准法院保释等与人们利益息息相关或者一些生死攸关的决定(例如在高速公路上突然停车),去解释这些决定,而不仅仅是产生一个预测分数,是至关重要的。 可解释人工智能 (X
AI科技评论
2022/09/27
2840
重温三十年前对于 NN 的批判:神经网络无法实现可解释 AI
10个解释AI决策的Python库
本文整理了10个常用于可解释AI的Python库,方便我们更好的理解AI模型的决策。
算法进阶
2023/11/30
3280
10个解释AI决策的Python库
图神经网络的解释性综述!
图神经网络的可解释性是目前比较值得探索的方向,今天解读的2021最新综述,其针对近期提出的 GNN 解释技术进行了系统的总结和分析,归纳对比了该问题的解决思路。作者还为GNN解释性问题提供了标准的图数据集和评估指标,将是这一方向非常值得参考的一篇文章。
Datawhale
2021/05/07
1.4K0
【EMORY博士论文】几何数据的可解释和交互式表示学习
来源:专知本文为论文介绍,建议阅读5分钟本文旨在探索一条新的研究路线,即解释引导学习(EGL),通过XAI技术干预深度学习模型的行为,共同提高深度神经网络的可解释性和泛化性。 近年来,深度神经网络(Deep Neural Networks, DNNs),包括卷积神经网络(Convolutional Neural Networks, cnn)和图神经网络(Graph Neural Networks, GNNs)的快速发展,使得图像和图结构数据等几何数据的表示学习得到了快速的发展,并取得了显著的进展。然而,d
数据派THU
2023/03/29
1850
【EMORY博士论文】几何数据的可解释和交互式表示学习
深度神经网络的灰色区域:可解释性问题
【编者按】在解决视觉、听觉问题方面表现出色的深度学习系统中,分类器和特征模块都是自动学习的,神经网络可解释性问题就成了一个灰色区域,思考这个问题对神经网络效率的保证是有必要的。在这篇博客文章中,机器学习PhD、软件架构师Adnan Masood针对这个问题进行了多方面的反思。 深度学习的成就 在昨天与软件架构师David Lazar关于“how everything old is new again”的讨论中,我们讨论到了关于深度神经网络及其优越效果方面的话题。一个人如果不是与世隔绝5年,那么他一定会发现我
用户1737318
2018/06/05
1.4K0
人工智能(XAI)可解释性的研究进展!
本文从数据为中心的角度,研究了数据收集、处理和分析如何有助于可解释的人工智能(XAI)。将现有工作分为三类,分别服务于对深度模型的解释、对训练数据的启示和对领域知识的洞察,并提炼出针对不同模式的数据挖掘操作和DNN行为描述符的数据挖掘方法,提供了一个全面的、以数据为中心的XAI从数据挖掘方法和应用的角度进行的考察。
算法进阶
2024/06/13
5880
人工智能(XAI)可解释性的研究进展!
可信赖图神经网络综述!图的因果学习!
本文综述了图神经网络(GNN)在图挖掘应用中的最新进展,并强调了其在低维表示中保留丰富知识的能力。然而,GNN在可靠性方面存在挑战,包括OOD泛化能力、公平性和可解释性。为了解决这些问题,研究人员开始将因果学习纳入可信赖图神经网络(TGNN)的开发中。
算法进阶
2024/05/21
7620
可信赖图神经网络综述!图的因果学习!
如何构建可信GNN?最新综述来了!可信图神经网络:维度,方法,趋势
前言 在过去的几年里,以神经网络为首的人工智能技术通过对不同类型数据的深入挖掘已经深刻地改变了人类的生活并极大地推动了社会发展的进程 [1]。作为人工智能领域最活跃的研究方向之一,图神经网络(GNNs)凭借其卓越的性能已经被广泛应用于个性化推荐等日常生活中,在如新冠药物研发等科学前沿领域也不乏其身影。随着图神经网络技术的蓬勃发展,人们发现以任务性能为单一设计目标的图神经网络系统中仍存在譬如面对恶意攻击的脆弱性等问题。因此,人们愈发渴望建立起可信的图神经网络。 近年来,构建可信人工智能系统已经成为了世界各国的
AI科技评论
2022/05/27
1.1K0
如何构建可信GNN?最新综述来了!可信图神经网络:维度,方法,趋势
机器学习——解释性AI(Explainable AI)
随着人工智能(AI)和机器学习(ML)在多个领域的广泛应用,理解模型的决策过程变得尤为重要。解释性AI(Explainable AI, XAI) 的目标是为AI模型的决策提供透明、可解释的说明,从而提升模型的可信度、透明度,并有助于监管合规。这在高风险领域如医疗、金融、自动驾驶等尤为关键【42†source】【44†source】。
六点半就起.
2024/10/16
2810
图神经网络的可解释性方法介绍和GNNExplainer解释预测的代码示例
深度学习模型的可解释性为其预测提供了人类可以理解的推理。如果不解释预测背后的原因,深度学习算法就像黑匣子,对于一些场景说是无法被信任的。不提供预测的原因也会阻止深度学习算法在涉及跨域公平、隐私和安全的关键应用程序中使用。
deephub
2022/11/11
1.6K1
图神经网络的可解释性方法介绍和GNNExplainer解释预测的代码示例
使用Python实现深度学习模型:模型解释与可解释人工智能
在深度学习领域,模型解释和可解释性人工智能(XAI)正变得越来越重要。理解深度学习模型的决策过程对于提高模型的透明度和可信度至关重要。本文将详细介绍如何使用Python实现模型解释和可解释性人工智能,包括基本概念、常用方法、代码实现和示例应用。
Echo_Wish
2024/07/06
3030
使用Python实现深度学习模型:模型解释与可解释人工智能
事后解释VS自解释,牛津CS博士小姐姐134页毕业论文探索神经网络内部构造
机器之心报道 编辑:小舟、杜伟 如何解释深度神经网络对于人工智能的发展具有重要的作用,也吸引了越来越多学界和业界人士的注意。在这篇长达 134 页的博士论文中,一位来自牛津大学的计算机科学博士生对这一课题进行了深入的探讨,带我们走进深度神经网络的世界。 近年来,深度神经网络正在计算机视觉、自然语言处理和语音识别等多种领域发挥着重要作用,推动了人工智能的发展。但是,深度神经网络仍存在一些局限性,例如这些模型的决策过程通常无法向用户解释。 但同时,在医疗、金融、法律等各个领域,了解人工智能系统决策制定背后的原因
机器之心
2023/03/29
2520
事后解释VS自解释,牛津CS博士小姐姐134页毕业论文探索神经网络内部构造
推荐阅读
相关推荐
最新综述 | 可信图神经网络: 隐私, 鲁棒性, 公平和可解释性
更多 >
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档