导读：本次分享的内容为图深度学习在自然语言处理领域的方法与应用，主要内容和素材都来自于我们Graph4NLP团队的一篇调研文章：Graph Neural Networks for Natural Language Processing：A Survery，以及我们团队所开发的Graph4NLP的python开源库和教程。主要包括以下几大方面内容：
图神经网络（Graph Neural Network，GNN）是一类能够处理图结构数据的深度学习模型。与传统的神经网络不同，GNN可以直接处理图结构数据，例如社交网络、分子结构和知识图谱等。本文将详细介绍如何使用Python实现一个简单的GNN模型，并通过具体的代码示例来说明。
一个用于复杂网络，图结构的搭建，操作，与研究的python库。由于通常在python中这样导入：
内容一览：昨晚召开的 PyTorch Conference 2022 中，官方正式发布了 PyTorch 2.0。本文将梳理 PyTorch 2.0 与 1.x 相比的最大差异。
2．一个函数有了input_signature之后，在tensorflow里边才可以保存成savedmodel。在保存成savedmodel的过程中，需要使用get_concrete_function函数把一个tf.function标注的普通的python函数变成带有图定义的函数。
图神经网络(GNN)是一种学习图结构的神经网络。学习图结构允许我们在欧几里德空间中表示图的节点，这对于一些下游的机器学习任务非常有用。最近关于GNN的工作在链接预测、图分类和半监督任务方面表现出了令人印象深刻的性能(Hamilton et al.， 2017b)。由于人们对机器学习社区越来越感兴趣，希望更多地了解这些技术，因此本文提供了关于GNN的介绍。
【导语】数据结构与算法是所有人都要学习的基础课程，自己写算法的过程可以帮助我们更好地理解算法思路，不要轻视每一个算法，一些虽然看似容易，但可能有很多坑。但是坑还是要自己一个一个踩过来的，而且也只有自己踩过坑，才能让自己从理论到技能都得到提升。为了帮助大家在这个假期能提高学习效率，进阶 Python 技能，营长为大家推荐了一份用 Python代码实现算法的资源帖，涵盖从入门到高级的各类算法。
Apache软件基金会最近宣布：TinkerPop 升级为顶级项目 TinkerPop 是一个图计算框架，用来进行实时的事务型处理，和批量的图分析，包含了一系列以 Gremlin 引擎为核心的子项目和模块 图是一种描述数据存储结构的方式，比如键值对结构，也是存储数据的一种方式，只是图结构更为复杂 图是由顶点和边组成的，点和边各自都可以包含任意多个键值对形式的属性 点是用来描述离散的对象，例如 人、地点、事件 边是对点之间关系的描述，例如，一个人可以认识另一个人、一个人参与了某件事、一个人在某个地方 属性描述
本系列文章【数据结构与算法】所有完整代码已上传 github，想要完整代码的小伙伴可以直接去那获取，可以的话欢迎点个Star哦~下面放上跳转链接
项目链接：https://github.com/horance-liu/tensorflow-internals
import tensorflow as tf a = tf.constant(5.0) b = tf.constant(6.0) sum = tf.add(a, b) with tf.Session as sess: sess.run(sum)
本文介绍由亚马逊的研究团队推出的应用于生命科学的图神经网络指南《Graph Neural Networks in Life Sciences: Opportunities and Solutions》，这个工作发表在2022年数据挖掘顶会KDD上。图结构数据在生命科学以及医疗场景无处不在，最近很多研究把原来依赖于描述性数据分析的问题转化成依赖于生物网络的问题，例如图神经网络 (GNNs)。与其它领域相比，生命科学的问题有其自身的独特性和细微的差别。首先，这份指南比较全面地介绍了生命科学中的各种图结构数据，基于这些数据的生物和医学问题，以及相关的基于图机器学习的算法；随后，作者提供了四类基于GNN的解决方案的编程指南，每一种方案都提供了python代码和比较详细的说明，这四类问题包括：1）小分子属性预测；2）大分子属性和功能预测；3）基于双图（bi-graph）的蛋白质-配体对亲和力预测；4）利用知识图谱进行医学预测。所有代码都基于深度学习库DGL-lifesci和DGL-KE。
图神经网络「GNN」是近年来最火爆的研究领域之一，常用于社交网络和知识图谱的构建，由于具有良好的可解释性，现在已经广泛使用在各个场景当中。
今天给大家介绍Python语言中绘制网络结构图的可视化拓展工具-NetworkX包。NetworkX提供了丰富的数据结构和函数，使得用户能够轻松地构建、分析和可视化复杂网络。
近年来，异质图神经网络引起了广泛关注并应用在各种下游任务上。现有异质图神经网络模型通常依赖于原始的异质图结构并暗含着原始图结构是可靠的假设。然而，这种假设往往并不现实，异质图结构普遍存在噪声和缺失的问题。因此，如何为异质图神经网络学习一个合适的图结构而不是依赖于原始图结构是一个关键问题。为解决这一问题，本文首次研究了异质图结构学习(Heterogeneous Graph Structure Learning)问题，并提出了HGSL框架来联合学习适合分类的异质图结构和图神经网络参数。HGSL 通过挖掘特征相似性、特征与结构之间的交互以及异质图中的高阶语义结构来生成适合下游任务的异质图结构并联合学习 GNN参数。三个数据集上的实验结果表明，HGSL 的性能优于基线模型。
近期发布的DGL 0.5版本在诸如文档、API、系统速度和可扩展型等多个方面进行了大量的改进和增强。本文会介绍其中一部分新的特性和改进的内容。
llama2.c中，最想知道的的一个问题是：模型文件（bin）怎么手搓的（c）读取运行起来？延展开来是一下几个问题：
来源：PaperWeekly本文约4500字，建议阅读10+分钟本文率先提出了无监督图结构学习的范式，旨在不依赖标签信息的条件下，从数据本身中学习更普适、更高质量的图结构。 ©作者 | Yuki 研究方向 | 推荐系统，图神经网络 论文题目： Towards Unsupervised Deep Graph Structure Learning 论文链接： https://arxiv.org/pdf/2201.06367.pdf 代码链接： https://github.com/GRAND-Lab/SUBL
图结构学习（Graph Structure Learning, GSL）旨在通过生成新的图结构来捕捉图结构数据中节点之间的内在依赖性和交互关系。
作者: Yuanqi Du · Shiyu Wang · Xiaojie Guo · Hengning Cao · Shujie Hu · Junji Jiang · Aishwarya Varala · Abhinav Angirekula · Liang Zhao
在我们生活中，每天使用的微信等社交软件，我们的好友关系网也能被形象成一种图结构，如图，图能表示各种丰富的关系结构
在现实世界中存在大量的图结构数据，图神经网络已成为分析这些数据的标准范式，GNN 对图结构有较高的敏感性，不同的图结构得到的表征会很不一样。但是往往图数据中存在较多的噪声者图的不完整性都会使得 GNN 习得的表征较差，这不利于下游任务。
PyTorch 2.0 算是正式官宣了，预计在明年 3 月和大家见面。官方的 blog 宣发了非常多的内容，但是阅读下来不难发现，几乎所有的性能提升、体验优化都源自于 PyTorch 新设计的即时编译工具：Dynamo。
众所周知，GNN和传统NN的主要区别就是以图的结构为指导，通过聚合邻居信息来学习节点表示。下面展示了GNN的经典聚合过程。
在时间序列预测中，时空预测是一种常见的方法，当各个时间序列存在空间关系时，将图神经网络引入，在之前的很多工作中都已经被验证了有明显的正向效果。然而，时空预测由于引入了空间结构信息，会导致模型的计算复杂度显著提升。那么，我们多大程度上需要图结构的信息呢？能否在不影响效果的前提下，减少图结构信息的引入，以此提升模型效率呢？KDD 2023中的一篇文章，就对这一方向进行了深入研究，提出了一种稀疏图时空预测方法，并验证了图结构信息在不同阶段（训练 or 预测）的作用。
看看这段代码，很明显，是列举出100以内所有的质数。类似这样的程序我们从学程序开始写过很多。
数据结构作为计算机科学和编程的基础之一，对于每位想要在编程领域中取得成功的人来说，都是必不可少的知识。在这篇文章中，我们将为你提供一个完整的学习路径，帮助你逐步学习和掌握数据结构。
多元时间序列预测任务主要解决的是输入多变量时间序列，预测多变量未来序列的问题，多变量的序列之间存在一定的相互影响关系。多元时间序列预测相比一般的单变量时间预测，如何在建模temporal关系的同时建立不同变量空间上的关系至关重要。今天给大家介绍两篇2022年8月份发表的最新多元时间序列预测工作，两篇工作均有开源代码。
很早之前，我就听雷军说过一句话：“站在风口上，猪都可以飞起来！”这句话用来形容现在的深度学习非常贴切。近几年来，深度学习的发展极其迅速，其影响力已经遍地开花，在医疗、自动驾驶、机器视觉、自然语言处理等各个方面大展身手。在深度学习这个世界大风口上，谁能抢先进入深度学习领域，学会运用深度学习技术，谁就能真正地在 AI 时代“飞”起来。
图表示学习旨在基于图结构数据学习表示，并用于节点分类、链路预测等下游任务。由于节点特征和图结构包含重要信息，因此图表示学习任务具备一定的挑战性。图神经网络（GNN）融合了来自节点特征和图结构的信息，因而具备优秀的性能。
Hypergraph Structure Learning for Hypergraph Neural Networks
图神经网络（Graph Neural Networks）已经成为分析和学习图结构数据的强大框架，推动了社交网络分析、推荐系统和生物网络分析等多个领域的进步。
https://www.lix.polytechnique.fr/~nikolentzos/files/rw_gnns_neurips20
本文主要介绍了TensorBoard的基本用法、可视化技巧、如何记录训练过程中的各种指标以及自定义训练过程的图形绘制。通过使用TensorBoard，开发者可以更方便地理解训练过程中的模型表现，从而更好地优化模型。
Tensorboard是TensorFlow自带的一个强大的可视化工具 01 功 能 这是TensorFlow在MNIST实验数据上得到Tensorboard结果（https://www.tensorflow.org/tensorboard/index.html#graphs） Event: 展示训练过程中的统计数据（最值，均值等）变化情况 Image: 展示训练过程中记录的图像 Audio: 展示训练过程中记录的音频 Histogram: 展示训练过程中记录的数据的分布图 02 原 理 在运行过程中，记
选自arXiv 作者：Ruoyu Li等 机器之心编译 参与：路雪 近日，AAAI 2018 发布接收论文列表，腾讯 AI Lab 共入选 11 篇。在论文《Adaptive Graph Convolutional Neural Networks》中，腾讯联合德克萨斯大学阿灵顿分校提出自适应图卷积神经网络 AGCN，可接受任意图结构和规模的图作为输入。 论文：自适应图卷积神经网络（Adaptive Graph Convolutional Neural Networks） 论文链接：https://arxiv
选自arXiv 作者：Ruoyu Li等 机器之心编译 参与：路雪 近日，AAAI 2018 发布接收论文列表，腾讯 AI Lab 共入选 11 篇。在论文《Adaptive Graph Convol
摘要：本篇从理论到实战详细介绍了目前很火的图神经网络GNN。首先介绍了背景，主要包括学习GNN的原因、GNN应用场景以及在我们业务中如何应用GNN；然后从理论详细介绍了GNN，包括GNN和Graph Embedding的关系、GNN的整体流程和分类以及GNN的经典模型GCN、GAT和GraphSAGE；最后在CORA数据集上基于开源框架tf_geometric实践了GAT模型。希望对于学习并将图神经网络GNN应用到实际业务场景的小伙伴可能有所帮助。
如何构建大图上的线性复杂度Transformer？本文将要介绍的发表于NeurIPS22的工作对这一开放问题给出了探索性的思路，这项工作也入选了会议的Spotlight Presentation（比例约5%）。 论文题目：NodeFormer: A Scalable Graph Structure Learning Transformer for Node Classification 作者信息：吴齐天，赵文滔，李泽楠，David Wipf，严骏驰 论文地址：https://openreview.net/p
今天给大家介绍斯坦福大学Jure课题组发表在NIPS2020上的一项最新工作。先前的研究表明，图神经网络（Graph Neural Networks，GNN）可以有效地融合图的结构特征和节点特征，但很容易受到对抗攻击。为此，作者提出了一种信息理论原理-图信息瓶颈（Graph Information Bottleneck ，GIB），最佳地平衡了图结构数据表示的表现力和健壮性。作者还设计了两种用于结构正则化的采样算法，并使用两种新模型（GIB-Cat和GIB-Bern）实例化了GIB原理。实验表明，基于GIB的模型比最新的图防御模型更稳定，效果更好。
在科学研究中，从方法论上来讲，都应“先见森林，再见树木”。当前，人工智能学术研究方兴未艾，技术迅猛发展，可谓万木争荣，日新月异。对于AI从业者来说，在广袤的知识森林中，系统梳理脉络，才能更好地把握趋势。为此，我们精选国内外优秀的综述文章，开辟“综述专栏”，敬请关注。
TLDR: 现有的许多图神经网络方法存在一个共同的局限性,即对高质量监督信号的强烈依赖,导致在处理稀疏和噪声数据时泛化性能较差。为了提升图神经网络的泛化能力,自监督学习被认为是具有潜力的研究方向。然而，这种对标注数据的依赖,可能会限制它们在缺乏高质量标注的实际场景中的泛化性能。针对上述挑战,本研究提出了一种基于大型语言模型的全新图学习方法——GraphGPT。其旨在在零样本学习场景下提升图模型的泛化能力,并在多个下游数据集和任务上展现了出色的性能。
入门图机器学习的同学建议读一下斯坦福尤佳轩的博士论文《EMPOWERING DEEP LEARNING WITH GRAPHS》。
分子性质预测(MPP)是计算机辅助药物发现过程中一项基础但又具有挑战性的任务。近年来，越来越多的研究采用不同的基于图的模型进行MPP预测，在提高预测性能方面取得了长足的进步。然而，目前的模型只是将分子本身建模成一个图，忽略了将分子之间的关系也建模成图。
【新智元导读】 PyTorch今天发布，这是一个支持强大的 GPU 加速的张量计算（类似numpy），构建基于 tape 的 autograd 系统的深度神经网络的深度学习研究平台。这是numpy 的替代，以使用 GPU 的能力，能够提供最大的灵活性和速度。田渊栋在接受专访时表示，新的平台不像以前 torch 需要clone_many_times。另外从 numpy ndarray 可以转到torch.Tensor，不需要copy。 专访Facebook研究员田渊栋和PyTorch作者Soumith 新智
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
即时通信 IM
实时音视频
