❞ 为了解决这个问题，研究人员一直在积极研究新的解决方案，从而产生了重大创新，例如基于概念的模型。...❞ 在这篇博文[1]中，我们将深入研究这些技术，并为您提供使用简单的 PyTorch 接口实现最先进的基于概念的模型的工具。...通过这个例子，您将更好地理解概念瓶颈如何在实践中应用，并见证它们在解决具体问题方面的有效性。...然而，标准概念瓶颈模型的主要问题是它们难以解决复杂问题！更一般地说，他们遇到了可解释人工智能中众所周知的一个众所周知的问题，称为准确性-可解释性权衡。...往期推荐 如何在 Linux 中列出 Systemd 下所有正在运行的服务 GPT 模型的工作原理 你知道吗？ Backbone 在神经网络中意味着什么？
图神经网络图解指南 图神经网络或简称 GNN 是用于图数据的深度学习 (DL) 模型。这些年来它们变得很热。...事实上，我们可以在很多任务上训练 GNN：大图中的节点分类（根据用户的属性和关系对社交网络中的用户进行细分），或全图分类（对药物应用的蛋白质结构进行分类）。...除了分类之外，回归问题还可以在图数据之上制定，不仅适用于节点，也适用于边。 总而言之，图神经网络的应用是无穷无尽的，取决于用户的目标和他们拥有的数据类型。...现在我们已经量化了过度平滑问题，你可能会认为我们的工作被终止了，在我们的损失目标中添加这个度量作为一个规则就足够了。...总结 这篇文章可能很长，但它只触及了图神经网络及其问题的表面，我试图从 GNN 的小探索开始，并展示它们如何 - 使用如此简单的机制 - 解锁我们无法想到的潜在应用其他 DL 架构的上下文。
问题定义 为了更好地理解图神经网络在推荐系统中的应用，我们将通过一个实际案例进行讲解。假设我们有一个电影推荐平台，其中用户与电影之间的交互关系可以表示为一个图结构。...用户-电影交互数据：记录用户对电影的评分或点击行为。 B. 图神经网络的模型构建 为了在推荐系统中应用图神经网络，我们需要首先构建用户-电影图，并设计一个基于GCN的推荐模型。...实时推荐系统的设计 在实际生产环境中，推荐系统通常需要处理大量实时数据，因此图神经网络的部署和优化至关重要。...用户反馈收集：在推荐系统中引入用户反馈机制，收集用户的点击、评分等行为数据，并将其用于模型的增量训练和优化。 图神经网络在推荐系统中的应用为解决用户与物品之间复杂关系的建模问题提供了强有力的工具。...在本博客中，我们详细介绍了图神经网络在推荐系统中的应用实例，包括数据预处理、模型构建、训练与评估，以及生产环境中的部署与优化。
本文主要介绍了如何在昇腾上，使用pytorch对经典的图神经网络GraphSage在论文引用CiteSeer数据集上进行分类训练的实战讲解。...本文提出了一种归纳式学习模型，可以得到新点/新图的表征。...GraphSage算法原理 GCN网络每次学习都需要将整个图送入显存/内存中，资源消耗巨大。另外使用整个图结构进行学习，导致了GCN的学习的固化，图中一旦新增节点，整个图的学习都需要重新进行。...因此采样与聚合是GraphSage网络的两大主要工作，通过随机采样的方式从整张图中抽出一张子图近似替换原始图，然后在该子图上进行聚合计算提取信息特征。...此外，数据集用的是CiteSeer，该数据集也直接集成在Planetoid模块中，这里也需要将其import进来。
今天继续来聊聊PyTorch 之神经网络 (≧▽≦*)o 冲就完事了~ 在 PyTorch 界里，构建神经网络的神器就是 torch.nn 包。...训练一个神经网络，大致的流程是这样的： 先得定义一个神经网络，并且里面要有一些可以训练的参数。 然后，不断地迭代输入，让网络去学习。 网络处理完输入后，计算一下损失（就是输出和目标差多远）。...随便来个 32x32 的输入图片，我们的网络就能得到一个输出。 前文也说过，PyTorch中的 Tensor 就是一个多维数组，可以记录梯度。 在梯度反向传播之前，记得把梯度清零。...不过：手动更新权重太麻烦了，PyTorch 的 torch.optim 包给我们提供了各种优化算法，比如 SGD, Adam 等等，只需要一些简单的设置： import torch.optim as optim...在测试集上，可以看到网络的准确率； 由于这里只运行了一个 epoch，准确率可能不够高，但足以展示神经网络基本训练过程。在实际应用中，我们会运行更多的 epoch 并调整不同的参数来达到更好的性能。
写在前面 之前的工作主要是基于CNN和RNN在做，前段时间因为项目需要，相对系统的了解一下图神经网络，包括理论基础，代表性的GNN（GCN， GraphSAGE和GAT）以及它的一些应用。...一个简单的无向图及其邻接矩阵 02 图神经网络GNN 2013年首次提出图上的基于频域(Spectra)和基于空域(Spatial)的卷积神经网络。2016,2017有比较大的突破，开始成为研究热点。...根据图的构建方式，下面要介绍的工作大致可分为两大类： GNN在图像分类中的应用 GNN在分割/重建中的应用 3.1....将构建好的初始化图给到GCN，GCN的作用是预测每个节点的坐标值，即每个node最终有两个坐标，代表其在图像中的位置，这些点连接起来的形状就是物体的轮廓。...相比而言，分类问题会更适合GNN发挥所长，特别是存在多模态输入的时候，graph对于关系的建模和GNN的学习能力会起到很好的作用。
在本系列文章中，作者展示了如何使用这些领域的工具重新解释图神经网络并解决一些常见困境。 本文的作者是 Twitter 首席科学家、DeepMind 人工智能教授 Michael Bronstein。...其中一些求解器在流行的 GNN 架构中没有直接的类比，可能会促成一些新型图神经网络设计。由于我们考虑的扩散 PDE 可以看作是一些相关能量的梯度流 ，因此这种架构可能比典型架构更易于解释。...图的表达能力 在最近的工作中，人们对图神经网络（GNN）的表达能力给予了极大的关注。...由于位置编码在 Transformer 中已得到普及，因此位置编码成为增加图神经网络表达能力的常用方法。 ...总结 这些例子表明，微分几何和代数拓扑为图机器学习中重要且具有挑战性的问题带来了新的视角。在本系列的后续文章中，我将更详细地展示如何使用这些领域的工具来解决上述图神经网络问题。
来源：机器之心本文约3000字，建议阅读5分钟本文展示了如何使用这些领域的工具重新解释图神经网络并解决一些常见困境。 微分几何和代数拓扑在主流机器学习中并不常见。...在本系列文章中，作者展示了如何使用这些领域的工具重新解释图神经网络并解决一些常见困境。 本文的作者是 Twitter 首席科学家、DeepMind 人工智能教授 Michael Bronstein。...图的表达能力 在最近的工作中，人们对图神经网络（GNN）的表达能力给予了极大的关注。...由于位置编码在 Transformer 中已得到普及，因此位置编码成为增加图神经网络表达能力的常用方法。 ...总结 这些例子表明，微分几何和代数拓扑为图机器学习中重要且具有挑战性的问题带来了新的视角。在本系列的后续文章中，我将更详细地展示如何使用这些领域的工具来解决上述图神经网络问题。
1.2 深度学习视觉定位算法 最近几年，融合神经网络的视觉定位算法被广泛研究，大家希望用神经网络取代传统方法中的部分模块（例如关键点和描述子生成）或者直接端到端的估计相机位姿。...本论文研究内容属于对后面这种类型算法的优化。端到端视觉定位算法用神经网络的权值来表征场景信息，网络的训练过程实现建图，定位由网络的推理过程实现。...在本研究中，我们探索了一个3D场景几何约束即光度差约束，通过聚合三维场景几何结构信息，使得网络不仅能将预测的位姿与相机运动对齐，还能利用图像内容的光度一致性。...算法框架 本研究提出的算法框架和数据流如图a所示，蓝色部分是算法中的神经网络部分（图b），绿色部分是warping计算过程，黄色部分是网络的损失函数项，只有蓝色部分包含可训练的权重。...当视角变化较小且环境光不变时，同一个三维点在不同图像中的光强应该相同。这种光度一致性用于解决许多问题，如光流估计、深度估计、视觉里程计等。
文 |AI_study 我们的神经网络 在本系列的最后几篇文章中，我们已经开始构建CNN，我们做了一些工作来理解我们在网络构造函数中定义的层。...我们将可学习的参数是网络内部的权重，它们存在于每一层中。 获取网络的实例 在PyTorch中，我们可以直接检查权重。让我们获取我们的网络类的一个实例并查看它。...我们的网络类将从PyTorch Module基类继承此功能。观察如果我们停止扩展神经网络模块类会发生什么。...当我们更改矩阵内的权重值时，实际上是在更改此函数，而这恰恰是我们在搜索网络最终逼近的函数时要执行的操作。 让我们看看如何使用PyTorch执行相同的计算。...一个迫在眉睫的问题是，我们如何才能一次访问所有参数？有一个简单的方法。让我告诉你。 访问网络参数 第一个示例是最常见的方法，我们将在训练过程中更新权重时使用它来遍历权重。
而kernel中的3代表对input的x上的三个通道上均进行卷积运算。而multi-kernels中的16泛指包括了blur、edge等16个功能、3代表对每一个通道上的逐渐进行卷积运算。...这里要求可以从结果逆推出bias和kernel的参数值。 那么这种持续的叠加会输出什么结果呢，如下所示 ? 最初的小汽车经过多个卷积层后依次输出的结果如上，神经网络会从这上面提取到不同的特征结构。...这里一般认为第一层的feature map上得到的是一些低维的特征（整体模型、颜色、角度等），第二层的feature map上得到的是一些高维的特征（如棱形结构等），更高层的feature map上会得到一些更高维的特征...总而言之，通过不断地卷积，可以持续提取到不同的特征。 那么在pytorch中，是如何实现这种代码的编写？...# 这种神经网络结构的编写要用到nn.Conv2d # 该API意为进行2D的函数卷积层计算 import torch import torch.nn as nn layer = nn.Conv2d
经常，在训练这些网络时，深度学习从业人员需要使用多个GPU来有效地训练它们。在本文中，我将向您介绍如何使用PyTorch在GPU集群上设置分布式神经网络训练。 通常，分布式训练会在有一下两种情况。...在GPU之间拆分模型：如果模型太大而无法容纳在单个GPU的内存中，则需要在不同GPU之间拆分模型的各个部分。 跨GPU进行批量拆分数据。...在设置网络本身时，可以将模型的某些部分移至特定的GPU。之后，在通过网络转发数据时，数据也需要移动到相应的GPU。下面是执行相同操作的PyTorch代码段。...在PyTorch中，只需要一行就可以使用nn.DataParallel进行分布式训练。该模型只需要包装在nn.DataParallel中。...由于python中的线程存在GIL（全局解释器锁定）问题，因此这限制了完全并行的分布式训练设置。
A: 这篇论文旨在全面回顾图神经网络（GNNs）在智能交通系统（ITS）中的应用。智能交通系统对于缓解交通拥堵、减少交通事故、优化城市规划等方面至关重要。...作为深度学习方法之一，图神经网络（GNNs）因其在建模图相关问题方面的强能力，自2019年以来在ITS领域崭露头角。...这些研究通常集中在如何利用GNNs处理和分析交通网络中的复杂图结构数据，以及如何利用这些数据来改善交通管理和规划。 Q: 论文如何解决这个问题？...A: 论文通过以下几个步骤来解决将图神经网络（GNNs）应用于智能交通系统（ITS）的问题： 全面回顾：作者们从2018年到2023年广泛回顾了GNNs在ITS领域的研究工作，涵盖了交通预测、自动驾驶车辆...Q: 总结一下论文的主要内容 A: 这篇论文全面回顾了图神经网络（GNNs）在智能交通系统（ITS）中的应用。
在进行pytorch训练后，需要进行测试部分的编写。 首先看一个train和test的波动实例 ? 首先上图可视化结果来看，蓝线是train的正确率，随着运行次数的增加随之升高。...而下图中的蓝线为train的loss过程，也随之降低。由图来看貌似训练过程良好，但实际被骗啦。...这是里面的over fitting在作怪，随着train的进行，里面的sample被其所记忆，导致构建的网络很肤浅，无法适应一些复杂的环境。 若想缓解这种情况，在train的同时做test。...pred = F.softmax(logits, dim=1) # 这里在10维度的输出值上进行softmax, pred_label = pred.argmax(dim=1) print(pred_label...当具体到神经网络中时，变为 test_loss = 0 correct = 0 # 先设定两个初始值均为0 for data, target in test_loader: data = data.view
前言 GNN/GCN在非欧数据中的应用具有极大的挖掘价值。通常，GNN的应用分为两种：1，节点分类；2，图分类。 节点分类可以用在点云分割，社交网络节点分类，推荐算法等等。...图分类可以用在姿态估计，蛋白质分类等等，当然，也可以用在图像分类。 对于节点分类而言，图结构在forward阶段是不会改变的，改变的只是节点的隐藏层属性。如下： ?...对于图分类而言，图结构在前传的时候会downsize，最后聚合成一个点的feature再做MLP： ?...Graph Pooling GNN/GCN 最先火的应用是在Node classification，然后先富带动后富，Graph classification也越来越多人研究。...所以，Graph Pooling的研究其实是起步比较晚的。 Pooling就是池化操作，熟悉CNN的朋友都知道Pooling只是对特征图的downsampling。不熟悉CNN的朋友请按ctrl+w。
01 PyG的使用 PyG(PyTorch Geometric)是一个基于PyTorch的图神经网络框架，建议先了解PyTorch的使用再学习PyG，要不然看不懂，关于PyTorch的使用可以看 https...://zhuanlan.zhihu.com/p/369496930 PyG包含图神经网络训练中的数据集处理、多GPU训练、多个经典的图神经网络模型、多个常用的图神经网络训练数据集而且支持自建数据集，主要包含以下几个模块...然而在现实中需要对多种类型的节点以及这些节点之间多种类型的边进行处理，这就需要异质图的概念，在异质图中，不同类型的边 描述不同类型节点之间 不同的关系，异质图神经网络的任务就是在这种图结构上学习出节点或者整个异质图的特征表示...这样上面的异质图就建立完成了，我们可以将它输入到一个异质图神经网络中 # 异质图神经网络 model = HeteroGNN(...) # 获取异质图神经网络网络的输出 # 注意异质图神经网络的输入是...GraphGym是在PyG基础上的进一步封装，可以利用参数化的方式进行图神经网络的实验，具体可见https://pytorch-geometric.readthedocs.io/en/latest/modules
这里推荐5篇WWW中有关图神经网络在推荐中的应用论文 1.Graph Neural Networks for Friend Ranking in Large-scale Social Platforms...其中一个常见的的工业应用问题是朋友推荐问题——在大型社交平台上通常有这样的问题：（1）有相当一部分用户是不活跃的，这样他们的结构和参与信息就是受限的；（2）用户们会使用不同的交互方式与不同的团体交流。...GCN在推荐领域具有很大的潜力，但是基于GCN的推荐模型经常会遇到过度平滑的问题。...近期出现的模型LightGCN和LR-GCN模型在一定程度上缓解了这个问题，但是他们忽视了一个重要因素——在图卷积运算中，没有其中一个用户的共同兴趣的高阶邻居用户也可以包括于其他用户的embedding...在这项工作中，我们提出了一个新的基于深度学习的模型——关系时序注意力图神经网络（RetaGNN）。
在我们周围的各个领域，从分子结构到社交网络，再到城市设计结构，到处都有相互关联的图数据。图神经网络（GNN）作为一种强大的方法，正在用于建模和学习这类数据的空间和图结构。...对于时空图神经网络Spatail-Temporal Graph来说，最简单的描述就是在原来的Graph基础上增加了时间这一个维度，也就是说我们的Graph的节点特征是会随着时间而变化的。...一个包含n个节点的图的特征矩阵，每个节点具有f个特征，是所有特征的连接： GNN的关键问题是所有连接节点之间的消息传递，这种邻居特征转换和聚合可以写成： A是图的邻接矩阵，I是允许自连接的单位矩阵。...一个经典的图神经网络如下图所示： 时空图神经网络 （ST-GNN） ST-GNN中每个时间步都是一个图，并通过GCN/GAT网络传递，以获得嵌入数据空间相互依赖性的结果编码图。...股市数据集类： StockMarketDataset 类旨在为训练时空图神经网络（ST-GNNs）创建数据集。这个类中包含的方法有： 数据序列生成：DatasetCreate 方法生成数据序列。
本文使用 Zhihu On VSCode 创作并发布 在讨论神经网络训练框架的时候，总会提到动态计算图与静态计算图。...缺点也很明显，就是只有在计算图运行起来之后，才能看到变量的值，像TensorFlow1.x中的session.run那样。...但是我在用过PyTorch和TensorFlow1.x之后，并没有感受到这种理论上的前向运算速度差距，只感受到了动态图的便利。...所以从TensorFlow2.x将Eager模式设置成默认模式之后，除PyTorch之外，其他的热门框架都已经有了静态图和动态图两套方案了。...为了偷懒: 算子只实现+-× 使用标量运算 动态图 动态图的实现较为简单，因为只有在反向传播的过程中才会实际用到这个图结构，所以在设计数据结构的时候，只需要记录父节点即可。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
腾讯会议
云直播
对象存储
