Loading [MathJax]/jax/output/CommonHTML/config.js
首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
社区首页 >问答首页 >读/写NetworkX图形对象

读/写NetworkX图形对象
EN

Stack Overflow用户
提问于 2012-06-14 00:08:19
回答 3查看 13.8K关注 0票数 12

我正在尝试处理一个拥有数亿个节点的超大规模NetworkX图对象。我希望能够将它写到文件中,这样就不会消耗我所有的计算机内存。然而,我需要不断地在现有节点上搜索,更新边,等等。

有没有一个很好的解决方案?我不确定它如何与http://networkx.lanl.gov/reference/readwrite.html上提供的任何文件格式一起工作

我能想到的唯一解决方案是将每个节点存储为一个单独的文件,其中包含对文件系统中其他节点的引用-这样,打开一个节点进行检查就不会使内存过载。有没有一个现有的文件系统可以处理大量数据(例如PyTables)来做到这一点,而无需编写我自己的样板代码?

EN

回答 3

Stack Overflow用户

回答已采纳

发布于 2012-08-06 20:10:55

如果您已经将其构建为NetworkX图,那么它应该已经在内存中了。对于这么大的图形,我猜你必须做一些类似于你建议的单独文件的事情。但是,我不使用单独的文件,而是使用数据库来存储每个节点,节点之间具有多对多连接。换句话说,你应该有一个节点表和一个边表,然后要查询特定节点的邻居,你可以只查询在两端都有该特定节点的任何边。这应该很快,尽管我不确定您是否能够利用NetworkX的分析功能,而不是首先在内存中构建整个网络。

票数 4
EN

Stack Overflow用户

发布于 2012-07-06 01:26:46

首先试试pickle;它的设计目的是序列化任意对象。

下面是创建DiGraph并序列化到文件的示例:

代码语言:javascript
运行
AI代码解释
复制
import pickle
import networkx as nx

dg = nx.DiGraph()
dg.add_edge('a','b')
dg.add_edge('a','c')
pickle.dump(dg, open('/tmp/graph.txt', 'w'))

从文件加载DiGraph的示例:

代码语言:javascript
运行
AI代码解释
复制
import pickle
import networkx as nx

dg = pickle.load(open('/tmp/graph.txt'))
print dg.edges()

输出:

代码语言:javascript
运行
AI代码解释
复制
[('a', 'c'), ('a', 'b')]

如果这还不够高效,我会编写您自己的例程来序列化:

  1. edges和
  2. nodes(如果节点没有关联到任何边)。

请注意,在可能的情况下使用列表理解可能会更有效(而不是循环的标准)。

如果这还不够高效,我会从Python:http://docs.python.org/extending/extending.html中调用一个C++例程

票数 23
EN

Stack Overflow用户

发布于 2020-11-20 02:54:15

我忘记了最初我来到StackOverflow是为了解决什么问题,但是我偶然发现了这个问题(几乎晚了十年!)我可以推荐Grand,这是我们编写的一个类似networkx的库,正是为了解决这个问题:

之前的

代码语言:javascript
运行
AI代码解释
复制
import networkx as nx

g = nx.DiGraph()
g.add_edge("A", "B")
print(len(g.edges()))

之后的

代码语言:javascript
运行
AI代码解释
复制
import grand
from grand.backends import SQLBackend # or choose another!

g = grand.Graph(backend=SQLBackend())
g.nx.add_edge("A", "B")
print(len(g.nx.edges()))

接口与NetworkX相同,但数据存储在SQL、DynamoDB等语言中。

票数 0
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/11025126

复制
相关文章
关于图中节点间的概率求解问题
(本文年代久远,请谨慎阅读)前提:节点是含有若干特征(小节点)的大节点,大节点间连接实际为特征间的连接
ZONGLYN
2019/08/08
8580
Gephi节点颜色、大小、标签颜色和大小以及边排序。
1、点击[文件] 2、点击[生成] 3、点击[随机图] 4、点击[确定] 5、点击[大小] 6、点击[10] 7、点击[应用] 8、点击[颜色] 9、点击[Ranking] 10、点击[选择一种渲染方式] 11、点击[度] 12、点击[应用] 13、点击[颜色] 14、点击[默认] 15、点击[颜色] 16、点击[应用] 17、点击[颜色] 18、点击[颜色] 19、点击[OK] 20、点击[应用] 21、点击[大小]
裴来凡
2022/05/28
8.7K0
Gephi节点颜色、大小、标签颜色和大小以及边排序。
matplotlib画图中的各种设置
原文出处:https://www.jianshu.com/p/8006d74ac9e7
SL_World
2021/09/18
2.8K0
添加标签——给定标签选项
HTML: 1 <h3>haveTags</h3> 2 <div id="havetags"></div> 3 <hr /> 4 <h3>addTags</h3> 5 <div id="addtags"></div> 6 <button id="btn">返回的数组</button> CSS: 1 #havetags span, 2 #addtags span { 3 display: inline-block; 4 padding:
ProsperLee
2018/10/24
8870
添加标签——给定标签选项
识别图中的图形形状,颜色,位置,面积,周长。
1、点击[Matlab] 2、点击[命令行窗口] 3、按<Enter>键
裴来凡
2022/05/28
1.2K0
识别图中的图形形状,颜色,位置,面积,周长。
添加标签——无给定标签选项
HTML: 1 <!-- input输入标签,请以英文逗号分开 --> 2 <input type="text" placeholder="请以英文逗号分开" id="tagvalue" value="Prosper,Lee,无敌,的,存在" /> 3 4 <!-- 添加标签 --> 5 <button id="addbtn">无标签选项的添加标签</button> 6 7 <hr /> 8 9 <!-- 添加标
ProsperLee
2018/10/24
7630
添加标签——无给定标签选项
Python OpenCV查找图中的四边形/矩形
F:\opencv4.2_release\opencv\sources\samples\python\squares.py
Color Space
2020/08/06
16.3K1
任意位置删除节点
删除任意位置节点和添加任意位置节点其实差不多,都是要先找到n-1的位置,然后进行下一步的操作。 唯一有区别的是,需要用断开链接之后,需要用free把节点在堆上的内存清理掉。
用户7272142
2023/10/11
1570
任意位置删除节点
在指定位置按照需要在接边处进行融合
想法来源于某技术交流群,有朋友问起,如何可以进行这些数据的合并?这些数据,其实就是互联网电子地图中的建筑物轮廓,由于切片等原因,下载的数据都是分块的,而在实际使用中往往需要进行融合。
数据处理与分析
2019/07/31
6332
在指定位置按照需要在接边处进行融合
链表任意位置插入节点
之前我们的链表代码只能从头部插入节点,也就是通过修改head指向新节点,然后新节点指向head之前指向的节点达到增加头节点的目的。
用户7272142
2023/10/11
1890
链表任意位置插入节点
「微软」局部图协同过滤缓解数据稀疏问题
本文是针对图神经网络在推荐系统中的应用提出的相关方法LGCF,对于用户-商品交互数据稀疏的情况下,无法得到较好的embedding来计算偏好。LGCF不需要为每个用户和商品学习embedding,旨在将有用的 CF 信息编码到局部图中,并基于该图进行推荐。
秋枫学习笔记
2022/09/19
6930
Docsify 的边栏目录如何设置
如下图中的文档中的 docsify 边栏是如何设置的? 配置方法 在你的项目的 index.html 文件中,添加参数: loadSidebar: true 然后再在项目中添加一个 _sidebar.md 文件,这个文件的格式为: - CWIKIUS 文档概述 - [文档介绍和快速链接](README.md) - [公众平台](CONTACT.md) - Gradle - [Deploy](deploy.md) - 其他小工具 - [JWT](jwt/README.md) -
HoneyMoose
2020/11/29
1.3K0
Docsify 的边栏目录如何设置
input内文字与光标的初始位置调整
input {     /*方法一*/     text-align = center; /*placeholder文字居中*/     text-align = left; /*placeholder文字居左*/     text-align = right; /*placeholder文字居右*/     /*方法二*/     padding-left:10px; /*placeholder文字距左10px*/     padding-right:10px; /*placeholder文字距右10px
似水的流年
2020/09/10
3.7K0
ICLR2020 | CS-GNN:用平滑度刻画图信息的使用
今天给大家介绍香港中文大学和新加坡国立大学一起在ICLR2020上发布的一篇论文,该论文针对实际使用中GNN在图结构数据中能够获得多少性能的问题,提出了两种可以度量从图中获取的信息的数量和质量的平滑度指标,以及一个使用上述平滑度指标的GNN框架CS-GNN。实验显示,在不同类型的图上,对于特定任务而言,CS-GNN相比于现有的模型有更好的效果。
DrugAI
2021/02/01
8130
ICLR2020 | CS-GNN:用平滑度刻画图信息的使用
【CSS】CSS 背景设置 ② ( 背景位置 | 背景位置-方位值设置 )
background-position 属性值 可以是 length 长度 , 也可以是 position 方位 ;
韩曙亮
2023/03/30
4.1K0
【CSS】CSS 背景设置 ② ( 背景位置 | 背景位置-方位值设置 )
老大的位置还能坐多久?比特币“江湖地位”创历史新低
企鹅号小编
2018/01/04
5490
老大的位置还能坐多久?比特币“江湖地位”创历史新低
图神经网络的自监督学习
当标记样本有限时,作为一种利用大量未标记样本的新范式, 自监督学习(Self-Supervised Learning,SSL)正在兴起。SSL在自然语言和图像学习任务上取得了很好的性能。最近,有一种趋势是使用图神经网络将这种成功扩展到图数据。
智能生信
2021/04/13
1.6K0
图神经网络的自监督学习
在目标检测中如何解决小目标的问题?
在深度学习目标检测中,特别是人脸检测中,由于分辨率低、图像模糊、信息少、噪声多,小目标和小人脸的检测一直是一个实用和常见的难点问题。然而,在过去几年的发展中,也出现了一些提高小目标检测性能的解决方案。本文将对这些方法进行分析、整理和总结。
公众号机器学习与AI生成创作
2021/04/30
1.5K0
在目标检测中如何解决小目标的问题?
图表的标签显示设置
腾讯云商业智能分析产品由北京永洪商智科技有限公司提供,永洪BI-一站式大数据分析平台 图表标签设置是编辑报告中常见的操作,这里说一下图表标签设置的常见问题。图表标签显示设置具有一定的通用性,这里以柱
腾讯云商业智能分析团队
2017/08/28
2.8K0
图表的标签显示设置
点击加载更多

相似问题

在画布上打印div

10

在div上覆盖画布

10

在画布上绘画并自动删除它(HTML5)

21

在画布上绘图,添加贴纸,定制位图- Android

13

联合所有并维护活动记录关系?

18
添加站长 进交流群

领取专属 10元无门槛券

AI混元助手 在线答疑

扫码加入开发者社群
关注 腾讯云开发者公众号

洞察 腾讯核心技术

剖析业界实践案例

扫码关注腾讯云开发者公众号
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档