腾讯云
开发者社区
文档
建议反馈
控制台
登录/注册
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(2683)
视频
沙龙
1
回答
将
边
的
spark
数据
帧
转
换为
graphx
图
、
、
、
我有一个这样
的
数据
框架: > |Id1 |Id2 |attr1 |attr2 |attr3| > |1 |2 |1|0 |.5 | > |2 |3 |0 |.6 |.7 | 我想用表中值
的
权重为非零属性创建
边
我似乎找不到任何简单
的
方法,所以现在我只是使用for循环并迭代每一行,但这似乎效率
浏览 30
提问于2021-07-01
得票数 0
回答已采纳
3
回答
Neo4j或
GraphX
/
GraphX
选择哪个?
、
、
在过去,我们对Octave很满意,但当我们开始处理具有10^9个节点/
边
的
图
时,我们就卡住了。因此,可能
的
解决方案可以是分布式云,使用Hadoop/Giraph、
Spark
/
GraphX
、Neo4j等。 但是,由于我是一个初学者,有人能给我一些建议吗?我不知道什么时候使用
Spark
/
GraphX
和什么时候使用Neo4j?现在我考虑
Spark
/
GraphX
,因为它有更多
浏览 6
提问于2015-02-19
得票数 21
1
回答
用
图
/火花划分
图
、
我想使用
graphx
/
spark
进行图形划分。在自己实现它之前,在进行了一些处理之后,我想问您是否已经有了解决方案。是否有
Graphx
/
Spark
的
实现可用于
将
图
的
顶点划分为指定数目的子集,以便: 子集之间
的
边
数被最小化。子集内
的
所有顶点都使用属于子集
的
边
(直接或通过几个egdes)相互连接
浏览 7
提问于2016-04-07
得票数 1
1
回答
如何用以下方法在
GraphX
中创建一个图形
、
、
、
、
我很难理解如何在Apache中用
GraphX
创建下面的内容。我获告知以下各点: 我需要以某种方式
将
这些
数据
存储在EdgeRDD中,这样我就可以在
GraphX
中创建我
的
图形了,但是我不知道我将如何做。
浏览 2
提问于2016-12-16
得票数 0
回答已采纳
1
回答
移除
graphx
spark
中没有边
的
顶点
、
、
我想知道是否有人可以帮助我,我在
spark
中为
graphx
编写
的
函数遇到了问题,如果我有没有边
的
顶点,它会一直给出错误消息。
将
边
和顶点连接在一起时有没有一种简单
的
方法可以跳过没有任何对应
边
的
顶点?或者,有没有一种方法可以对此进行子
图
绘制?目前,如果我使用子
图
来表示
边
属性,它会保留顶点。 非常感谢您
的</
浏览 7
提问于2015-06-24
得票数 0
1
回答
Neo4j作为火花放电
的
数据
源
、
、
、
、
我有一个要求,我必须从Neo4j中提取
数据
,并从这些
数据
中创建
Spark
。我在我
的
项目中使用Python。连接器具有相同
的
用途,但它是用Scala编写
的
。所以我现在可以想出解决办法- 以小块/批
的
形式从neo4j查询
数据
,使用parallize()方法
将
每个块转
换为
Spark
。最后,使用union()方法合并/合并所有的RDD,以获得单个RDD。另一种方法是从Neo4j读取<
浏览 7
提问于2018-01-09
得票数 2
1
回答
我们可以导出星火
GraphX
图形
数据
到土卫六图形
数据
库吗?
、
、
、
我正在检查
将
星火
GraphX
图
输出到土卫六图形
数据
库
的
可行性。***Used below code to construct graph in
Spark
GraphX
and writing graph to a json file :***val graph = Graph(users, relationships) graph.vertices.saveAsTextFile("D://
Spark
-
G
浏览 2
提问于2016-02-10
得票数 1
1
回答
Neo4J和用例
、
、
我喜欢Cypher,并发现图形
数据
库是直观
的
。 考虑到扩展到更大
的
数据
集,我不相信No4J + Cypher
将
具有良好
的
性能。星星之火有
GraphX
项目,我在过去没有使用过。有没有人从Neo4J转到
GraphX
?除了可伸缩性之外,用例是否重叠?或者,
GraphX
是否解决了与Neo4J完全不同
的
问题集?
浏览 0
提问于2014-12-10
得票数 4
回答已采纳
2
回答
使用Hbase表作为输入
的
Spark
Graphx
、
我
将
键/值存储在Hbase中,我可以像所有键一样使用
GRaphX
将
这些键值对转
换为
图形吗?
将
列限定符作为->节点,而将所有值->作为连接节点
的
边
的
属性? 任何指针都会有很大帮助
浏览 1
提问于2014-11-18
得票数 1
1
回答
如何在图形中构造
图
、
、
、
、
我是scala和
graphx
的
新手,在
将
tsv文件转
换为
图形时遇到了问题。我有一个平面选项卡分隔
的
文件,如下所示:其中n1、n2、n3、n4是
图
的
节点,R1、P2、P3是构成节点之间
边
的
属性。如何在
SPARK
中从上面的文件中构造一个图形?示例代码
将
非常有用。
浏览 2
提问于2014-10-13
得票数 3
回答已采纳
1
回答
如何
将
包含(vertexId、edgeId)
的
映射转
换为
GraphX
RDDs
、
、
解析完文件中
的
图
后,我得到一个Map,其中键表示顶点(id),值表示边缘(id)。为了创建边缘(Vx->Vy),我们需要使用值( edge id)连接Map条目。目标是从这个表示创建一个
GraphX
图
。(b.L0M1,B)(a.L0M2,n4)(c.L0M2,n5)(b.L0M3,C)有没有一种直接
的
方法
将
这个tempLHM是一个可变
的
LinkedHashMap[S
浏览 1
提问于2015-12-19
得票数 3
回答已采纳
1
回答
如何以图形
的
形式从文件中读取
数据
(
GraphX
)?
、
、
我是Scala
的
新手,我正在尝试从文本文件中读取无向图为
图
(
GraphX
)。文本文件
的
格式如下:2,5,6,7,3,1我试图使用fromEdgeVD,ED方法(
GraphX
)来实现这一点,在这里,我必须传递成对
的
边缘。=>(z.map(m=>(a,m) ))}Vector((
浏览 0
提问于2019-04-22
得票数 1
回答已采纳
1
回答
Spark
DataFrame (或DataSet)中两列
的
链接值
、
、
我有一个包含两列
的
表,如下所示:1|23|48|9 我想链接其中row1.b == row2.a
的
行,并将row1.a,row2.b添加到dataframe。如(1,2),(2,3) ->
将
(1,3)添加到列表中。这必须继续下去,直到我
将
(1,4)这样
的
列添加到dataframe中,这是(1,3),(3,4)
的
结果。然而,我正在寻找一种更聪明
的
方法,不用使用count(),因为count()是一个动作,基本上是收集
数据</em
浏览 1
提问于2019-06-08
得票数 0
2
回答
Titan和
Spark
-
GraphX
有什么不同?哪一个是首选?
、
、
我正在寻找Titan和
Spark
-
GraphX
之间
的
区别,以及哪一个最好使用。我用谷歌搜索了一下,但没有找到关于这方面的文章 有没有人能对此指点一下??
浏览 0
提问于2016-02-02
得票数 4
1
回答
在Apache中创建顶点和
边
会导致错误:递归值字段需要类型
、
我正在使用
的
Ampcamp练习学习Apache星火import org.apache.
spark
.rdd.RDDval thoughts
浏览 5
提问于2015-02-18
得票数 0
回答已采纳
1
回答
在Edge中存储多列
数据
,在
Spark
中存储顶点
、
、
、
我是
Spark
Graphx
的
新手,对边有
数据
帧
,如下所示: Dataframe : edges_main MyVerticesLabel*/))).collect.mkString 我从下面的url中得到了一些线索,但我仍然对同时满足顶点和
边
的<
浏览 22
提问于2020-09-04
得票数 1
回答已采纳
3
回答
不将
Spark
Dataframe转
换为
Pandas
的
方法
、
、
、
有没有办法在不将
数据
帧
转
换为
pandas
的
情况下绘制
Spark
dataframe中
的
信息?# df = some
Spark
data frame df.plot() display(plt
浏览 17
提问于2019-07-30
得票数 8
1
回答
星火图形多重边缘类型
、
、
目前,我正在测试一个具有不同顶点和边缘类型
的
二分
图
。 scala> val vertices = VertexRDD(
浏览 0
提问于2017-01-16
得票数 2
回答已采纳
1
回答
在Apache
Spark
+大
数据
中使用
GraphX
进行图形处理
、
、
我已经使用
Spark
应用程序中
的
节点和
边
数据
创建了一个Graph。现在,我想为创建
的
图
提供邻接表。我如何才能做到这一点?val
graphx
浏览 0
提问于2018-05-20
得票数 1
1
回答
在Apache
Spark
(pyspark 2.4)中同一行
的
数据
帧
集合列表中获取重复项
、
、
在
Spark
中,使用pyspark,我有一个包含重复项
的
数据
帧
。我想用像电子邮件和mobile_phone这样
的
多重规则来删除重复
数据
。这是我在python 3中
的
代码: from pyspark.sql import Row df = sc.parallelizeraw_id='6006', first_name='rida', m
浏览 10
提问于2018-12-27
得票数 2
回答已采纳
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
什么是Spark GraphX,它用于解决什么问题?
Spark之GraphX图计算
Spark的核心组件是什么?
Spark四大特征分析介绍
大数据技术,Spark详细介绍,Spark和Hadoop的区别
热门
标签
更多标签
云服务器
ICP备案
云直播
对象存储
腾讯会议
活动推荐
运营活动
广告
关闭
领券