graphchi - 腾讯云开发者社区 - 腾讯云

开发者社区

文档建议反馈控制台

文章/答案/技术大牛

发布

深度 | 图计算系统进展和展望

从卡内基梅隆大学的GraphLab项目分派出一个发展很快的分支：GraphChi。...当计算机主存无法容纳全部图数据进行内存计算的时候，GraphChi这种图数据的磁盘存储设计使得图计算能具有I/O高效的性质。...与此同时，基于磁盘的单机图计算系统（如GraphChi、X-Stream[11]）提供廉价且有竞争力的处理能力。...比GraphChi和Xstream的写入磁盘数据总量分别小40和50倍。...采用现有的图计算系统实现这个处理时，GraphLab和GraphChi都能直接实现从一个给定的起始节点出发的一次随机游走。

2.4K4 0

如何成为一名推荐系统工程师

Angel，MXNet，TensorFlow，Caffe, Xgboost，VW，libxxx 文本处理：Word2vec，Fasttext，Gensim，NLTK 矩阵分解：Spark ALS，GraphCHI...，implicit，qmf，libfm 相似计算：kgraph, annoy，nmslib, GraphCHI, columnSimilarities(spark.RowMatrix) 实时计算：Spark...GraphLab/GraphCHI：GraphCHI是开源的单机版，GraphLab是分布式的，但并不开源。...所以建议推荐系统工程师重点学习一下GraphCHI，它有Java和C++两个版本，实现了常见的推荐算法，并在单机上能跑出很高的结果。...有一个不得不承认的事实是：GraphCHI和GraphLab在业界应用得并不广泛。

2.3K6 1

您找到你想要的搜索结果了吗？

是的

没有找到

06.NDSS20 UNICORN: Provenance-Based Detector for APTs

因此，我们检测到两种形式的异常行为：不符合现有聚类的概要聚类之间的无效转换 Ⅴ.实现本文实现使用图形处理框架GraphChi，在C++中实现了UNICORN的图形处理算法，在Python中实现了数据解析和建模组件...GraphChi是一个基于磁盘的系统，它可以在一台计算机上高效地计算具有数十亿条边的大型图。使用GraphChi，UNICORN可以在不需要将整个溯源图存储在内存中的情况下获得高效的分析性能。...UNICORN依赖于GraphChi的两个重要特性： GraphChi使用一个并行滑动窗口（PSW）算法将形分割成碎片，每个碎片中的边数大致相同；它并行计算每个碎片。...UNICORN利用GraphChi对流图的高效计算。 Ⅵ.实验评估我们分析了大约1.5TB的系统监控数据，其中包含来自各种跟踪系统的操作系统级溯源记录，证明了我们的方法的适用性。

1.5K3 0

中文综述 | 图预处理怎么做？

为了解决这些挑战，提出了各种基于通用硬件平台(CPU & GPU)的框架，如GraphChi [55]和CuSha [54]。...例如，GraphChi [55]、Graphicionado [42]、GraphDynS [109]、FPGP [24]和HyGCN [108]利用重组技术将图数据预分割为多个分片，以实现连续的内存访问并提高性能

4082 0

吴甘沙清华讲：大数据的10个技术前沿（中）

这里面举了几个例子，分析，现在大数据的问题中有很大一部分是图问题，或者是复杂网络问题，这里面选了两个：GraphLab，一个是GraphChi，GraphChi把数据的结构进行了改变，使它能够流处理，最后在一台机器上能够达到十台...这个过程中涉及到核心模型数据结构的可改变性，GraphChi就能够支持图结构的修改。

9573 0

「图型计算架构」GraphTech生态系统2019-第2部分：图形分析

其他系统，比如GraphChi或PowerGraph Create，都是在GraphLab于2009年发布之后推出的。这个系统最初是卡内基梅隆大学的一个开源项目，现在被称为Turi。

9892 0

近邻推荐之基于用户的协同过滤

这种计算对象两两之间的相似度的任务，如果数据量不大，一般来说不超过百万个，然后矩阵又是稀疏的，那么有很多单机版本的工具其实更快，比如 KGraph、 GraphCHI 等。

2K8 0

DDIA：图计算和迭代处理

即使图结构比单机存大一些，但可以放到单机硬盘上，相较分布式系统，像 GraphChi 这样的单机处理引擎也往往是更好的选择。

3051 0

分布式系统(Distributed System)资料

large-scale graph processing》介绍：Google的大规模图计算系统，相当长一段时间是Google PageRank的主要计算系统，对开源的影响也很大（包括GraphLab和GraphChi...Framework for Parallel Machine Learning》介绍：CMU基于图计算的分布式机器学习框架，目前已经成立了专门的商业公司，在分布式机器学习上很有两把刷子，其单机版的GraphChi

4.1K8 1

推荐算法设计综述

在数据可扩展性方法，常见的解决思路是将数据分成若干片段，然后在片段上进行模型学习，比如GraphChi [46]。...GraphChi: large-scale graph computation on just a PC.

1.4K4 0

【干货】完结篇：英特尔中国研究院院长吴甘沙演讲全文

这里面举了几个例子，分析，现在大数据的问题中有很大一部分是图问题，或者是复杂网络问题，这里面选了两个：GraphLab，一个是GraphChi，GraphChi把数据的结构进行了改变，使它能够流处理，最后在一台机器上能够达到十台...这个过程中涉及到核心模型数据结构的可改变性，GraphChi就能够支持图结构的修改。

1.1K9 0

独家 | 一文读懂社交网络分析-下（应用、前沿、学习资源）

numpy，pandas，scikit，scrapy，twitter ）更多请见 http://blog.csdn.net/hmy1106/article/details/45166261 图分析分析工具 Graphchi

2.2K12 0

如何在机器学习竞赛中更胜一筹？

用于快速可伸缩梯度提升的Xgboost LightGBM 用于快速记忆效率线性模型的Vowpal Wabbit 神经网络 encog H2O在R为许多型号 LibFm LibFFM 使用Java的Weka 用于因式分解的Graphchi

2.2K7 0

娓娓道来图模型、图查询、图计算和图学习知识

笔者曾在腾讯CSIG开发过基于GraphCHI存储的分布式核外（即磁盘为主）异构图的图计算系统，但由于磁盘I/O效率过低，而业务中对内存的成本并无严苛的要求，该图计算系统实际应用性不足。

4.1K3 3

关于图计算&图学习的基础知识概览：前置知识点学习（Paddle Graph L）系列【一】

除了使用向外扩展的分布式图计算系统来处理规模超出单机内存的图数据，也有一些解决方案通过在单台机器上高效地使用外存来完成大规模图计算任务，其中的代表有GraphChi、X-Stream、FlashGraph

1.2K4 0

关于图计算&图学习的基础知识概览：前置知识点学习（Paddle Graph L）

除了使用向外扩展的分布式图计算系统来处理规模超出单机内存的图数据，也有一些解决方案通过在单台机器上高效地使用外存来完成大规模图计算任务，其中的代表有GraphChi、X-Stream、FlashGraph

2.3K1 0

超级干货：一文读懂社交网络分析

numpy，pandas，scikit，scrapy，twitter ）更多请见 http://blog.csdn.net/hmy1106/article/details/45166261 图分析分析工具 Graphchi

3.8K3 1

相关资讯

从数据划分到任务执行的分布式图数据计算简介

热门标签

活动推荐

运营活动

活动名称

广告关闭