开发者社区

文档建议反馈控制台

文章/答案/技术大牛

发布

社区首页 >问答首页 >Word2Vec : Apache Spark和Tensorflow实现

问Word2Vec : Apache Spark和Tensorflow实现
EN

Stack Overflow用户

提问于 2017-04-29 01:08:55

回答 1查看 541关注 0票数 1

这个Word2Vec的实现是https://github.com/apache/spark/blob/master/mllib/src/main/scala/org/apache/spark/mllib/feature/Word2Vec.scala Word2Vec https://code.google.com/archive/p/word2vec/的一个端口

这是论文“向量空间中单词表示的有效估计”的实现吗：https://arxiv.org/abs/1301.3781？

Tensorflow Word2Vec确实参考了论文《向量空间中单词表示的有效估计》。

那么，Apache Spark和Tensorflow Word2Vec的实现之间有什么区别，应该在什么条件下使用它们？

apache-spark-mllib

EN

回答 1

Stack Overflow用户

发布于 2017-04-29 13:46:18

有不同的方法来实现word2vec，但根据pyspark的说法，他们是通过跳过语法( https://spark.apache.org/docs/2.1.0/mllib-feature-extraction.html#word2vec )来实现的。Tensorflow文档称，他们也使用跳过语法模型(https://www.tensorflow.org/tutorials/word2vec)。仅仅看一眼这两个文档，它们似乎也是以相同的方式计算的。
Spark在分布式环境中做得非常好，据我所知，当数据变得更大时，tensorflow与mllib的基准测试结果是一样的，因为Tensorflow分布式是相当新的。

票数 1

EN

页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持

原文链接：

https://stackoverflow.com/questions/43685511

复制

相似问题