问使用Hadoop将非结构化数据转换为结构化数据
EN

Stack Overflow用户

提问于 2014-06-17 18:07:51

回答 1查看 3.4K关注 0票数 0

我想要将非结构化数据转换为结构化数据，以便于数据分析，所以我想知道PIG和HIVE哪个最好。如果不能，还可以使用哪些Hadoop工具?如何使用？

发布于 2014-06-17 23:14:04

根据我的经验，最简洁、静态类型且非常灵活的方法就是滚烫。它是健壮的，简洁的，实用的。

Scalding是一个基于级联的开源Twitter项目。级联位于Hadoop之上。级联所做的是采用用户定义的阶段，并神奇地将它们‘级联’为尽可能少的MapReduce阶段。

这个页面很好地证明了Scalding是最好的Hadoop API：

Spark (从技术上讲不是Hadoop技术，实际上要好得多)现在有了一个神奇的JsonRDD --你给它一个JSON文件，它就会神奇地解决方案。

票数 0

页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持

原文链接：

https://stackoverflow.com/questions/24261054

复制

相似问题

问使用Hadoop将非结构化数据转换为结构化数据EN