我想要将非结构化数据转换为结构化数据,以便于数据分析,所以我想知道PIG和HIVE哪个最好。如果不能,还可以使用哪些Hadoop工具?如何使用?
发布于 2014-06-17 15:14:04
根据我的经验,最简洁、静态类型且非常灵活的方法就是滚烫。它是健壮的,简洁的,实用的。
Scalding是一个基于级联的开源Twitter项目。级联位于Hadoop之上。级联所做的是采用用户定义的阶段,并神奇地将它们‘级联’为尽可能少的MapReduce阶段。
这个页面很好地证明了Scalding是最好的Hadoop API:
https://github.com/twitter/scalding/wiki/Rosetta-Code
Spark (从技术上讲不是Hadoop技术,实际上要好得多)现在有了一个神奇的JsonRDD --你给它一个JSON文件,它就会神奇地解决方案。
https://stackoverflow.com/questions/24261054
复制相似问题