其实这是两种框架的区别,Hadoop框架比较侧重离线大批量计算,而spark框架则侧重于内存和实时计算。
在这些基础上,衍生出了一些常用的附属组件,比如Hadoop生态下的HBASE、hive、HDFS等,HDFS可用于数据存储,MR可用于分布式计算框架。同样,在spark的基础上也衍生出了很多组件,比如spark streaming、spark SQL、mllib等。其中spark score完全可以代替MR,spark中不仅可以有reduce操作,同时也提供了其他诸如filter sortby等操作,要比MR方便很多,同时,spark SQL可以直接把hive上的文件映射成一张表,来进行表操作。
总之一句话,前者是以空间换时间,后者是以时间换空间,即为两种模式的差别。
为了让大家更好地学习大数据中Hadoop和spark中的内容,小编为大家整理好了相关的学习资料。这些内容可以帮助大家更好地入门大数据中Hadoop和Spark这两个重要的部分,同时也可以引导大家深入学习,有需要的同学私信(邮箱)联系小编即可。
也欢迎大家留言讨论技术!
领取专属 10元无门槛券
私享最新 技术干货