首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往
  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    0593-CDH5与CDH6对比

    Cloudera于2018年8月30日正式发布CDH6.0.0,至2019年2月19日,最新的迭代版本为CDH6.1.1,可能马上就会发布CDH6.2。CDH6是基于Hadoop3同时包含大量其他组件的大版本更新的发布版本,许多用户考虑到未来CDH的版本主要是基于C6,而CDH5会慢慢的停止更新,所以考虑新搭集群使用CDH6,或者想把已有的CDH5集群升级到CDH6。第一个问题就是需要考虑CDH5和CDH6的差别,通过分析一些差异看能否将已有的应用迁移或者直接部署到CDH6,兼容性稳定性是否存在问题等。出于这个目的,本文会从各个方面详细比较CDH5和CDH6的差别,从而让用户能够进行正确的判断并进行相应的选择。以下内容主要基于最新的CDH5.16.1和CDH6.1.1进行比较。最后再次强调,没有最好的技术,也没有最新的技术就是最好的,永远只有最合适的技术。

    04

    CM+CDH 整体介绍

    大数据平台的开发环境搭建,我们前面已经说过了,需要搭建Hdfs,Yarn,Spark,HBase,Hive,ZK等等,在开发环境下搭建是用于开发测试的,全部部署在VM 虚拟机里面,小数据量小运算量还可以,数据量运算量一旦上来,虚拟机是玩不转的,这就牵涉到生产环境的Hadoop的生态搭建,难道也需要我们一步一步来搭建吗? 几台还可以,那么上百台呢? 难道也需要一台台搭建吗? 显然不可以,有没有什么好的Hadoop生态的搭建工具呢? 国外有俩家企业做了这些事,hortonworks公司推出的Ambari+HDP套件 和 Cloudrea公司推出的 CM+CDH 套件,不过这俩家公司 18年底合并了,不过这并不影响我们的使用。 2. CM+CDH介绍     CM是Cloudrea Manager的简称,是Cloudrea 提供的生产环境的Hadoop 生态部署工具,工具套件为CM+CDH,CM负责监控动态管理及部署Hadoop生态服务,CDH里面包含了绝大多数的Hadoop生态中的服务,包含Hdfs,Yarn,ZK,Hive,Hbase,Flume,Sqoop,Spark等。整体上与前面说所得Ambari + HDP类似。     CM+CDH有免费版和收费版,收费版当然功能更加强悍,比如支持回滚,滚动升级,支持Kerberos,SAML/LDAP支持,SNMP支持,自动化备份和灾难恢复,不过在我们看来,免费版已经够我们使用了。     这里简单和Ambari + HDP对已一下,CDH在部署Hadoop生态上,整体与HDP类似,通过WEB端动态部署Hadoop生态,     Name              Web        Server        Tools     hortonworks    Ambari    HDP            HDP-Util     Cloudrea         CM          CDH            CDH-Util     CM+CDH套件组成         CM:WEB应用程序,后台为Ambari Server,负责与HDP部署的集群工作节点进行通讯,集群控制节点包括Hdfs,Spark,Zk,Hive,Hbase等等。         CDH:HDP包中包含了很多常用的工具,比如Hadoop,Hive,Hbase,Spark等         CDH-Util:包含了公共包,比如ZK等一些公共组件。 3. CM+CDH 部署

    01
    领券