Memory(GB) OS Service Remark master 172.30.200.75 2 4 CentOS 7.5 jdk, cloudera-scm-server, mysql 实际部署后...,master节点也需要部署cloudera-scm-agent服务,或采用4个slave节点 slave01 172.30.200.76 2 4 centos 7.5 jdk, cloudera-scm-agent...parcel CDH-5.16.1-1.cdh5.16.1.p0.3-el7.parcel 根据版本下载 软件安装包 CDH parcel.sha CDH-5.16.1-1.cdh5.16.1.p0.3...-5.16.1-1.cdh5.16.1.p0.3-el7.parcel.sha1"重命名为"CDH-5.16.1-1.cdh5.16.1.p0.3-el7.parcel.sha",否则会重新下载"CDH...安装CDH 4.1 CDH安装配置 浏览器访问CM:http://172.30.200.75:7180 默认账号/密码:admin/admin 最终用户许可条款与条件 部署版本,选择Cloudera
CDH 介绍 CDH 全称 Cloudera’s Distribution Including Apache Hadoop,是 Cloudera 公司提供的一个 Apache Hadoop 发行版。...CDH 将 Hadoop 与其他十几个关键的开源项目集成,并且加入了集群自动化安装、中心化管理、集群监控、报警等功能。通过 CDH 可以使集群的安装从几天的时间缩短为几个小时。 ?...节点规划 Cloudera Manager Server 节点提供 WebUI 操作界面,管理 Cloudera Manager Agent 节点,在运行 Agent 的机器上部署大数据相关组件。...选择对应的 CDH parcel 版本。 ?...集群开始安装部署,启动服务。 ? 完成安装。 ? CDH 集群安装检查 登陆 Clouder Manager 管理界面,可以检查集群各组件运行情况。 ?
utf-8; } 3、启动nginx #启动httpd服务: systemctl enable nginx systemctl start nginx 配置Web服务器 1、解压压缩包 #上传本地cdh6.2.1....tar.gz软件包到服务器/usr/local/src/目录并解压 scp cdh6.2.1.tar.gz root@10.0.0.7:/usr/local/src tar zxvf /usr/local.../src/cdh6.2.1.tar.gz 2、配置rpm包 mv /usr/local/src/html/* /var/www/html/ 3、验证浏览器是否可以正常访问 配置mysql 安装Mysql...的安装包 地址为: https://archive.cloudera.com/cdh6/6.2.1/parcels 3、执行createrepo命令生成rpm元数据 4、制作Cloudera Manager...检查端口是否监听,开放外网端口号为7180 netstat -lntp |grep 7180 访问CM, 登录地址 http://localhost:7180 默认账号密码为: admin/admin CDH
-5.12.1-1.cdh5.12.1.p0.3-el7.parcel CDH-5.12.1-1.cdh5.12.1.p0.3-el7.parcel.sha1 manifest.json Cloudera...包放到主节点的/opt/cloudera/parcel-repo/目录中 CDH-5.12.1-1.cdh5.12.1.p0.3-el7.parcel.sha1 重命名为 CDH-5.12.1...-1.cdh5.12.1.p0.3-el7.parcel.sha 这点必须注意,否则,系统会重新下载 CDH-5.12.1-1.cdh5.12.1.p0.3-el6.parcel 文件 本文采用离线安装方式...-5.12.1-1.cdh5.12.1.p0.3-el7.parcel.sha1 否则,系统会重新下载 CDH-5.12.1-1.cdh5.12.1.p0.3-el7.parcel mv CDH-5.12.1...四、CDH5 安装 CM Manager && Agent 成功启动后,登录前端页面进行 CDH 安装配置。
-5.12.1-1.cdh5.12.1.p0.3-el7.parcel CDH-5.12.1-1.cdh5.12.1.p0.3-el7.parcel.sha1 manifest.json Cloudera...包放到主节点的/opt/cloudera/parcel-repo/目录中 CDH-5.12.1-1.cdh5.12.1.p0.3-el7.parcel.sha1 重命名为 CDH-5.12.1-1.cdh5.12.1...-5.12.1-1.cdh5.12.1.p0.3-el7.parcel CDH-5.12.1-1.cdh5.12.1.p0.3-el7.parcel.sha manifest.json 拷贝到该目录下。...-5.12.1-1.cdh5.12.1.p0.3-el7.parcel.sha1 否则,系统会重新下载 CDH-5.12.1-1.cdh5.12.1.p0.3-el7.parcel mv CDH-5.12.1...-1.cdh5.12.1.p0.3-el7.parcel.sha1 CDH-5.12.1-1.cdh5.12.1.p0.3-el7.parcel.sha Agent 节点创建目录/opt/cloudera
这是可以通过访问CM来查看刚刚部署的CDH集群了。 2.6. 集群截图 2.6.1. 进入系统 使用CM的默认管理员账号(admin/admin)进入系统 ?...调整CDH组件 调整使用的CDH组件,这个需要roles/cdh/templates/ host.j2文件。通过调整该文件,来调整每个节点的CDH功能分布。...配置CDH版本 目前程序默认是使用CDH6.3.0版本,如果需要调整版本,则需要调整group_vars/all中的cluster_version_cdh信息 ##-------------------...配置yum源 由于国内网络问题,基本上不可能在线部署CDH集群,需要在本地制作yum源。程序默认使用的是Cloudera公司的repository,因此需要将其调整为本地的yum源来进行部署。...创建本地的yum源和CDH parcel库的方法参考CDH集群部署手册,这里主要讲如果调整Cloudera playbook的内容。
本篇文章Fayson主要介绍如何在CDH集群部署Presto并与Hive集成。...内容概述: 1.安装准备及环境说明 2.Presto部署及Hive集成 3.Presto与Hive集成测试 4.总结 测试环境: 1.CM5.14.3/CDH5.14.2 2.Presto版本0.205...3.操作系统版本为Redhat7.3 4.采用root用户进行操作 2.安装准备及环境说明 ---- 1.Presto部署节点及角色说明 IP地址 HOSTNAME NodeID 角色 172.27.0.4...至此就完成了Presto集群的部署。...Constraint violation with property prefix'': environment is malformed” 2.Presto服务和Presto CLI均是JAVA实现,所以在部署前需要安装好
master.cdh.com 192.168.32.182 slave1.cdh.com 192.168.32.183 slave2.cdh.com (3) 修改Hostname...#拷贝公钥到其他机器 ssh-copy-id master.cdh.com ssh-copy-id slave1.cdh.com ssh-copy-id slave2.cdh.com 同理:...CM+CDH安装 3.1 CDH下载,以CentOS7.5和CDH5.16.1举例 (1) cm的tar包下载 http://archive.cloudera.com...自定义存储库:http://cm.cdh.com/cdh_repo/cm/5/ 选择正确的cdh版本 (5) 安装jdk,默认不勾选,此处不勾选安装,直接继续...-5.16.1-1.cdh5.16.1.p0.3/lib/ 到此为止,cm+cdh hadoop集群安装完毕
集群中部署及使用Kylin。...内容概述 1.下载Kylin 2.部署Kylin 3.Demo1 4.Demo2 测试环境 1.RedHat7.4 2.CM/CDH5.13.3 3.Apache Kylin2.1.0 4.集群未启用Kerberos...前置条件 1.CDH集群正常运行 2.Hive,HBase服务运行正常 3.安装Kylin服务的节点已经部署Hive Gateway 2.下载Kylin ---- 社区版kylin下载地址:https...3.部署Kylin ---- 这里测试只部署了一个节点,实际生产可以部署多个节点,kylin是无状态的,前端做负载均衡。 1.上传kylin包至服务器 ?...2.解压至/usr/local目录,并建软链接 [root@hadoop3 ~]# tar -zxvf apache-kylin-2.1.0-bin-cdh57.tar.gz -C /usr/local
本篇文章Fayson主要介绍如何在CDH集群中部署Kafka-Manager并简单的介绍使用。...内容概述 1.环境准备 2.Kafka-Manager编译及部署 3.Kafka-Manager使用 4.总结 测试环境 1.CM和CDH版本为5.15 2.Kafka版本为0.10.2+kafka2.2.0...3.部署Kafka-Manager ---- 1.将上述编译好的kafka-manager-1.3.3.21.zip压缩包,拷贝至/opt/cloudera目录下并解压 [root@cdh01 universal...]# cp kafka-manager-1.3.3.21.zip /opt/cloudera/ [root@cdh01 universal]# cd /opt/cloudera/ [root@cdh01...4.在浏览器输入http://cdh01.fayson.com:8090访问即可 ? 到此为止Kafka-Manager就部署成功了。
登录Cloudera Manager 默认用户名密码都是admin,第一次登录成功之后先进入到cloudera manager的安装引导界面: CDH安装 CDH文件上传 下载 CDH 安装包和 sha...5.15.0/CDH-5.15.0-1.cdh5.15.0.p0.21-el7.parcel wget http://archive.cloudera.com/cdh5/parcels/5.15.0/CDH...-5.15.0-1.cdh5.15.0.p0.21-el7.parcel.sha1 在通过 Cloudera Manager 进行网络安装CDH 的时候可能会比较慢,或卡住所以我们可以将已经下好的 CDH...包上传到server 端服务器上 把下载好的CDH-5.7.1-1.cdh5.7.1.p0.11-el6.parcel.sha1 重命名 CDH-5.7.1-1.cdh5.7.1.p0.11-el6....parcel.sha 把CDH的parcel和sha文件上传到server机 的 /opt/cloudera/parcel-repo/目录 CDH-5.15.0-1.cdh5.15.0.p0.21-el7
集群中安装》和《如何通过Livy的RESTful API接口向非Kerberos环境的CDH集群提交作业》,本篇文章主要介绍如何在Kerberos环境的CDH集群中部署Livy服务。...内容概述 1.部署Livy服务 2.修改Livy及Hadoop配置 3.Livy服务启停 4.总结 测试环境 1.CM和CDH版本为5.14.0 2.Livy版本为0.4 前置条件 1.集群已启用Kerberos...2.部署Livy ---- 1.将编译好的Livy包上传至CDH集群的节点 [root@ip-172-31-30-69 cloudera]# scp livy.tar.gz ip-172-31-21-...CDH的集成。...6.总结 Livy部署服务器必须安装Kerberos客户端及部署CDH集群GateWay角色及,具体可以参考《如何给Kerberos环境下的CDH集群添加Gateway节点》 Livy服务集成Kerberos
1 文档编写目的 详细记录CDH5上Dolphin Scheduler 1.3.1的部署流程 分布式部署Dolphin Scheduler 2 部署环境和依赖组件 为了适配CDH5上的Hive版本, 需要对...DS进行源码编译部署,最后会提供编译好的CDH5版本供各位老铁下载 集群环境 CDH 5.16.2 HDFS和YARN都是单点 DS的官网 https://dolphinscheduler.apache.org...包,1.3.1版本的前后端是打在一起的,并没有两个包. 5 组件部署 准备工作 创建部署用户及配置SSH免密 在所有部署机器上创建部署用户,ds在进行任务执行的时候会以sudo -u [linux-user...1.3.0版本的install.sh脚本只是一个部署脚本,部署配置文件在conf/config/install_config.conf中。...joyq 6 总结 dolphinscheduler-1.3.1版本在部署上大幅精简了install.sh的配置,可以让用户快速部署起来。
文档内容 文档主要包括以下内容 FreeIPA客户端配置 CDH集群使用FreeIPA启用Kerberos Kerberos使用 假设前提 这篇文档将重点介绍如何在CDH集群使用FreeIPA启用及配置...Kerberos,并基于以下假设: CDH集群运行正常 集群未启用Kerberos MySQL 5.1.73 测试环境 以下是本次测试环境,但不是本操作手册的必需环境: 操作系统:CentOS7.5 CDH...和CM版本为6.3.1 采用root用户进行操作 02 — 部署FreeIPA客户端 集群所有节点部署FreeIPA客户端 1)在集群的所有节点上安装FreeIPA客户端介质: yum -y install...03 — CDH集群启动安全 1) 登陆CM,进入Administration->Security,准备启动安全 ?...8) 配置Kerberos,包括部署其他节点客户端命令,配置端口等。我们前面已经配置了其他机器的kerberos客户端,这里不需要配置。端口保存默认。 ? 9) 点击“继续”启用Kerberos ?
general_ci;# Hue数据库create database hue DEFAULT CHARSET utf8 COLLATE utf8_general_ci;flush privileges;quit;CM部署安装依赖包
本文是《CDH5部署三部曲》的第二篇,上一篇《CDH5部署三部曲之一:准备工作》将集群所有机器做了必要的设置,今天一起来完成CDH的部署、启动、设置等操作; 系列文章链接 《CDH5部署三部曲之一:准备工作...》 《CDH5部署三部曲之二:部署和设置》 《CDH5部署三部曲之三:问题总结》 master机器上的设置 SSH登录master机器,执行以下操作: 安装mariadb: yum install mariadb-server.../parcel-repo目录下的CDH-5.7.6-1.cdh5.7.6.p0.6-el7.parcel.sha1文件改名为CDH-5.7.6-1.cdh5.7.6.p0.6-el7.parcel.sha...然后登录worker2,重复上述操作; 至此,CDH部署和启动完成,可以开始设置了; 设置CDH 浏览器访问地址:http://192.168.133.154:7180 ,会提示登录,账号和密码都是admin...至此,CDH5部署和启动都已完成,但实际的启动过程并非一帆风顺,HDFS、Hive等服务都可能启动失败,下一篇文章会将这些问题以及解决方法都列出来;
中部署及使用Kylin》,文章中包含了如何在CDH上部署Kylin,以及创建cube,然后进行查询的两个demo例子。...但对于CDH的生产系统,往往都会部署配置安全多租户,即Kerberos+Sentry,当CDH启用了Kerberos后,对于外部系统比如Kylin对接到CDH,我们就需要考虑安全认证的问题。...本文主要描述如何在启用Kerberos的CDH集群中如何部署及使用Kylin。...内容概述 1.下载Kylin 2.部署Kylin 3.Demo1 测试环境 1.RedHat7.2 2.CM/CDH5.14.2 3.Apache Kylin2.3.1 4.集群启用Kerberos 前置条件...1.CDH集群正常运行 2.Hive,HBase服务运行正常 3.安装Kylin服务的节点已经部署Hive Gateway、HBase Gateway角色 2.下载Kylin ---- 社区版kylin
1 文档编写目的 本文主要讲述安装部署CDH集群的前置准备工作以及个人的一些理解。 安装部署CDH集群的前置准备通常包括以下步骤: 1. 安装操作系统并配置IP地址 2....2、离线安装,需要在CM节点挂载操作系统版本相同的镜像,部署Web Server配置http形式的Repo源并拷贝到集群所有节点,确保集群其他节点能够正常访问,当然,不一定非要在CM节点,只要在集群能够访问的任一节点部署都行...7 配置时钟同步 部署分布式的Hadoop集群,都必须要做时钟同步,统一集群时间。CDH目前支持ntp和chrony两种时钟同步服务,任选一种进行时钟同步配置即可。...对应的是数据库类型,Mariadb和Mysql都是使用mysql,第一个“cm”是CM的数据库名,第二个“cm”是CM数据库对应的用户名,“password”是CM数据库的密码,“-h”参数选填,如果数据库部署在...13 总结 以上就是安装部署CDH集群前置准备的内容,时间原因,写得比较粗糙,后续会对相关内容进一步细化,请持续关注!
.com com.cloudera.cmf.db.setupType=EXTERNAL 节点部署离线parcel源 1.安装httpd服务 yum install -y httpd 2.部署离线...parcel源 sudo mkdir -p /var/www/html/cdh6_parcel 将以上是哪个文件放入cdh6_parcel目录下 sudo cp CDH-6.3.1-1.cdh6.3.1....p0.1470567-el7.parcel CDH-6.3.1-1.cdh6.3.1.p0.1470567-el7.parcel.sha1 manifest.json /var/www/html/cdh6..._parcel/ 并且重命名sha文件 sudo mv CDH-6.3.1-1.cdh6.3.1.p0.1470567-el7.parcel.sha1 CDH-6.3.1-1.cdh6.3.1.p0.1470567...-el7.parcel.sha 启动httpd systemctl start httpd systemctl status httpd 访问网址:http://www.cdh1.com/cdh6
CDH测试环境 6台机器 网关节点部署worker CM节点部署master和监控web 网关节点上已经部署hive&spark网关 平台版本 CDH5.16.2 Dolphin Scheduler...后端部署 准备工作 下载安装包 https://dolphinscheduler.apache.org/en-us/docs/release/download.html ?...创建部署用户 创建部署用户并设置密码(所有部署机器) 将部署用户挂到hadoop组下,使用hdfs作为资源中心 配置sudo免密 # add user dscheduler useradd dscheduler...数据库初始化 进入CDH集群的mysql mysql -uroot -p 默认数据库是pg,mysql需要添加mysql-connector-java包到lib目录下 执行数据库初始化命令,设置访问账号密码...工具 CDH集群默认是python2.7 yum -y install python-pip; pip install kazoo; ?
领取专属 10元无门槛券
手把手带您无忧上云