cdh大数据 - 腾讯云开发者社区

文章/答案/技术大牛

发布

【CDH实战】CM6.3.1&CDH6.3.2大数据集群搭建详解

【大数据搭建HDP3.x】Ambari2.7.4+HDP3.1.4离线搭建教程（上） 1、介质下载 #下载cm及cdh的yum源nohup wget -c -r -np -nc -L -p https...-p https://archive.cloudera.com/cdh6/6.3.2/parcels/CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel.sha1 2...[cloudera-CDH]name=CDH 6.3.2baseurl=http://10.172.54.58/yumdir/archive.cloudera.com/cdh6/6.3.2/yum/gpgkey...安装数据库，mariadb安装忽略，注意版本兼容性 MariaDB10.1 #创建数据库、用户并赋权MariaDB [(none)]> GRANT ALL PRIVILEGES ON *.* TO '...#本机使用本地数据库，如使用远程数据库，参考/opt/cloudera/cm/schema/scm_prepare_database.sh mysql -h 10.172.54.38 -P 3323

2.7K6 1

大数据平台CDH搭建

HDFS、MapReduce、Hive、Pig、 Hbase、Zookeeper、Sqoop,简化了大数据平台的安装、使用难度。...生成密钥对 for num in `seq 1 3`;do ssh-copy-id -i /root/.ssh/id_rsa.pub root@hadoop-$num;done c.在cm-server安装数据库..." 登录数据库后我们采用root登录 e.java环境配置如果系统有安装java环境卸载干净使用oracle的jdk，此处使用jdk-7u80-linux-x64.rpm,在各节点均配置java环境.../parcels/5.14.2/CDH-5.14.2-1.cdh5.14.2.p0.3-el7.parcel wget -c http://archive.cloudera.com/cdh5/parcels.../5.14.2/CDH-5.14.2-1.cdh5.14.2.p0.3-el7.parcel.sha1 -O CDH-5.14.2-1.cdh5.14.2.p0.3-el7.parcel.sha wget

5.8K5 0

您找到你想要的搜索结果了吗？

是的

没有找到

大数据CDH集群安装实录

简介：通过ClouderaManager管理CDH集群，从而为大数据集群做统一管理，在整个大数据集群运维的角度来说，提供了很多便利点。...MySQL，是要存储集群元数据信息和集群基本数据。...等待分发parcel包结束：验证网络和主机映射：选择自定义服务，按照我们自己的需求进行安装即可：分配不同主机的角色：其中主节点为data-dev-staging-01（图中为cdh1）选择数据库存储部署信息...，相当的麻烦，所以安装CDH大数据集群的时候，一般不会动这个JAVA_HOME的位置。...集群内MySQL主要面向集群所需数据存放，不对外提供服务，甚至对大数据组内也不提供数据支持。所需用到的RDBMS技术支持，请直接使用SQLManager。

5341 0

CDH Disk Balancer 磁盘数据均衡

前提： CDH5.10 由于数据量过多，磁盘大小太小，导致磁盘使用率高达90%以上，于是新增磁盘，可问题来了，如何将这两块磁盘上的数据进行均衡呢？...hadoop在2.X中已经有相应的方法了(具体哪个版本忘了)，本次基于CDH来做 1.设置dfs.disk.balancer.enabled 为true ?...2.hdfs diskbalancer -plan cdh03(需要均衡的机器) 会生成一个*.plan.json的文件 3.hdfs diskbalancer -execute /system/diskbalancer.../2017-Jun-26-10-10-14/cdh04.plan.json 4.hdfs diskbalancer -query cdh04 DONE的时候表示已经执行完毕备注：此过程由于数据量相对比较大...另外执行时间的长度取决于：数据量、网络IO、磁盘IO及新写入的数据量大小可同时配置dfs.datanode.fsdataset.volume.choosing.policy(磁盘的选择策略) 参考地址

3.2K1 0

大数据平台 CDH 6.2 搭建

CDH6.2.0安装包地址： https://archive.cloudera.com/cdh6/6.2.0/parcels/ 由于我们的操作系统为CentOS7，需要下载以下文件： ?...; hive中的元数据 CREATE DATABASE metastore DEFAULT CHARSET utf8 COLLATE utf8_general_ci; GRANT ALL ON metastore...在/opt/cloudera/parcel-repo执行以下命令： sha1sum CDH-6.2.0-1.cdh6.2.0.p0.967373-el7.parcel | awk '{ print $1...}' > CDH-6.2.0-1.cdh6.2.0.p0.967373-el7.parcel.sha ?...和上面设置的对应的数据库的密码保持一直 /opt/cloudera/cm/schema/scm_prepare_database.sh mysql cmserver cmserveruser Yyf5211314

1.5K2 1

离线部署 CDH 5.12.1 及使用 CDH 部署 Hadoop 大数据平台集群服务

root@node$a:/opt/cloudera-manager/cm-5.12.1/etc/cloudera-scm-agent/config.ini ; done 4、配置 CM Server 的数据库...在主节点 node1 初始化CM5的数据库：下载 mysql 驱动包 cd /opt/cloudera-manager/cm-5.12.1/share/cmf/lib wget http://maven.aliyun.com...scm_prepare_database.sh mysql cm -h -u -p --scm-host scm scm scm 对应于：数据库类型...数据库服务器用户名密码 –scm-host Cloudera_Manager_Server 所在节点…… 5、创建 Parcel 目录 Manager 节点创建目录/opt/cloudera...Manager 启动成功需要等待一段时间，过程中会在数据库中创建对应的表需要耗费一些时间。

2.9K10 0

离线部署 CDH 5.12.1 及使用 CDH 部署 Hadoop 大数据平台集群服务

2.9K9 0

【大数据安全】CDH集群禁用Kerberos

环境 CDH版本：5.11.2 Linux版本：7.4.1708 Docker版本：Docker version 18.06.0-ce JDK版本：1.8 Zookeeper enableSecurity

1.6K3 0

CDH安装

systemctl start mysqld# 查看初识密码cat /var/log/mysqld.log | grep password# mysql登录mysql -uroot -p# mysql数据初始化...identified by 'P@ssw0rd';grant all privileges on amon.* to 'amon'@'%' identified by 'P@ssw0rd';# Hive数据库...#table to '#userName'@'#host';# 给test账号赋值权限# Oozie数据库create database oozie DEFAULT CHARSET utf8 COLLATE...utf8_general_ci;# Hue数据库create database hue DEFAULT CHARSET utf8 COLLATE utf8_general_ci;flush privileges

6574 0

【CDH篇】---CDH从初识到搭建到应用

简单来说CDH就是把我们知道的大数据家族组件进行了一个组合，然后提供了一个WEB-UI的页面，使原来的搭建操作变得非常简单。CDH架构图如下： ?...Management是元数据管理，DataBase是元数据的对应的数据库。.../cloudera-scm-server start Sever首次启动会自动创建表以及数据，不要立即关闭或重启，否则需要删除所有表及数据重新安装!!!...终于到安装各个服务的地方了，注意，如果采用其他数据库安装Hive等组件的时候报错，检查之前配置CM Server数据库时，jar包拷贝位置及名称是否修改 ?...CDH部署步骤： 1、启动CM Server、 Agent 2、选择节点 3、选择本地Parcel 4、服务器检查 5、选择服务 6、服务配置 7、数据库设置 8、集群设置 9、安装完成 CDH建库脚本

3.7K3 0

如何升级CDH7.1.1到CDH7.1.3

CDH7.1.3 中 Ozone终于可以正式用于生产环境了。为了直观体验Ozone，我们需要把现有CDH7.1.1集群升级到CDH7.1.3。如何升级CDH集群，这便是本文要讲的主要内容。...首先准备要升级的rpm包配置cloudera-manager.repo文件备份Cloudera Manager数据库停止Cloudera Management Service服务备份Cloudera...Manager数据库备份了如下几个数据库： Cloudera Manager Server Cloudera Navigator Audit Server Cloudera Navigator Metadata...升级准备CDH7.1.3的parcel包备份NameNode上的HDFS Metastore和数据库向集群中添加新版的存储库升级Cluster1上运行的版本集群升级成功添加Ozone服务，Ozone...Recon页面到此CDH和CM升级完成。

1.9K3 2

安装CDH汇总

cd /var/lib/cloudera-scm-agent/ rm -rf cm_guid service cloudera-scm-agent restart 2、数据库设置链接错误...xuchao918.github.io/2019/05/31/Centos7%E5%AE%89%E8%A3%85%E5%A4%A7%E6%95%B0%E6%8D%AE%E5%B9%B3%E5%8F%B0CDH

1K3 0

kettle连接cdh——读取hdfs中的数据

目前pentaho——kettle已经到了8.1的版本了，本文主要介绍如何利用kettle进行大数据处理。好，下面上货。...1、下载shims，简单的说这个shim可以理解成针对不同cdh的版本的插件，具体下载地址在这里：我用的是cdh510....下图是预览数据后的截图： 8、之后我们就可以简单的把文件处理输出到本地文件系统中了。从而我们成功的连接了hdfs，而且，我们也能够操作hdfs了。...最后我们本地文件的内容： aa;bb;cc;dd 1;2;3;4 1;2;3;5 2;2;6;5 2;3;4;5 2;3;6;4 2;2;8;4 综上，我们能够使用kettle进行hdfs中数据的读取，...这也就意味着，我们能够使用kettle进行hdfs上的大数据ETL了。

2.2K2 0

CDH集成Kafka

CDH集成Kafka,两种方式：离线、在线 1.离线先下载相应版本的kafka http://archive.cloudera.com/kafka/parcels/ 然后放置相应目录...配置相应的kafka地址 http://archive.cloudera.com/kafka/parcels/latest/ CDH会自动选择相应的kafka版本，然后保存设置 ?

1.4K2 0

CDH安装指南

CDH环境的配置以及安装 CDH安装 1....Parcel和manifest文件、CM wget http://archive.cloudera.com/cdh5/parcels/5.7.2/CDH-5.7.2-1.cdh5.7.2.p0.18...-el7.parcel （1.3G） wget http://archive.cloudera.com/cdh5/parcels/5.7.2/CDH-5.7.2-1.cdh5.7.2.p0.18-el7...systemctl restart mariadb 在MySql中创建CDH所需要的数据库 create database hive DEFAULT CHARSET latin1 COLLATE latin1...如果出现Can’t create database ‘scmdbn’; database exists：请登录mysql，删除该scmdbn数据库，再重新执行上面的初始化数据库的SQL命令，删除该数据库的

1.7K3 0

Cloudera Manager(简称CM)+CDH构建大数据平台

2.CM四大功能 1.管理：对集群进行管理，如添加、删除节点等操作。 2.监控：监控集群的健康情况，对设置的各种指标和系统运行情况进行全面监控。...、数据库、数据库服务器、用户名、密码、cm server服务器登录名登录密码 2.下载CDH文件(Server服务器操作) 下载CDH安装文件到CM的parcel包里，就可以通过parcel...包进行安装CDH了，安装和升级都更加的方便了。...六、CM里安装CDH 1.登录CM并按照步骤进行安装指定主机就是集群的所有机器了。可以通过模式匹配来进行搜索。 ? -选择CDH版本为自己下载的parcel版本 ?...直到出现安装成功页面，并进入CM主页，表示CM+CDH已经安装成功！ ?

4.4K2 1

0671-6.2.0-如何将CDH5.12的Hive元数据迁移到CDH6.2

作者：余枫 1 文档编写目的这里我们假定一个场景，你需要迁移CDH5.12到CDH6.2，CDH5.12和CDH6.2分别是两个不同的集群，我们的工作主要是HDFS数据和各种元数据从CDH5.12迁移到...CDH6.2，本文不讨论HDFS数据的迁移也不讨论其他元数据的迁移比如CM或Sentry，而只关注Hive元数据的迁移。...这里的问题主要是CDH5.12的Hive为1.1，而CDH6.2中Hive已经是2.1.1，Hive的大版本更新导致保存在MySQL的schema结构都完全发生了变化，所以我们在将CDH5.12的MySQL...数据导入到CDH6.2的MySQL后，需要更新Hive元数据的schema。...4.导出CDH5.12.0集群的Hive的元数据 ? 3 迁移步骤 1.将上一步中的元数据导入到CDH6.2.0的MySQL中 ?

1.9K3 0

CDH 5.16.1 离线部署 & 通过 CDH 部署 Hadoop 服务

parcel CDH-5.16.1-1.cdh5.16.1.p0.3-el7.parcel 根据版本下载软件安装包 CDH parcel.sha CDH-5.16.1-1.cdh5.16.1.p0.3...：必选项，针对postgresql|mysql，创建SCM数据库;针对oracle，填写sid； # username：必选项，SCM数据库的账号； # password：选填项，SCM数据库的账号密码...，如果不指定，会提示输入； # options： # -h：数据库主机ip或hostname，默认是"localhost"； # -u：数据库账号，需要具备增删改查的权限，默认是"root"； # -p...-5.16.1-1.cdh5.16.1.p0.3-el7.parcel.sha1"重命名为"CDH-5.16.1-1.cdh5.16.1.p0.3-el7.parcel.sha"，否则会重新下载"CDH...-5.16.1-1.cdh5.16.1.p0.3-el7.parcel"安装包 mv /usr/local/src/CDH-5.16.1-1.cdh5.16.1.p0.3-el7.parcel /opt

1.2K2 0

CDH 部署教程

CDH 介绍 CDH 全称 Cloudera’s Distribution Including Apache Hadoop，是 Cloudera 公司提供的一个 Apache Hadoop 发行版。...CDH 将 Hadoop 与其他十几个关键的开源项目集成，并且加入了集群自动化安装、中心化管理、集群监控、报警等功能。通过 CDH 可以使集群的安装从几天的时间缩短为几个小时。 ?...拷贝 Parcel 文件到指定目录（cm-server） [root@cm-server software]# cp CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel...选择对应的 CDH parcel 版本。 ?...集群数据库设置，根据前面在 MySQL 创建的 CDH 相关的数据库和用户填写数据库连接信息。 ? 集群数据存储目录设置，根据需要设置各组件数据存储目录，这里保持默认。 ?

4.4K2 0

如何修改CM及CDH元数据库配置

元数据库MySQL的主主互备》和《如何实现CDH元数据库MySQL的高可用》，实现了MySQL的高可用后访问地址有了变化，本篇文章主要介绍如何修改CM及CDH集群元数据库配置。...内容概括 1.修改CM数据库配置 2.修改CDH元数据库配置 3.功能验证测试环境 1.CM和CDH版本为5.11.2 2.采用root用户操作前置条件 1.MariaDB已实现高可用 2.测试环境说明...4.修改CDH集群元数据库配置 ---- 1.登录CM进入主页，点击“配置” [27cf553rkx.jpeg] 2.选择“数据库配置” [wgsbef05ms.jpeg] 3.根据左边的范围修改相应服务的数据库配置...[igohabkcdm.jpeg] 保存数据库主机名。...Service和CDH相应服务。

5.5K5 1

点击加载更多

【CDH实战】CM6.3.1&CDH6.3.2大数据集群搭建详解

大数据平台CDH搭建

大数据CDH集群安装实录

CDH Disk Balancer 磁盘数据均衡

大数据平台 CDH 6.2 搭建

离线部署 CDH 5.12.1 及使用 CDH 部署 Hadoop 大数据平台集群服务

离线部署 CDH 5.12.1 及使用 CDH 部署 Hadoop 大数据平台集群服务

【大数据安全】CDH集群禁用Kerberos

CDH安装

【CDH篇】---CDH从初识到搭建到应用

如何升级CDH7.1.1到CDH7.1.3

安装CDH汇总

kettle连接cdh——读取hdfs中的数据

CDH集成Kafka

CDH安装指南

Cloudera Manager(简称CM)+CDH构建大数据平台

0671-6.2.0-如何将CDH5.12的Hive元数据迁移到CDH6.2

CDH 5.16.1 离线部署 & 通过 CDH 部署 Hadoop 服务

CDH 部署教程

如何修改CM及CDH元数据库配置

相关资讯

热门标签

活动推荐

运营活动

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐