129_尚硅谷_CDH数仓_CM、Hadoop、Zookeeper安装

好，接下来呢，我们看一下1.3这一节呢，就是具体的去安装部署这个CM也是cloud manager，那你要安装之前，你需要去下载它对应的安装包，那安装包呢，下载地址在这儿啊，我这里面就不下了，那同时呢，还有这个离线库的一个下载地址，比如说安装过程当中需要的一些依赖，那都在这儿呢啊都自己去下哈，那给大家准备好了，下载到哪里了呢？在这呢。CDH，嗯，他已经给你下好了，那同样的依赖的一些库啊，在这呢啊领线包准备好了，包括后面我们需要的卡不卡，嗯，卡do和Spark啊都在这儿呢哈，不需要你再下载了，如果你需要跟我们那个版本不一样，那你可以自行下载哈，行，那之后呢，我们就来开始安装这个cloud manager，首先我们需要在OT model cm目录下啊，去创先创建这么一个目录哈，首先先创建啊，按照步骤走。

创建，那在下面呢，就多了一个CM的文件夹，创建完成之后，下面我们上传刚才下载这个离线包到hi豆102的t sot外下，然后并把它解压到，也就安装到这个OPT model cm录像非常简单，来吧，Al加PCDOD半来。之后把它偷拽过来。这个比较大啊。要稍微等一下。这边传完之后，接下来我们要做的事情就是把它安装到o BT model cm目录下啊，就这么一件事，T-zs VF cloud杠大C。

Model。CM啊，安装在这个包下看看啊，抽完了哈，抽完开始解压。很大哈。让他解压一会，这个解压完成之后，下面呢，我们要分别在102 103 104上创建一个用户，这个用户呢叫cloud SM啊这么一个用户，那每一个里面都要创建102 103 104，那在创建这个用户当中需要有一些参数啊，那这些参数呢，是这么几个，分别是杠system，也是创建一个系统用户，同时呢，又有杠杠home指定用户登录时的主目录，因为默认这个目录啊，它是放在这个加目录下面。

那现在呢，把它改了，嗯，要改这个目录，那同时呢，还有一个这个杠杠no create home，比如说不创建自己加目录下的目录，还有杠杠CE啊，用户登录时的一个cel名，还有杠杠comment用户的一些描述信息。啊，那就在这儿了，系统用户啊，这个指定新的这个加目录啊，放在什么位置，这个呢，是不创建自己本身的一个加目录啊，还有这个sal的一个用户名之后呢，是comment一个描述之后呢，是创建这个用户啊比较长哈，行这边应该是解压完成了，解压完成之后，下面我们分别在102。创建用户103创建用户104创建用户好，那这样呢，这三台机器上就都有了cloud SM这个用户，OK，创建完成之后往下走修改cm agent啊，这里面呢，主要是修改这个，这里面它的主机名称啊，那这个配置文件在哪里面呢？在OT model cm也是刚才我们解压的这个CM。

5.12.1etc cloud SM agent的config就是配置文件里面有一个主机名称，因为它默认的是local，我们要把它改成hi度102来到102。好，找到第三行。这默认的是localho。改成HIDEOP102啊，那同时呢，再让你看一个最末尾，它有一个什么呢。这点慢哈，Shift器直接来到恒位，呃，最后一个是这个clouder my circlel connect连接器，比如说日后我们要这个，呃，配置my circleq的一个连接器，对应在这里面，那有UR，呃，USR cell Java my circleql connector啊，Java，那这个路径呢，它是它的默认路径，一会儿呢，我们就要把my circle的connector就放在对应的这个目录下，同时这个名字也起这个名字啊，这个要注意一下啊，OK。

这里面我们只改了一个主机名称，改成HIDE102。改完之后下面。好，下面呢，我们就来配置一下CM的这个连接器啊，数据库，那就是这个拷贝它到user s Java，也是刚才对应这个目录项，那简单直接先创建这个目录，这个目录啊，User cell Java默认是没有的哈，要注意。创建创建完成之后，下面呢，就是解压对应的connect。

那可。在这里面的，在这里面主要就是解压它T-ZSVFMYSQL啊解压到当前目录好删除，诶主要就是把它拷贝到刚才我们创建的那个目录，那拷贝的话直接CP。啊，那你进入到user SE Java，那这里面它这个名称是这个5.12 5.1.27啊，不是我们想要的，你同样还要把它修改，它的名称修改成。对应的my connector加我啊，这样呢就OK了啊好，那这一块完成之后，下面我们要执行class manager自带的脚本啊，也再买搜狗L数数数据库当中去创建CM的库啊，这是一个脚本啊。

啊，上面是绝对路径，然后下面执行MYSQL，然后杠H，杠H呢是database host，也就是说数据库的一个主机，那我们是MYSQL是放在102上了，杠U呢是这个数据库的用户名，嗯，Root，杠杠P呢是密码六个零啊，六个零对应的哈，后面呢是这个SM service host啊，对应的一个描述哈，拿过来执行一下。来到102执行。OK，执行完了。执行完它之后，下面呢，我们就开始分发这个CM分发。我这都是绝对路径啊，分发起来会方便一些。

之后分发完成之后，我们要创建这个pth，嗯，Re po啊，类似于一个数据仓库，这里面存放着我们下载下来的离线安装文件啊，我们创建一下哈。还在打？Man。稍等一下吧。因为啊，这个我们创建这个离线的这个文件之后，就把它拷贝到对应的这个目录下，日后呢，这个cloud manager直接就去这个目录去找对应的安装包，如果有的话，他就不需要在远程下载了，如果没有的话，那他可能需要远程下载啊，这块要注意一下啊，就说方便我们这个离线安装的，所以说要创建这个目录。好，OK了，OK之后我们创建这个离线目录OD，这下面就有一个cer cer下面有个它啊，日后呢，把这些离线的安装包放在这里面。

之后拷贝它，它和它这三个文件包到HI102的OBTC和这个目录下，也是刚才创建的目录，那这三个文件在哪呢？在这个位置。嗯，这三个文件提前下好的，下载地址在这呢。啊，下载地址在这儿啊，自己下载哈，好，那我们直接拷贝过来。拷贝的话CD OBD cloud发，嗯，好找这目录。

进到这，它这个比较大哈，稍微等一下。这里面步骤比较多，但是呢，实际难度呢，并不大哈，只要认真仔细的话是不会有问题的。OK，那这边上传成功，上传成功啊，要注意默认呢，你从官网上下载下来的，它的名称呢，是421，比如说末尾，那其实呢，在使用的过程当中，我们要把这个一啊要给它干掉，那你就需要修改一下它的名称目。

CDH.s啊，把它改成什么呢？CDH点傻啊，改成这个名字，那这个CMC才能自动的关联上这三个配置文件啊，这块注意一下，OK，我在文档上都有这个记录啊，在哪一块呢？再往下找C啊，这个名称没改哈，一会改之后呢，是在这块以上修改它的名称，将这个S1改成萨啊，这个要注意刚才有一个地方，这个要改一下它的权限啊，也就用户和所有者主改一下哈。别忘了。比如说改一下它默认的我们创建的时候是root改成cloud manager啊能够操作的权限，OK，那他搞定之后，那再往下这个也改完了修改，嗯，下面还要修改这个PARO4。

好，修改这帕先创建，再创建一个目录。好，同时也要修改它的所有者和所有者的主。改一下。用于我们日后安装哈，这两个目录都是用于我们日后安装的，那这样呢，我们就分发一下这个C。好，我们分发一下，比如说把它分发了。胜利在望哈，这个分发完成之后，下面呢我们就可以启动对应的cloud manager啊，还记得吗？Cloud manager呢，它有自己的一个server啊，还有N多个agent server呢是调度整个集群的，Agent呢是具体的操作每一个节点的进程，启动，停止一些配置。

还在喷发啊，比较大。之后呢，我们就可以启动了。Co。Server呢，我们把它放在102上，同时呢，这个agent呢，102 103104都有哈。大学弄死了快了哈。OK，那下面呢，我们开始启动对应的cloud server。启动。OK server启动完成，那下面呢，我们开始启动对应的agent，三台服务器都要去取。

103。104。OK，那这三个呢，进程我们都起了启了，不要着急，不要着急，那这块呢，它启动的时候呢，会比较慢哈，啊，那至少要等待将近五分钟的时间，每每个人这个电脑这个性能不一样，那这个启动时间呢啊，等待时间也不太一样啊，如果你这个性能好的相对来说呃，会快一些，如果你性能差的话呢，那启动可能就比较慢了，那怎么监控呢？你可以监控一下这个7180这个端口，如果这个端口下面有对应的这个进程。那他就已经启动起来了，否则的话你就不用去看它的外部页面哈，那在这里面我们看一下，诶，那目前它没有启动起来，那我们等一下。

如果他有了之后，我们就可以访问一下，嗨，1027180也是主机名称。别着急哈，大概有五分钟。好，那这样的这个端口号呢，就已经启动起来了，启动起来之后，我们通过外部页面进行访问一下这个cloud manager。7180。那这个默认的这个登录用户名是我的密，密码呢也是我的密，那之后我可以保存一下啊之后登录。登录这一块呢，就来到了，欢迎使用这个cloud，那这块呢，你肯定要遵守人家的协议对吧？嗯，好是继续继续这一块下面呢，有免费的，有收费的，那中国人的习惯啊免费的对吧？好，那在之后继续。之后继续下一步，那这块要注意了，再往下呢，是VCDH集群安装指定的主机，那点后面这个当前管理的主机，我们一共有三台10210314，那我们全部选择啊，全部选择，然后继续安装。

那再往下这块呢，是这个5.12.1CDH512，嗯，5.2.03没问题哈，直接下一步，如果这块有多个的选择的话，那我建议你要选择是5.12.1，因为我们这个目前这安装包版本就是5.12.1哈，OK，继续。嗯，那这块呢，他就开始这个正常去安装了哈，要等待一点时间。

好，经过两三分钟的时间，那这个呢，黑洞呢，已经安装好了，安装好之后点击继续。他正在检查主机哈，校验相当于是别着急。啊，这块呢，是列出来啊，这个检查的一个结果哈，不用管它，继续完成。OK，那来到这个页面之后，下面呢，我们就可以去自定义去安装我们要的服务，那自定义安装的服务呢，包括很多哈，比如说我们能看到的h as have hillll in，还有这个卡夫卡，Woodz s Spark scoop Yan、主keepper啊等等这些框架都可以基于这个cloud manager进行一个安装，同时可以监控啊，那这里面呢，我们按照这个项目开发的顺序去安装，那我们先安装什么呢？先安装HTYS雅恩和主keepper啊，正常我们书上的顺序呢，也就是hi豆主keepper卡普卡对吧？啊这个顺序，那我们就按照这个顺序就是安装哈，好继续。

那继续这一块，首先看上面这一块，比如说HTS，你怎么去配置，因为我们有三台主机，102 103 104，那你看吧，102上安装name note没问题，对吧？Secondary name note放在102，那我们肯定不是放在这儿，我们把它放在104层。OK，然后data note它默认的是103104，那这里面呢，我们三台节点全有啊，那就是所有主机，那其他的不用管了，那再往下看，再往下看。再往下看呢，是雅安啊，雅安这块我们要调整一下，默认呢，它是放在102，我们把它改到103 OK，确定OK，那再往下是主key包，主key包的默认呢，它只有一台102，那这里面呢，我们安装三台102 103和104。

嗯，那这样呢，就改好了，也就是说这个页面呢，是可以根据用户的需求自定义的去安装啊，对应的这个进程啊，OK，继续。好，那这个完成之后，我们点击继续。哎，现在呢，就开始启动这个hi多进程以及主keep本啊，一个一个就起了哈。正在运行。现在呢，已经来到哪了呢？啊，刚才我们走的这步呢，是1.4集群部署这块哈，选择免费啊，然后主机还有这个CDH5.12.1等待下载之后走到这儿，嗯，这块呢，其实已经完成了啊，现在已经来到哪了，来到这儿了，来到这个延安，呃，As主keyboard选择安装，嗯，安装服务。

啊，再往下延分配节点再往下啊，默认的往下走自动启动啊进程之后再往下就要配置这步了啊，要配置HTS的权限的一个检查。还差点啊，还没起来啊，别着急。那这个as权限检查是什么意思呢？哎，我们这块呢，要把这个权限检查啊，先把它啊关闭掉啊，不采用这不检查，否则它检查的话容易出现一些问题哈。还在气？这时候很耗很耗内存哈。可以查看它的启动过程。

好，那这个集群已经启动起来了，启动起来之后，下面呢，我们就要改一下ADS权限的一个配置啊，那这个权限的配置怎么去改，那对于这个初学者来说是一个难题，那往上走，诶点击这个cloud manager，我点。诶，先先别点啊，我先继续啊，先把它继续，先把它完成了完成。完成之后诶，就来到了这个C页面了，对吧，C页面里面点击这个ADS，因为我们要配置它快点。点击之后点击配置。这块呢，就是用来配置HDS。之后。粘贴，那这样呢，这个检查as权限就得到了，那把它先关掉啊，防止后面我们再上传一些东西的时候，它被禁止掉哈，OK保存。

OK了，那你说这个配置已经生效了，那再继续再往下面呢，是我们这个嗨多宝集群要配置支持拉住罗压缩。啊，这是拉住压缩，那这个拉住压缩呀，默认这个CM里面还没有啊，你可以看一下。主机有一个拍，其实类似一个仓库哈。那你过来你在这下面你是找不到对应的海德波拉祖罗的啊，那怎么办呢？这地方点击配置。啊，配置这有一个远程pth存储URL，也就是说我们在当前这个cloud manager本地没有，那你可以去远程连接把它下载回来，那下载的话就需要地址，那你就把远程的这个地址拉着骡子。复制过来。

放到这里面，那他就会把远程这个地方对应的夹包拉过来保存。保存之后这边你目前没看到刷新。OK，经过几次刷新之后，这里面就有了一个嗨多拉多罗啊，之后这块你可以点击下载。啊，就把远程的拉着罗，这个库啊，就相当于下载过来了。OK，下载完成之后点击分配啊，点击分配相当于类似于这种分发哈。

好，分发完成之后继续点击激活。确定。OK，那这块呢，显示已分配已激活，那也就是说这个拉着罗啊已经准备好了啊啊罗音准备好了哈，那他准备好了并不代表它跟你这个cloud manager产生对应的关系，如何让它跟你这个cloud manager产生关系呢？那也是这个集群产生关系，你需要打开HTS的配置，在里面添加上拉直罗的压缩。

啊，那很简单呢，也就说相当于你把这个拉住了，这个架包放在了集群上，那怎么跟机群产生关系呢？诶打开as配置。点它啊，点这。之后点击as。我再点配置。配置里面我搜索压缩。好，那这里面就给你提供了压缩编码解码器这么多啊，那唯独就没有拉着罗，你像史snappe有default，嗯，拉着罗这个，嗯，这是LG for啊，就没有拉德罗，那这块怎么办呢。添加。同时把这块拿过来。哎，添加进去保存。

OK，现在呢，HTTS对拉轴罗的支持已经搞定了，那还有啊，别着急，雅安这块也需要你去配置一下啊，日后呢，雅安调度MR运行程序的时候也需要支持这个拉烛的压缩啊，那这个拉架包呢，是在o BT cloud这个目目录下，我们先配置好啊，配置好再带，再带大家去看一下。那配置雅安的配置怎么弄呢？还是点击这个C之后雅安。点配置。搜索class pass。那这样就有了class pass my application class pass加号添加啊，那这样呢，日后我们在运行MR程序的时候，就能找到对应的这个夹包保存。

啊，那这个夹包有没有哈，你可以看一下CD。这个目录下，嗯，这个架包就在这放着呢，啊也是日后在运行程序的时候直接就能关联到这哈，好，这是拉着螺的一个使用，那拉着螺我们配完了，那你回到这个CM页面。点这C回来，回来之后你会发现这一块多了这么几个按钮，你往这一放，提示呢，是过期配置，需要重新部署客户端配置，那这块怎么办呢。我点。嗯，这一块呢，就跟你比较出来，你修改的配置和以前的配置的一个区别，那重启过时服务。然后立即重启。他就会把这个相关影响的这个进程啊，都会给你重启了，嗯，不需要你自己去操心，说哪一个我需要重启，哪一个不重启。

他先停止的，后开启的哈。他先执行的是主keepper，然后as延。

快了哈。OK，我还差一个位客户端配置。OK，那目前呢，这个呢，就全部完成了，点击完成。完成之后，目前这还有是吧，它过一会儿就没有了哈，需要这个刷新一下，嗯，别着急，它这个反应会慢一些，煎饼管子了已经都启动好了啊，那目前相当于我们已经走到了第二章采集模块这一块，把a jvs雅安主keepper以及hi支持的拉轴压缩全部都已经配置好了哈。