18_尚硅谷_数仓采集_Hadoop安装

好，刚才呢，我们这个服务器已经准备好之后，下边呢，我们就开始安装我们的flu啊，按照我们的这个哈loop，那这个high loop呢，就严格按照我们之前啊上课学的这个题做就OK了，那在安装之前要看一下什么呢。集群规划啊，比如说你做任何事情之前都要看一下你这个集群规划是什么样的，我们要求HDS它在102上安装内not和电not，在103上只安装内not 104上电not和三内not啊，那你就按照它这个配置去做，那同时呢，雅安呢，它的result measure放到103上，其他每个节点放一个note measure。啊，要实间内功能，那正好这个跟我们之前学的是完全一样的啊一样，但是到你们最后一天做那个项目的时候，我会把他们。颠倒啊，做个颠倒，那就是看你真的有没有理解里面的这个配置的含义，如果你能理解这个含义的话，那怎么换都不会有任何问题啊好，那我们来看一下还安装。

那嗨图安装之前，我先问大家一个问题，嗨图管安装当中，你需要配置哪些配置文件？八个哪八个呢？D个as car，雅麦right啊，还有对应的萨克叶v as叶V啊，雅恩叶V，麦的叶V，还有一个S斯啊八文件啊，八个文件，好，这是一道面试题，你说在你这个呃，安装过程当中要配置哪些文件，这要记住。行，那在搭配这个handle呃，过程当中我们需要做哪件事呢？第一件事克隆虚拟机，我们已经搞定了，修改克隆虚拟息的静态IP，搞定修改主机名称，搞定关闭防火墙，搞定创建用户名啊和IDID硅谷的具有root权限，其实这个默认的I100里面全部完成了啊，那下面呢，是这个创建一个model和SOFTWARE2个文件夹，好我们来做一下。

来到U02上CDPD来到这啊，我现在上的个有用户需要加一个输度RF杠号F2啊把这个删掉，删掉之后创建两个文件夹，速度make Mo Mo之后速度麦克DR soft w software。好，那这样的这两个文件加我就创了，创完之后修改它的所有者和所有者的主。

微博看微博好model和萨。啊，出动啊。七器是啥呀或好，那这呢是修改使有者主啊和使有者啊，修改完成之后，那接下来我们再来到英三上啊，继续做这件事情，好速度2M杠二二去啊看掉之后创建文件夹，速度那个d Mo model好创建完成修改所有者不车数速度准二。安慰我，安慰我，我。搞定。接下来来到监控室。R，速度RF-F2S。

好删掉啊，再创建速度make DR啊D，然后是呃报好速度，真的我报搞定，这个准备工作搞定完之后，下面呢，我们开始上传JDK加包啊，这个加法out加P啊上传CD方PD上在那到这，然后按我的价旁找到。我们的价包放在资料包里面的价包，价包里面的JDK传过来啊C拖拽就OK了。那同时再把我们那个嗨加班也拽过来吧。

嗨动嗨多压包第一个啊，拿过来，同时再把这个拉多罗压缩啊，因为我们嗨多把它要配置这个拉多罗压缩，也给它拽过来啊。好，那这两个传输完成之后，我们来到这CD到BD算到这。拿这这三个包呢，我们就有了，有了之后安装一下JDKT-ZSVFJDK杠大C啊PD摸走。好，那这个JDK解压完成，对出来model来到这，进到这个JDK里面PW找到它，然后修改它的或者配置它的环境变量啊，那是速度vm EDC pro profile啊。

把这个复制一下。好，进来，Shift加G来到文件末尾，O加进来，好井号。这是现在一个注释啊，加va后好，然后ESPRTD加va。后等于刚才复制这个路径。好，ES平方ipad。谁呢？Pass pass等于do符pass，取出pass里面的值，拼接上do，谁呀，加吧。对啊，杠1OK，那这是加厚配置好了。保持内出，然后要上一下SOCEDZCFA啊，然后加VA1打，这就OK了啊，这是加va后第一个搞定啊，搞定它完事之后，下边我们来配置它的开度啊配开度。

那同样它杠ZSVF豆。杠2.7.2。杠大CD model。啊。CD model啊，来事CD开做进来PWD啊，同样复制一下它，然后速度v mec p f profile进来，进来之后攻啊，然后。井号，这个是A，还有杜鹏。哦。帮我看一下啊，别出来。

Ex平方DID。还多往后。等于啊，再来esport啊，然后是啊，等于多符。Pass啊，冒号然号大大符，这是hot top开动。啊，然后B他还要来一个YYP，对。哎。S啊，那这样呢，就把这个hi也配置完了，那同样你需要S下DC。啊，那就是海豆一打OK了，那你说这个整个JDK和海配置完了，那配置完它了。我只是配了102吧啊，103和104还没配吧，啊，还没有配啊，我们一会呢，把这个102和三把102的配置完，统一进行分发对吧？啊分发好。

那分发我们开始配置函本。那你看一下我这个插入这个文档安装文档的资料是这样的。第一个是环境的准备，给他说的，那中间这块还有个伪分布式，然后一个完全分布式。在企业开发当中，我们需要。或者必须安装的都是环境分布式啊，伪分布式呢，只是在这个测试环境下用。啊，为什么还放在这儿呢？我是给大家提出一个要求。那还是个原则，什么资料是你的？老师在讲课的时候，他会这个，按照这个你们最容易理解的这个思路啊，去一点点去呃，去勾引你们是吧？嗯，对，那这样呢，是循序渐进的去学，但真正到落地的时候，是不是你只可以直接直奔主题，完全公式没有任何问题了啊，前面这个过程全被干掉啊。

那这个时候是不是你需要把这些资料整理整理完整了啊，所以说啊，我是故意把它放在这了，日后你要把这个伪分布式没用的东西给我干掉了，谁有用呢？历史服务器日志聚集是不是要留下啊，要留下啊好整理成你自己的资料，那下面我们开始搭建一个完全模式啊，那这里面准备三台，购机搞定安装接DK搞定开始完全面料搞定安装还度吧搞定配置环全面料搞定，然后配置机群。啊，其中这里有个单间启动，还有必要吗？没有必要吧，对于我们来说啊，都是大神一样存在，直接干掉。好，那往下看，那这里面我们优先先做一件事，先把我们的分发脚本搞定，对于我们提提高这个开发效率是非常拔卦，哎，直奔主题，这时候没人去跟你讲这东西为什么啊，拿回来就可以用了。

直接拿过来。拿出来之后进到哪里呢？加固录啊，加固一下，创建一个文件夹，Make d叫BB，然后进入到这个B里面去啊，VMXXYNC啊，OK。这些这个分发同步脚本啊，我就拿过来了。拿来之后分子MODE777啊，这个才是七七搞定，具有可读可写可执行权限，由它之后，后面我们可以用它进行一个分发，那再回到这个文档上，嗯。这个群发搞定之后，下面具体的去配置啊，进行配置配吧，这一个配置呢，就是Co Co Co里面有两个内容，一个呢是内部到的地址，我们内部到的就在102啊，另一个呢，是配置这个日志存储的路径啊，点二啊拿过来。

防晒。好啊，进来。这到这这块粘的时候要注意啊，首先要插入进来，然后再粘贴啊，往往你们这这块没错一样。嗯。好，那这块搞定。Co赛，Co赛呢，搞定完成之后，下一个记住是八个文件啊，然后就是had env，所有的env里面只干一件事。K是它的向后啊对，OKVM开动Ev.SH啊，进来往下找，找到这。

你们就把它干掉啊。换成绝对不行，对。好搞定，那继续再往下看，还因为完事之后就是HD FS set，那这里面要注意这个副本啊，啊真正在开发的时候都是三个啊，现在的目前咱们这个磁盘你们分别有多少。46G 46g够啊，20个G有点紧张啊，如果你是20个G的话，这块你副本变成三妥妥了，不够用啊，那怎么办呢？我们就把它换成一啊，就一个副本啊，你说就一个啊，没有什么副本了，就可以这么说啊，就一个备分，那好，那下面这个呢，是secondary name not啊，记住这里面所有标红的地方都是日后如果你这个集群配置不一样，需要修改的地方。啊，比如说刚才那个啊，102内到的地址需要修改的，那下面这个呢，就是三个字内部到的啊地址需要修改的拿过来。

那放在这个HT上。哦。好搞定。他管的时候下面继续啊，来到雅那雅的，因为同样是配置这个。加厚。然而DNA2条线去进来。在这个位置。干掉。好搞定。那再来他完成之后就到了这个雅n site啊，雅赛这里边最主要配的就是这个resource manager啊，同时呢，是这个获取数据的方式呢，采用这个mapdus suffer的方式。

啊，拿过来，这个是雅安赛。弟弟删掉。好搞定。那它这个软件之后，下边就到了这个map map，先处理它的map right，因为这个是有的这个文件啊，你可以先看一下这里面，这里面有一个map redv，就是它啊vm map red env.CH进来。没事来。啊，搞定map right，因为完事之后就到了一个什么呢？Map right side，那这个呢，需要有一些修改，怎么修改呢？它默认的是map right set type.table需要修改一下名称目map right set more red side把它干掉。

啊，然后我们再来vm map right在啊到这里面啊，然后来到这个位置往里面修改一下的配置，那这里面修改什么呢？最主要的就是指定MR运行在延上啊上拿过来。OK，搞定，那还差一个文件，这个文件也是你们容易落的，是哪一个slave斯啊s slave里面需要拿哪些注意事项？没有空格，没有空行对吧？啊好嗨嗨豆102啊，一个空行一个空格都不能有，嗨度跑103，因为它是作为未来脚本的一个输入参数啊好保存，那这样呢，整个这个函就配置完了，配置完它之后剩下的事就到了分发了吧啊分发XXYC开整。

可以呀，没有没有配SH是吧，好。这个传完之后，我们马上配一下这个S，好，那这个分发完，那我留今天可以留着，我先配SICDS-al，这里面有一个点SH进去。进到这里面生成工钥和试药，那SSH-P接啊在哪杠t r sa这种加密算法，三次回车形成对应的公钥和试钥啊，然后把这个公钥和试要拷贝给102和103SSH-copy啊hi豆102拷贝给是一份。

再继续103。再继续104。好，那他配合了分发过去了，还要配一个103啊，因为雅安在103上啊，它也需要对其他节点进行一个啊，五笔连接，RS-PA几啊杠TRA3次回车。

啊，这样就生成公钥和试钥，然后拷贝给对方杠和d hi no102。他给103。嗯。幺四。好，那这样呢，就要分发完了啊，无密登录完事，完事之后我们可以测试一下，看看好不好用SCJDK对吧，好惩罚它。现在就不需要我们再次输入我们密码了啊，这是SC。

Hi，呃，这个S也配完，那下面还有一个问题，ETC profile文件有没有同步？没有啊，那用这个S能分发吗？目前它是放在艾母下面的，是不是分发不了啊，那怎么办呢？SCP是不拷贝啊啊原数据在哪啊，在EDCP，那目前我是爱硅谷用户，能不能操作这个用户呢。不能需要加一个速度啊，拷贝它到哪到对应的root用户还103啊，先考到幺三，然后EDCPF是不是这样就考虑了，来试一下。Yes。

好，这样就考虑成功啊，接下来是104。啊，现在呢，就分发完了，分发完之后你要验证一件什么事儿呢，这个好不好使啊，家话和孩子们好不好使啊，肯定不好使吧，目前上一下ETC21加va好使啊，然后来到加论4R CEEDC1profile。啊，然后加吧handle OK吧，哎，也就说目前这个hando和JDK我们都安完了，安完之后你是不是得启动一下呀，群起一下啊，重启一下。那启动之前，启动还之前要做什么事呢？格化格式化对不对？哎，必须要格式化一下，那BS啊，那命令还记得吗？Name not杠记不住一回车这有一个name not啊。

那个干等会耐心好。那目前格式化完成，然后开始启动第二个DFS点及。感觉好简单是吧？啊，好难好难，就废了。好，那这个启动完之后，启动盐。

写完之后查看一下进程上no note没问题，102有内note。Name note，这note not measure没问题，104有一个，诶，Secondary name note second name note not measure note，这样这个孩们就完成了啊，整个完成了哈，这就是整个孩子的一个啊，全流程安装过程啊，当然你还可以把它的历史服务器和日志聚集把它配上啊，配这里我就先不配了啊。行，那这个呢，就是IDO安装。