00:00
好,那接下来呢,我们就去第二章那个学习安装一下,那安装的话就主要是按照文档当中一步一步的对吧?啊做好一下就是发现了一个问题,就是文档一步一步的写好在这,但是安装的时候所有人怎么。漏步骤对吧?啊,有时候这一步我忘了操作了啊,是这样的啊,它也是阿玛奇的一个框架,所以它那个官网地址呢,在这对吧,然后呢,还有他的一个文档地址啊,这些文档地址呢,大家有时候闲着没事的时候,因为我们在大家都知道,在讲课过程当中,我们不可能说所有的内容都怎么样。这个网速。不可能所有东西都能讲得到,对吧?那未来在公司当中你可能用到特殊的函数,因为我们也不是说所有的函数都要去介绍的啊,假如说有一些功能咱们没有在课堂上讲,那你就要依托这个文档,我估计吧,呃,大家应该也不会用关网的对吧?都去干什么,找一些帖子啊,或者谷歌一下是吧,百度,呃,你们有梯子吗?
01:14
没有题赞,呃,想办法最后讲一个吧,我建议啊,因为百度搜出来的帖子,你没有发现大家都互相抄的吗?对吧,大家都互相抄的,其实你看多了那种互相抄的之后,就觉得很多人都这样说呀,就觉得对的,他可能都是什么做的,因为它互相抄的啊,所以说尽量的在这块做这个开发的时候,能用谷歌还是用谷歌,百度相对来说不是那么靠谱。啊,但是如谷歌的时候,有时候呃,看到一些国外的帖子,可能是一些英文的,对吧?啊,除非就是这个阅读上有一些困难,因为你用它页面的翻译啊,或者什么样子的可能不是那么准确啊,所以英语水平呢,做开发的也要提高一下,但这个网不行是吧?呃,那下去大家自己去看一下吧,这里边有详细的一个呃介绍啊,这个网不行,我就不等了啊,包括这个下载地址,因为我们因为网不行,我们不可能在线,在课堂上去干什么。
02:13
下载啊,都已经下载好了啊好,那这个资料呢,就给它放在这个里边,这个有一个家包。对吧,这块呢,有一个架包在立方啊,那我们要装的呢,就是这个版本。3.1.2,其实have升到三版本之后,呃,跟二版本相比没有太大的一个内容变化,那为什么要删三版本呢?主要是大家用的哈杜。三对吧,它其实HAVE1呢,跟唯一对应的哈,HAVE2呢,跟哈二对应的,那这个地方HAVE3。这个哈多三是对应的啊,兼容性更好一些。啊是这个意思,所以呢,我们要升到这个三版本啊,所以说其实它没有太大的一个变化,呃,这块呢,我们已经下好了之后呢,我们就给它拖进来啊,我现拟应该是开了行,那我们去打开一下。
03:18
嗯,然后呢,我看一下我给他拖进来,把我们的伽包拖进来啊,然后out加CD到CD,呃,拖到操到料底下,嗯,然后呢,接下来我们要拖的东西,我就把我们要的东西都拖进来吧,主要用的就是这几个,现在。在当前这个安装的时候,把这三个东西都搞过来,行,第一个是have,第223这两个是什么。买狗对吧,这个就是在Linux上我们就装一个5.7的买,就之前大家都是在什么window上装的,对吧,现在到里面装我们还用这个5.7的,而这个东西呢。
04:04
驱动包啊驱动包对吧,那大家想一下啊,哎,之后呢,我们have把原数据要存到MY搜里面,那汉这框架是不是要跟MY搜进行打交道。对吧,要往里写原数据,你执行查询操作,他是不是要去读原数据,那也就是说have是不是要访问蓝色。所以你说这个驱动包将来给谁呀?给害了对吧?啊驱动包就相当于你写买个客户端代码一样。对,你是不是要把驱动放在你代码的音乐里面。因为你代码要去访问买色的码一样的,这个驱动呢,到时候是要放到have里边的,而这个呢,是买的安装包,这是买驱动包,这是汉对吧,这三个东西呢,我们给它拖进来了。
05:07
还有那个买这个的一个安装包,相对说比较大一些是吧。行,那搞定了,那我们到稍里边那就拖进来了,对吧,他这块哎呃,CTRLL对冲突了,这个快捷键在设置是吧。热键我都给他干什么,关掉啊。其他的没有什么了吧,行啊行,那我们看一下,刚才呢,我们已经拖进来了,那接下来呢,我们就把这个东西解压一下,他包解压一下,对吧,阿巴奇have给他解压到Mo里边。
06:04
好,然后呢,进到我们的猫,还是大家之前跟他家装的东一样,还是那东西,然后呢,这个名字比较长,改个名字吧,啊,我就叫汉,就叫汉。然后接下来呢,我把它配一个什么。环境变量呃,profile.d麦,因为大家都放在这对吧,对吧,啊,那就都一样啊,那就把这个拿过来,拿过来之后呢。在这然后呢O插入啊,然后呢,我们先把这个放过来,然后我去复制一个复制一个。嗯,下来了,改一改。这是注释对吧?啊,其实要不要也无所谓,主要是下面这两个东西啊,嗯,你们可能是X,最后把所有的环境变量都放在X里边,是这种方式吗?还是这样,我就一个一个的,这这都一样的,无所谓啊,把这个拿过来,然后呢,把这个放进去。
07:16
这个还有后对吧,这一行代码就给它去掉啊,保存退出,然后呢扫一下。OK,这个呢,和我的环境变量就配好了,它里边只有一个并波罗没有像那个哈,都不一样,还有一个,如果说你看到里边有B和那两个都要配对吧,这里面只有一个,那它这个目录也比较简单啊,一个Co。对吧,呃,接P驱动,这它自己所在的一个包,对吧,这些东西,然后什么notice这些东西你不用管了啊,这是我们那个have,那到现在为止呢,其实我们的have就可以使用了。
08:01
啊,就可以使用了,所以不需要去改,那有的时候可能要改一下配置信息,那我们有默认的也能启动啊,原来启动之前我们说了它默认的一个原数据存到。德比对吧,啊,所以呢,我们要做一个事情啊,在这我们要先。初始化一下这个啊,对比数据库,那上面还有一个呢,这个是打印日志的时候,你要不改这个东西也行,那你看到有时候日志他就会报什么。冲突啊,就会告诉你说找到两个东西啊,找到两个内容,其实这个到这个东西你改不改倒还好,只不过说改了之后呢,你以后再启动的时候,呃,它就没有那个报冲突的一个问题啊,打印日志的,就算日志不打印也不影响我们的使用嘛,它不影响我们使用的,就是说最后启用的时候呢,稍微麻烦一点,所以呢,我们把这个have当中live底下的一个关于logo附件的夹包给他看什么。就相当于删掉了。
09:00
对吧,那给他改一个名字叫点back啊,就相当于给它删掉,相当于做这个事,因为我们是配了哈豆量的,而哈豆当中是不是也有很多劳附件打印之这个东西啊,对吧?啊,他就能够找不到啊,所以呢,我把这个去做一下,但是大家知道一下,这个是可以不做的啊,是可以不做的,但是你要粘这个命令过来啊,注意啊。这个地方用的是什么?他们后,所以执行这个命令之前,你必须得配环境变量,对吧,不配环境变量的话也可以,你就在这写一个点杠。你现在进到当前目录了嘛,对吧?啊,这个东西不聊了,聊了,然后接下来呢,我们做一个初始化原数据库来看,主要在这它默认的就是德比,所以我们不需要改任何的配置信息,不需要改任何的配置信息啊SC,它这是他自己所在的一个工具啊,在这地方B。呃,它里边常用的几个东西需要跟大家说一下,第一个就是我们刚才看到的SC。
10:07
啊呃,初始化原数据库所用的,到时候我们改到MYS之后,还得用它再去初始化原数据库,因为我们换了一个地方,对俩要重新出始化啊,然后还要用的一个东西呢,还这是在本地起一个客户端啊,这是本地起一个客户端,那还有两个东西啊,一个是have斯,还有一个B赖。这两个东西呢,是用来通过JDBC去访问的啊,这是通过JDBC访问的一个服务端,这是JDBC访问的一个客户端。啊,这个到时候我们还要详细的去聊,现在呢,我们都用不上,对吧,现在我们只需要知道我们要去做什么事,初始化原数据库是还是放在德里的。
11:09
好这边呢,就已经干什么,初始化完成了,对吧,初始化完成了,那初始化完成以后,我们就可以简单的去使用了。啊去使用了,但这个使用呢,呃,也只是做一个演示啊,因为最后我们还要放到MY搜狗对吧,那使用呢,这个时候首先不要直接去启动了,因为我们说过它是依赖于我们。HDFM6色雅安的,所以要干事把这一套提起来啊,把这个提起来对吧,它依赖于人家的,你要先起人家那个内容,那这边呢,有。HDFS雅安,嗯,大家在哈德里面历史服务配的吗?配的是吧,历史服务也记得起一下,要不然你执行任务报错了,有时候我们需要通过。
12:06
日志日志去查看详细的报错信息,对吧,因为有很多错误信息,它是不打印到页面,它是放在日志里面的啊,所以说我们要启动这个什么历史服务啊,这一套呢,我都提起来了啊。好,清下来之后呢,也别着急去起have的一个客户端。啊,因为在哈多启动的过程当中呢,它会有一个什么初始化。安全模式对吧,我们得等到安全模式退出再去操作吧,对吧,要不然在安全模式内部的时候,他用不了,好这个账号跟大家一样吧,9870没有改,大家用的这个服务代码是980。你们用的8020是吧,你们用8020是吧?行,到时候我改一下好吧,啊全默认呢,这汉三里边应该是980啊,那改成8020也无所谓,到时候我改一下啊,我改一下,嗯,这块服务端你确定啊,你们确定是吧?行好那雅安的。
13:13
网页账号是多少,8088对吧?啊,我们都装在103上面的吧,啊8088我们去访问一下。挂掉了在的呀,稍等一下。我这个映射就出问题了吗?我稍等一下啊。啊,应该是映射出问题了,正常应该启动了,到时候我看一下Windows里的映射是不是给我干掉了,但正常好多102没问题啊,呃,历史服务的端口号呢。对吧,他多吧,好对吧。
14:02
好,这是之前跑的一个任务啊,现在还能看得到,这是我之前跑的任务,就不用管了啊呃,那这是我们所看到的三个端号,那这个所谓的9870,还有这个8088,还有这个19888,属于它的一个外播放页面。对吧,那对应的服务端口号,这个是我们看到的920,那我问大家一下,这个雅安,也就是所谓的resource manager,它的一个服务端口号是多少。零,那你你们这个八零,然后也用两用一个8080,再继续下是9870,那这个是什么东西,你你猜也是有这么逻辑的,才10086 10086都来了,怎么每个班本端口号的时候都有人说10086的,真的是每个班都有他的端口号啊。
15:11
8032啊,服务端口号,也就是说你在提交任务的时候,是提交到8032的,这个东西很简单,你就可以做一个什么事呢,你们不是有打包好的哈任务吗?你把雅安不起。牙干掉,直接提交任务。它会报错,它会报resource manager连接不上对吧,而我们一所说的它所有的什么东西连接不上,一定有一个什么号啊,我们可以去看一下,好,那最后一个问题就不不用说就知道我要问什么了,历史服务的服务账号。8032不知道可以,因为没有配过,其实啊,只是说有同学报错了,他可能会知道没有报错的,可能不太清楚啊,这个是配过的。
16:01
多少对10020。啊,10210这个东西注意啊,别别看,哎,这个端口号有什么用对吧,端口号你也需要去记的,因为面试的时候他也会问你端号。而且经常是什么时候问呢?HR约你面试的时候,他会简单说问一下。他可能会,哎,你这个MR任务出错了,他如果要到哪去看日啊。对吧,类似于这样的问题,其实就是在问什么端口号,因为为什么说H差问呢?因为这些东西比较死,是不是对吧,因为这些东西相对来说比较死,还差是可以问的。啊,他那边是完全可以问出来的啊,他就对着一个文档嘛,去看一看,对吧?啊都能问出来的,但是如果说这个HR问的这个问题,最后你没拿出来。这这个就很尴尬对吧,阿莎心里怎么想,你还做技术的,三到五年工作经验对吧,那个什么出错了,然后在哪都看都不知道。
17:13
对吧,啊,他他心里可能他不知道这个东西的难易程度嘛,在他看来就很简单对吧,因为他这个资料配一下就行了啊,所以说这个问题要关注一下,你每学一个框架,框架对吧,你都要整理自己的笔记,这个服务对吧,它对应的外部端口号有没有对吧?有的话是多少,它的一个服务端口是多少,整理成自己的笔记,因为你往后学的框架还很多,每一个框架都有自自己对应的嘛。端口号啊,你想想看,有那么多框架,每个框架有的像这个框架呢,还有两个端口号非常多,你这个端口号也需要去记住的,不光是第一个,就是刚才我们说的面试的时候还常常会问啊,第二个呢,你自己看错也能清楚啊。因为大家发现了,你们报错信息当中经常就会遇到,再往后学啊,经常会遇到什么什么东西拒绝连接的,然后他会给你一个端口号,我往那一站,我说这个端口号是哪个服务的不知道,如果你知道了9820告诉你连接不上,那你知道去看哪个进程的,你你写了个任务,最后他报的是哈多Y1029820拒绝连接。
18:26
哪个进程出问题了?对吧,那么note出问题了,那你就看一下进程在不在,往往这个进程怎么样。都不在,那你想一想,你有没有启动。如果你启了data notde都在,那notde不在了,是不是那note挂掉了,那接下来做什么事启动那个notde不是啊,你肯定都启动过了,Data not都在呀。看那么多的日志嘛,看它为什么挂掉,然后去调一调对吧,所以端口号有助于你自己去调错啊,要不然你看到一个端口号说具绝链接,你根本就不知道什么原因对吧?啊,不知道什么原因啊,是这个意思行,那接下来呢,这一套我们就启动了,而且已经退出安全模式了,其他的这个也启动,这也启了,对吧?那接下来呢,我们就可以去启动我们的还客户端了,我们只装了一个机器对吧,没有分发啊对吧,102只装了一个,然后呢,我们就可以启动have,用be have呢就可以进入到它的一个客服端里面。
19:21
好,然后接下来呢,我们去聊一个点啊,再让它启动了它默认的日志打印位置,因为我们没有改任何的配置文件,对吧,默认打印日这个位置呢,在这探保艾V谷,但艾V谷是你自己的什么。用户名对吧?啊是你自己的,就是说你拿谁去启动的哈。那么你就进到哪个目录对吧,然后呢,在这个目录里边调一下。have.log对吧,Have点啊,它的日志呢,在这,你看这个时间。
20:03
没问题吧,啊,是这个时间啊,像这是刚刚的,如果说你这边启动高速了,大家暴露信息你也看不明白,那你就干什么去看这里的啊,我建议大家可以怎么以后怎么去看日啊,教给大家一种方法,这样举个例子,这边如果报错了,我先把这个CTRC干掉,我不着急去找日志,我一般是这样看,我去干什么呢?它要杠F,然后呢,have.log对吧,然后呢,我给它干什么,空出来很大一一大行,然后去重新启动,因为这样的话,我只要找到空行,从空行的位置开始,是不是就是你刚才执行的所有的日志。这不至于定位不到,哎,这个日志这么多,我到底从哪开始看?而且你运行好几天了,可能日志就更多了,对吧,那我一般通过这种方式看日志,就是我先监控这个日志对吧,用T-F去监控当前的日志,然后呢,我一般会打很多的空行,把它干掉之后呢,我再去干什么,重新启动这个进程,那么接下来我要看日志,我只要往上拉,拉到什么很多空白的这个地方,从这个地方开始,是不是就是你执行刚才命令所产生的日志。
21:11
这没问题吧,啊是这样的一个情况啊,所以一般这样的看日志好定位对吧,要不然你可能以前也有错误信息,你一看诶很多异常,网上找找很多异常,不知道哪一个异常,这种是不是能定位到,到底你操作的是哪个异常啊对吧,一定要学会学会自己解决问题,虽然后面我们说要找这个什么,呃,组长对吧?啊,技术组长或者说我也会去,或者还有辅导老师对吧,都会帮助大家解决问题,但更重要的还是大家自己要掌握这个解决问题能力。因为到公司当中,你不能说遇到什么问题就干什么,找领导吧,对吧,这不合适了啊行,这是我们这个启动啊,这块呢,就启动起来了,我把这。
我来说两句