00:01
好,接下来呢,我们讲一下5.7啊,这里面呢,我们是用这个乌Z实现我们全流程的一个调度啊,之前我们数上项目呢,是用的阿兹卡班,那这里面呢,CDH,我们主要是用这个乌Z啊,乌Z实现,那这个乌Z实现呢,我这里面需要有几个步骤啊,需要大家去执行,第一步呢是执行前有一个准备,并且呢,这里面我们需要做的第一件事呢,就是将买SQ的驱动包啊,导入到下面这对应的四个目录下面去啊,这么多目录哈,那这些目录呢,主要的原因就是因为我们在SCO在导出啊,这个导入导出数据的过程当中,需要依赖于这个对应的这个mysq connect连接器啊,那我们就按照这个要求去做就行了哈,那第一步呢是拷贝。这个下面的连接器驱动拷贝到哪呢?CDH5.12.1hi doop啊力考到这。第一个。来到这里面。执行好,那第一步搞定,那接下来第二个路径呢,是拷贝这个连接器到哪呢?CDH5.12.1scoop下面,哎,找不到库再来。
01:14
OK。好,再来啊,Hi do法FS将这个连接器,这个夹包还要上传到啊,上传到HDFS对应的路径下到ADS什么路径呢?这个地方UR乌Z塞尔lib包下,那这里面要注意一个地方,这个lib包下,它这个生成这个名称啊,每个人生成的不一样啊,你要看你的是哪一个啊,我们可以进去看一下啊。进到这个位置。打开我们的a dvs。进来。把这个路径输进去。好,那这里面呢,你点啊进来,那这是你要的这个相应的这个路径啊,所以说这块呢,要注意啊,这个序号跟你的要对应上就行了,那这里面呢,我们回过头来,回到这个文档里面,把这块啊拷贝到Google里面去。
02:17
直行。OK,又一个路径搞定了哈,那再下一个呢,是这个SSNC直接同步分发啊,你要分发到其他的对应的这个节点,除了102之外,还有103104。好,分发。好搞定,那下一个还有一个另一个。这个很重要哈,一定要去做啊,不做的话,后面你这个任务是跑步成功的。OK,那第一步准备工作做完了,那下面还有一个准备工作,什么准备工作呢?修改雅安的容器内存,那这个内存呢,默认是多少呢?默认是一个G,如果你不修改的话,你跑任务啊,这个内存是不够的啊,需要调整到四个G啊,我们在链接来看一下啊,对应的这个参数看一下盐。
03:12
找到。这啊来到它对应的这个配置里面。哎,配置里面你搜索什么呢?搜索对应的这个参数。延安内存。哎,那这样就找到这个值,这个值呢,它默认是一个G啊,既然咱们遇到一个坑哈,那这里面你如果你这个原封不动的就配置一个G的话,那他在跑这个5G任务的时候就直接卡死在那啊,不动了啊,那你需要怎么改呢?把它改成至少四个G,如果你内存大的话,你可以多给一些啊,OK,四个G,然后保存更改。OK,这是这一块。啊,这一步呢也搞定了,这一步搞定之后,下面呢,我们还要做一件事,创建一个新的heal账号啊以以前呢,我们用的这个heal账号呢,是adin,那就用admin这个账号去跑这个程序的时候,它后面呢也会抛一些异常啊,那这里面我们创建一个新的账号哈,那新的账号呢,我们回到这个heal里面去。
04:21
找到he。Web页面。好,接下来呢,我们点击这个admin啊,Admin里面呢,这有一个manage user啊users,好,然后在这里面添加一个user爱user。那I的U这里面我们不用给他密了啊,换一个随便这个名字随便起哈啊延,比如说起个名字延,那用户名密码呢,都是延。啊,随便提一个临时的用户爱user啊,那这样呢,就有了一个啊延安的一个临时用户。
05:07
好,现在呢,我们就有了这个雅安的账号,然后呢,我们回到这个。主页面啊cloud manager,因为我们刚才改了这个盐呢,啊盐要想让它生效的话,那这块呢,你需要重启一些配置。OK,让它生效。需要点儿时间哈。好,经过一段时间呢,我们这个牙呢,已经重启完了,点击完成。哎,完成之后呢,我们去再去点击这个he。然后依然来到这个外部页面。
06:04
OK,那这里面呢,默认的这个还的密啊,我们要给它登出啊,登出退出。退出之后输入我们新的这个雅安账号。密码言。登录。这是一个新的账号哈。好,那现在呢,我们这个环境的一个初步准备工作呀,我们就要做完了啊,也就说在这个执行前,我们要做的一些准备工作。
我来说两句