00:00
好,我们继续上课,呃,接下来呢,我们再演示一个什么,再演示一个如何去使用阿兹卡班调度这个HDFS操作任务,那什么是HDFS操作呢?很简单,就是一些这个呃,文件的拷贝啊,或者是文件夹的创建,文件的删除啊等等等这些操作啊呃,其实这些呢,呃跟前面大同小异,全是使用阿兹卡巴的哪个任务类型啊,全是渴望的,然后将渴望的替换成相应的这个呃命令就可以了啊好了,那我们把这个呢,快速的实现一下啊来。我们来到这个地方来,我用一个文件,然后里边呢,Type等于什么command,哎,然后呃,Com n command等于什么呀,等于这个呃,写啥呀,你比如说我这就让他去创建一个文件夹吧,那就海度吧,然后FS,然后杠呃,Make d呗,你就说我就在哪呢?我就在这个阿斯卡,就在HDFS跟路径下边,我写一个,呃这个AZKADA,阿斯卡班,然后杠杠多少呢,0508就可以了,很简单,这边呢,写的时候你这个命令你要写什么,如果说咱集群上配了这个环境变量了,哎,咱这边呢就可以,哎不不用写全就可以写这个相对路径了啊就就可以写这个,呃直接写就行了,配了环境变的话,要没配的话,你就得写这个绝对路径了啊呃还有一个点,还有一点,你说我这个命令最终是在哪个节点上面提交的呀,是在exor所在的节点上提交的啊,能理解吧,哎,是这样的,所以这块。
01:34
啊,大家得得注意留意一下这个事儿啊,留意一下这事,那假如说我一会儿要去调度一个have脚本的话,你比如说我是不是就得have杠一了呀。对不对啊,那你是不是就得保证保证什么,保证你的excu是不是得在have那台节点上边啊,我have,比如说我装在102上了,那你说我excu要在103上,那我能跑那个have任务吗?跑不了,所以这地方呢,大家到时候部署的时候呢,需要考虑到这个点啊,需要考虑到这个点,OK,那这个玩意之后呢,呃,我先保存一下CTRLSCTRLS这个叫什么呢?叫做HDFS.solve来保存好这个有了,有了之后呢,我打一个zip跑包,呃,在哪去了,跑哪去了,那个HDFS就在这了啊,来打个大包,打个zip跑包。
02:23
好,已经出来了,出来之后呢,咱去提交一下来,我来到这个地方,我来到这,然后create project,然后HDFSHDFS来HDFS来create。好,已经有了,有了之后我upload upload,然后选择一下这个相应的这个文件啊嗯,选哪个HDFSZOK,打开,然后上传,上传之后没有报错就说明我写的没问题,然后我直接执行一下就行了啊诶,但是我在执行之前,我得先看一看我的HDFS有没有启动吧,我先看一下啊GPS没有啊,没有没有,那我就得去先启动一下我的这个这个呃,海杜普了啊start s start,然后DFs.SH,然后呢,我去103里边把雅一起来这个,因为一会要跑mmr啊嗯,S塔延,好,这个已经这个启动完毕了啊嗯,马上启动完毕,再稍等一下。
03:24
再把这个屏清了,好,我再查一下进程GPS好已经启动完毕了啊,启动完毕之后呢,呃,我得等一会儿啊,等它这个海动的安全模式先关了啊,先关了,我先进一下吧,海10250070,呃,然后这个safe mode is on啊,是不是这个安全模式现在是开启的状态啊,我刷新一下,再等一会,再稍等一会让它关掉。嗯,还没有关啊,咱稍等来safe mode is off了吧,现在关了,关了之后我再去执行咱这个任务啊来,去哪呢?去web页面上来到这,那我就直接执行了啊来来。
04:08
好,这回你看这是蓝的,有一个执行的过程吧,它执行当中呢,它是蓝色的,执行完就绿了啊,执行失败就红了啊,那我已经执行成功了,那我去看一看我这个有没有产生这个文件夹来走阿斯卡巴0508已经这个成功的创建了,诶没有问题,好了,我先录一段视频。
我来说两句