00:00
好,我们再看这个map reduce任务,我们应该怎么去进行调度啊?呃,其实也是一样的啊,Come on的类型,加上咱提交的这个海杜op这个map produce任务的脚本就行了啊来我们这边这个海杜op任务的脚本呢,我就让他跑一下我们海杜op自带的那个examples world countt那个案例,咱把让他跑一下啊,跑一下这个就行了啊来咱给他,呃,去跑一下吧,来,去跑一下,呃,怎么写呢?还是那个相同的套路啊来,我先写一个文件来,Type TY TY p p type等于Co m nd,然后Co m nd command等于可慢的等于什么呢?我是不是就得是海度旁do ado然后这了,然后接上咱后边那个炸包吧,呃,这个炸包注意,是不是又得考虑到这个炸包呢?上传问题了呀,诶,这块呢,同样也是可以两种方式,你可以提前把这个炸包呢,上传到Linux下边,上传完之后呢。
01:00
啊呃,就直接那什么,直接那个在这儿写那个绝对路径,或者是你一起上传,然后这块写相对路径就行了,我这边我也我就不写这个相对路径了啊,因为咱那个炸包是不是就在集群账本啊,我写相对路径,那我写绝对路径了,那我写绝对路径,那我先得去拿一下那个炸包的路径了,因为炸包是在哪啊,是不是在这个OPT Mo,海doop,然后这个2.7.2,然后在哪啊,是不是在那个share里啊,Share海doop map reduce海doop map reduce had ho,诶不叫这个map reduce吗?叫这个,呃,Example吗?不叫examples啊,我记得就叫海度呗,来我TAP1下探一下,呃,叫做这个。呃,没在lef下边,他这个路径不对啊,肯定没在这应该是在呃赛尔下边赛尔诶,就是海杜呀,海杜吧,然后再往后呢,应该是这个map reduce map reduce下边的应该是有一个海杜op map才对啊,我记得呃,Li examples吗?Live examples,不对,不是这个啊,那我进去找一找吧,嗯,咱去看一下啊,不对啊,C DOD model6,然后海杜嗯,2.7.2来CD到share,然后share尔下边呢,有一个海杜,呃hadoop下边呢,是有一个这个map reduce吧,来CD的哎,Map reduce,呃里边啊,Hadoop map reduce嘛,来我记得是有一个海杜op map reduce嘛,但是为啥刚才没有type不出来呢?啊来咱这个就拿一下吧,那就呃PWPW,然后把这个。
02:45
先拿过来来我复制复制,然后放到呃,放到我的这个位置,然后后边呢,再加一个什么,再加上那个炸牌的名称啊,也加上example名称,来我去,呃再拿一下在这应该是哪个呀?海do吧,Map reduce examples吧,诶就是它啊,来我复制。
03:06
复制,然后我把它放在这儿,放在这之后需要给它干什么呢?需要给它传上这个输入和输出的路径吧,诶,但是首先得先指定一下什么呢?先指定一下你那个,诶,呃,要跑的是什么任务,因为这个扎包里边有很多这个任务啊,你可以跑world count,也可以跑一些什么球派的功能等等等等各种啊,你比如说我就跑一个world count Co word cot world count,然后指定一个输入路径,我就叫input,那这个输出路径呢,我就output out就行了,然后我先去检查一下这个路径有没有东西啊,我去上面看一下来,呃,来到这我有没有input,没有input,没有input,那我就用它吧,这个是不是就一个TSV的文件啊,那我用它来,我复制复制,然后呢,我放到呃这个地方,CTRLV,我把这个删掉好,那这个output呢,我有没有output没有啊没有正好可以,嗯好了,嗯,那这个我就写完了,这个命令写完了,写完了之后呢,我把它保存一下CTRLS,然后就叫M。
04:07
r.job啊,诶mr.job来保存好这个完事了,完事之后呢,呃,咱把它打一个包来。嗯,然后添加到这个MR,点这口好了,这个有了,有了之后我们呃,去页面上进行一波操作,来来到首页,然后创建project,然后MR起个名字,然后MR描述信息,然后create create之后上传选择文件,然后点谁呢?咱点刚才那个mr.Z然后上传upload,好这回我再去执行的时候呢,它呃是不是就会稍微的慢一些了呀,因为要把MR了嘛,来点,然后我立即执行。然后肯定好,他就开始执行了,然后我们点这啊,你看这是不是就在正在执行啊,正在执行。那就行,来我刷新,我刷新这个比较慢啊,比较慢,咱等着啊,等着跑完外边确实比较慢啊,确实比较慢,嗯,呃,这有这个时间,你看已经跑了20秒了,对吧?嗯,哎,已经完成了,已经完成了,完成之后呢,我去呃H上看有没有生成相应的这个路径以及文件啊output已经有了吧,你看这是不是刚才咱跑完的那个结果应该是好,这个结果咱就不看它了啊好,应该是没有问题,行,我先录一段视频。
我来说两句