07_尚硅谷_Azkaban_基础使用

好，接下来我们来到了这个第三章，这个阿斯卡班的这个实战部分啊，这一部分内容是比较重要的，所以说大家打起精神来啊，呃，在这块呢，我们提供了这样几个案例，几个案例，呃，从简单从简单从由浅入深吧，就最开始是比较简单的，后边呢，就稍微的复杂一些了，稍微的复杂一些了啊，我们从第一个来啊，呃，先来一个这个hello word hello word，呃，在讲这个hello word之前呢，我们来看一看阿兹卡班它支持的这个任务类型都是什么，就是我阿兹卡文不是要调度任务吗？那他支持的任务类型都有什么呢？一共就两个，一个可on的，一个Java，这是它内置的两种，呃，那这个可on的它是用来干什么呢？是不是就用来执行这个CE脚本的呀，对不对？诶执行一个命令CE命令，然后这个Java呢，就是我们可以自己写一个加va程序，然后把这个打包上传，上传完之后呢，让这个阿斯卡班帮我去调度这个加入程序也是可以的，呃，你别看它只有这两种类型啊，但是这一个可望的这种类型是不是就能够调度我所有的东西了呀，你想啊，呃，我要比如说我让他调度一个MR，我我让我用哪种类型啊，是不是可慢的就可以，咱就是咱自己去提交一个海度和这个map时是怎么提交的呀？海杜这或延安这吧，对不对？那你是不是就可以用可曼的这类型的这种任务类型，让他去调度一个海杜这啊就可以了，那你要让他跑一个have呢。

害我怎么办？Have，咱么通过一个脚本去执行一个circleq不，不会吗？Have-E啊，对不对啊，Have-E或have-F嘛，对不对，你让去执行一个这样的脚本不就行了，那我要调一个SCO呢？那就SCO import就可以了呗，是不是都是用这一个可的类型全部能搞定了呀？哎，这是这个啊，所以说你看到它少，但其实他能知出的类型是很多的啊呃，其实到现在为止大家应该就能够体会出来，体会出来什么呢？我阿兹卡班它为什么能够兼容所有版本的海杜op了，对不对，你甭管你是什么，你甭管你集群上安装的什么版本呢？对啊，你命令我拿过来用不就可以了吗？其实就是这个意思啊，相当于什么阿斯卡奔，就是帮你去执行这个海杜博的命令。

或者其他任务的命令，但是我们呃，接下来要学那个屋子呀，它就不一样了，它就不一样了啊行，这是它俩的一点区别啊好，那这个我们呃，了解了这两种类型之后呢，我们来看看这个呃，第一个job，这个第一个任务是什么样的啊呃，一个hello word非常的简单啊。这是一个什么呢？单一job案例，什么叫单一job呢？其实这就是一个最简单的工作流程，大家想啊，我一个工作流程是不是正常情况下是有多个工作单元，然后这个有先后依赖关系啊，那这边最简单的一个工作流程是不是就是只有一个工作单元啊，一个工作单元，那我们主要是先来通过这个案例呢，去看一看，我怎么去使用这个阿斯卡完啊来把这个来看一看好了，那我把这个操作一下啊，这边呢，它这个单一job案例是干什么呢？呃，这里边有没有这个需求啊，好，没有写出来，没有写出来之后我看一看啊，呃，其实也能看出来，他这个需求呢是什么，是不是就是打印一句话呀，打印一句话，OK，那我就让他打印一句话呗，来，我去给大家从头到尾演示一下怎么使用这个阿斯卡的啊，这是重点，来我们来，呃，来到这个linu斯下边，OK，呃，来到这个界面，你会看这这块是不是报了一个错呀，在后台阿斯卡德后台报了一个错，你看他报的什么错啊，给大家说一下这个地方，So certificate unknown什么什么呀，Certificate不是那个证书的意思吗？证书。

桂枝，这很正常啊，就是报这个错咱也能使用，因为呢，咱那个证书是咱自己生成的嘛，诶所以说他会报这个错啊，无所谓，能用能正常使用啊，咱不用管它好了，那我们接下来呢，去，呃把这个阿斯卡班从头到尾使用一下啊呃，怎么使用呢？第一步干什么，是不是定义咱这个工作流程啊，就是描述出来谁前谁后，咱得告诉他啊，虽然我这边只有一个，那怎么去描述呢？是这样的，呃，在阿兹卡班当中呢，注意认真听啊，阿兹卡班当中我这个去描述一个工作流程的时候，它是怎么样的啊，你需要给每一个工作单元，这是一个工作流程，你需要给这工作流程当中的每一个工作单元，去给他写一个对应的点job文件，点到注意啊，是每一个工作单元一个点到。

能理解吧，然后干什么呢？你再去，诶给这几个点job文件之间呢，添加这个依赖关系，诶去指定我哪个job先写先先完成，然后哪个job后完成，是这样的，当然我们这只有一个那个job现在只有一共单元嘛，所以说我只需要一个点job文件就可以了，OK，那我就来写一下啊，我们去写这个点job文件呢，首先第一步你需要告诉他你这个job是什么类型的，就用type这个呃字段来指定tap等于什么呢？我就type等于command type等于command，然后再指定一个什么东西呢？就是你的command是什么，Type等于command，然后command on的等于，等于什么呢？等于什么呢？可on的随便等于吧，就打印一句话嘛，E echho，这是我们一个hello word啊E，然后这个什么什么呢，就是说，呃，随便写吧，就是th this is my first job，这是它这样一来我这个job。

的描述文件就搞定了，非常的简单啊，非常简单，那我现在呢，我先保存一下。然我就保存到桌面啊，然后注意写这个名字的时候必须得注意啊，F fairs first.job这个是必须得以点job结尾啊，必须得以点照吧结尾，然后我保存好，保存到桌面上了，嗯，那这个就完事了，完事之后我们需要干什么呢？注意啊，完了之后我们需要这样去做啊，我们需要将这个first.job呢，给它打成这个zip包。必须得打成这个包啊，因为阿斯卡贝现在它只能识别这个zip包，来给它打一打一下来我这个添加到first这块，好，那这个我包已经打好了啊，打好之后呢，剩下的我们全是在这个页面上操作了，就啊来我来到阿斯卡曼的这个web页面，来到这好，那我来到这个地方了，来到地方怎么去使用呢？第一步点这个create project按钮，点。

对，点完之后，呃，在这里边呢，给它起一个名字就叫first，然后后边呢，写一个这个描述信息来first OK，那这个玩意之后点create。好，呃，这就创建完毕了，这就创建完毕了啊，如果说大家能够就是说来到这个界面之后呢，就说明已经创建完了，创建完了之后我们需要做的是什么呢？就是上传配置文件，这是不是有一个upload呀，那我们来点一下这个啊点点完之后选择我刚才创建的那个文件啊，来到这个桌面，来桌面，然后点这个first，点这个Z个必须得这个弯，然后打开，那完了之后点upload，好如果说大家能够来到这个界面呢，就说明呃，咱的这个配置文件的这个，首先这个格式是没有问题的，因为在咱上传的时候呢，阿卡们会对这个我们那个配置文件就是那个点文件去进行校验，如果说你假如我那个type拼写错了，他会给咱检查出来啊是这样的，好了，那这个完意之后呢，呃，我们去点哪呢？我们去点一下这个excu flow检查执行这个工作流程嘛，来点点完之后你会来到一个这样的界面啊，这个界面这里边呢，你可以你会看到什么呢？这儿是不是有一个图啊，这一个图。

这图正常情况下是什么样的，就是你的工作流程是怎么样的，那这个地方呢，就会给你展示出来，我这是不是只有一个工作单元的，所以这个效果不是很明显啊，好，我们后边再看啊，这是它，然后我们往下。往下你看下边有两个按钮啊，一个是schedule，还有一个是这个cut，一个是一个是CU，那这个schedule就是说我是不是让他去定时的执行啊，那这边是啥呀？这边就是说，呃，就是你这个对啊，就是立即执行呗，那你要是立即执行的话，那OK，我直接点一下，然后点continue。你会发现它已经执行完成了，你会发现这个地方是不是已经绿了呀，因为它特别的快啊，因为它特别的快，所以说呢，它立马就变绿了，这是非踌快的啊，立马就变绿了，呃，注意在这个阿斯卡巴当中呢，你绿了就说明你是成功了，你要不绿那说明你有问题，是这样的啊，你要绿不了的话，我可以帮你去绿啊，行，这是这个first啊好，那这个完事之后呢，就是说已经执行成功了，因为没有什么东西嘛，那这里边我们需要大家给大家讲一讲，就是说怎么去看一下你这个日志什么的东西啊，怎么去看日志，就是说你有可能执行错了，执行错了到底哪出错了呢？咱得会看啊，怎么看呢？你就看这个上边，你看这一列，这是这个grass，就是图嘛，这个图它已经列出来了，没没啥问题，就是如果说你哪儿错了，你哪错了，OK，它就不是绿的了，它就是红的了啊红的就说明执行失败了，失败了之后你就得去相应的找他哪错了，我们点哪了，你点这个job list。

对，这个job例子啊，它是什么呢？就是说你你正常情况，正常情况下你提交的是一个工作流程吧，你工作流程当中呢，它是有多个这个job的，也是一个job的集合嘛，那你哪个错了，你就去查看哪个相应的日志就行了，点哪呢，点后边这个details细节，然后你点点，然后你你会发现我这个是不是没有报错呀，没有报错然后他会干什么呢？是不是已经把这句话给打印出来了呀，This is my first job已经打印出来了，就说明咱这个任务已经执行成功了，那假如说您哪报错了呢？他就会在这地方呢，把这个错误的日志全部给咱打印出来，这是它OK，在这个地方看日志啊，在这个地方看志，然后这个后边还有一个flow log，这个它不是什么呢？它不是我每一个。

呃，单独的工作单元的日志，它是整个工作流程的日志，这是它我们要看单单个的呢，应该去在这个job list子下边这个details里边去看啊是这样的，这个玩意之后呢，后边还有一个status status这里边就是一些这个状态，咱就不用管了啊好了，那这个呃，就是说具最基础的这个使用呢，我们就已经完成了，最基础的使用就完成了，然后我们接下来呢，在干什么呢？去给它进行一个这个定时的配置，我们看看到底怎么去定时，执行一个这个工作流程，怎么去定时啊，到底来我们看点开，呃来到首页，然后再点一下刚才我们创建的那个啊点完之后呢，我同样还是点这个CU flow点点完之后这回你就不能去点ex excuse了啊，你得点什么呢？点schedule定时，然后定时的时候呢，它需要我们去指定一个开始时间，指定开始时间指定完之后呢，需要我们再去指定一个这个执行的频率，频率什么，你比如说你是一天一次啊，还是一小时一次啊，还是一天两次啊等等是不是这个意思啊来我们。

看一看来，那我们先指定一个开始的时间，那指定一个开始的时间，我们往后指定啊，我们指定一个未来的时间，比如我指定这个十，呃12吧，那咱指定一个12吧，OK，把它指定，那指定完之后，后边是这个十区，十区我们就是东八区，所以这边默认东八区咱不用管，然后后边指定一个date date是不是就是这个呃，日期啊，那今天是不是就8月19号，那就点这个八月19OK就行了，然后后边你看这怎么repeat就是重复吧，多长时间重复一次，完了我又给退出去了啊，我再我再重新点一下啊，就这，然后这个再回来回过来，然后你多长时间重复一次啊，后边选单位最少是一分钟一次，那我就一分钟一次，当然你这边是不是也可以两两分钟一次啊，你是不是也可以两分钟啊，诶也可以两分钟OK这样了啊好，那我就一分钟一次，让我赶紧的让他定时去执行好。

然后肯定就好，那你会发现它是不是自动跳到了这个cheduling里边来呀，对不对啊，那在这个里边呢，它就会诶定时的去执行了，定时去执行了，呃，那这里边我们去看一看啊，点一下这个现在呢，还没有执行，还没有执行，我们看哪正在执行的工作流程，我们去哪看呢？我们去后边啊e Qing，呃，现在还没有到那个时间，所以这儿呢，呃还出不来，还出不来，因为现在没有正在执行的啊，这个时间写的有点晚了，行，那我现在呢，我就不管它，一会儿我们再回过头来看一下，一会儿再回过头来看，那这块呢，就是我们怎么去给他进行一个这个立即执行，或者一个这个定时调度，这这样一个流程啊，非常的简单啊，非常简单，好，我先录一段视频。