00:00
好,刚才呢,我们把阿斯卡班已经安装完成了,下面呢,我们就写一个全流程,让全流程调度任务,那这个任务呢,我们就把这个最简单指标建位啊来调度它,那这里面包括这么几步啊,第一步呢,是这个生成对应的这个数据啊,首先在这个MYCL里面有数据,然后我们就通过脚本去这个MYCL里面读数据啊,读数据,那读完数据之后把它导入到o DS dwd,然后DWS。DWS之后到ADSADS算完指标再把它导回到买进,然后直接可视化。这么一个全流程调的任。啊,这么一个任务,好,那下面呢,我们来具体的去写一下对应的脚本啊。创建一个文件夹。G ma。Job定义成一个job,好,那在这个job里面创建文件。
01:05
比如说第一个it inport。在二。谈判。打开之后开始写这里面对应的脚本啊,那首先type等于command对吧?Com,啊好,这是执行命令,然后呢,这里面需不需要传递参数。时间长说啥呢?Command等于等于什么?这个脚本在哪里?OD Mo model,不是model,错,是那位。再动一下对吧。再换一个。就是在这里这个目录下啊,这个目录下的哪一个脚本呢?In part是这个吧,是他吧,OK啊,我先复制这个。
02:07
好,换阿德五并不能像。然后这个目录下有一个脚本,这脚本名称叫。他。这然后呢,这个脚本执行命令后边需要跟着对应的参数叫二对吧,二其实还需要一个参数是时间,那你就给一个时间变量do对。都在,这等于传进来一个参数的值,那这个参数呢,写法呢是这样的。D。啊,也就是说在阿次卡班上,你可以对这个DT进行负值,比如说负成2019杠零二杠幺零,那么这个值就会传递给这个do date,那do date在就会被school in part啊这个执行命令的时候传递过去,参数怎么传呢?在后面是不是还要对一个参数?
03:10
又感冒?这种形象啊,我们看这个,嗯,得加上一个Dollar对不对,就是导哪一个日期呢。是是这样,就相当于你在这个嗯,去执行调用直播一块呢,二,然后后边加一个日期,就是2019杠零二杠幺零啊执行这么一个脚本,如果这么配置的话啊就OK了,好,那这个搞定。第一个导入,那下边继续讲,文件导入进来之后就进入到ods。到了。
04:01
好,那我先把它加过来啊,加过来第一行type没问题,Do等于传进来的参数没问题,那它还需要一个。依赖什么依赖呢?它必须得等待inport的执行完,才能执行对应的OS吧,哎,这样,那你说这块要进一个dependency DES等于它得等于I1PART这个任务执行完,它才能执行,那上面1PART的执行完,下边这块它执行的是谁呢?Ods康的调整啊。你ods层的脚本。打包买其它吧,把它拿过来。也就说你这块写的好,那这个脚本后面是不是仍然也需要调一个时间参数了,你看这块。
05:06
这样的时间参数,所以说仍然需要传进来一个参数的值,Do good,啊好,那这个搞定。再继续ods结束之后到了DWD。走。OK,那这一块它就变成ods,比如说ods上结束之后,我再执行对应的DWD啊这么一个过程,那好,那这一块看看这个DWD乘以我们的脚本名称DWD到这。他叫。所以这个名字不要写错了啊好。嗯,OK,那你说DWD我们又结束了啊,没错吧,再继续啊。
06:00
DWD结束DWS。在吗?OK,那DWS它的前提是DWD的结束,那么DWS层我们要看一下DWS脚本,用用户行为呢,就能搞定这个DY吧,啊核点是DY哈,因为这里面有两个这个DWS旁边。好,快点搞定。在这些。DWS结束之后就到了ADSADS。走。好,那这里面它就变成DWS啊,然后变成ADS呢,就是对应的GV,它的脚本as DB啊拿出来。
07:00
好,那这样呢,这个就OK了。看一下啊,这。搞定ADS结束之后该导出了,那导出。EQT。啊。走。打开。那在这里面它仍然是传进来日期dependency变成ADS,然后下边这个school脚本命令我们要看一下。导出我们用的是。在这里面这个说是它。啊。它后面应该还跟着参数吧,你看一下他对用参数是二吧二吧,还说这些二,它需要日期吗?不需要日期对吧,我没设日期吧,没事,日期好,那你说这块没设日期,那你后面这个。
08:04
干掉他干掉,这样是不是就OK了啊?OK。那这样的这个六个照我们就写完了,写完之后需要对它进行打造,OK。右键添加压缩。好,这句要注意添加这啊这个压缩啊,这个压缩OK确定。这样呢,这个任务我们就压缩完了,压缩完之后现在呢,我们就建一个阿卡班。这这创建project打开,然后这是GMV一个计算描述,也是GV这边的一个啊创建工程。创建完成之后上传选择文件。弄的文件就在这儿。好,然后的上传。
09:02
点开。In派的OS,你能看到这种相互的一个依赖关系,那就说明问题不大了啊,如果你发现这有并并行的啊,那就确定你这个没有做好的一个依赖啊,OK,然后点它执行流,也就说按照这个顺序一条往上啊,往下去执行啊,OK,那这里面需要传进去对应的参数,比如说flow pers啊参数进来,添加参数,我们的参数名称DT。传进来的数据的日期呢?2019杠零二。啊。我到数据了,我说要按。12号的,你说。我是要按12号的数据去做吧,对吧,啊12号。好12号,那我一点是不是就执行了,12号的数据,我现在准备好了,没到的生成一下啊。
10:02
来到这个神庙。啊,你看。娘。12号数据点一下这个尽量,然后执行。那这样的这个12号数据就有了,有了之后我们开始用这个阿卡班全流程调度。好,我一点执行中。跟继续哎,他就开始执行,那这个执行时间呢,呃,我这电脑应该在15分钟到20分钟之间啊,那这个期间大家可以把阿班装上啊,然后也自己去执行一下。
16:05
好,经过15分钟左右的时间吧,我这里面就全绿了,只要是绿了的话,那就是OK了啊,如果在这个中间发生了这个不出红的地方,也就说认为你这个任务写错了啊,那你需要重新修改一下你这个任务,然后再重新跑。
我来说两句