【课后作业】Azkaban 自动化调度

十里桃花舞丶

发布于 2020-09-24 17:44:05

3720

发布于 2020-09-24 17:44:05

文章被收录于专栏：桥路_大数据

最后，将完成的 Shell 脚本交由 Azkaban 进行自动化调度。具体步骤讲解如下。

在 Node02 节点的 MySQL 中执行 SQL，生成数据：

mysql -uroot -pDBa2020*
use mall;
CALL init_data('2020-06-13',300,200,300,FALSE);

编写 Azkaban 运行 job，其中包 import.job、ods.job、dwd.job、dws.job、gmv_ads.job、gmv_export.job。

文件内容如下：

import.job

type=command
do_date=${dt}
command=/home/warehouse/shell/sqoop_import.sh all ${do_date}

ods.job

type=command
do_date=${dt}
dependencies=import
command=/home/warehouse/shell/ods_db.sh ${do_date}

dwd.job

type=command
do_date=${dt}
dependencies=ods
command=/home/warehouse/shell/dwd_db.sh ${do_date}

dws.job

type=command
do_date=${dt}
dependencies=dwd
command=/home/warehouse/shell/dws_db.sh ${do_date}

本文参与腾讯云自媒体同步曝光计划，分享自作者个人站点/博客。

原始发表：2020/09/22 ，如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自作者个人站点/博客前往查看

如有侵权，请联系 cloudcommunity@tencent.com 删除。

本文参与腾讯云自媒体同步曝光计划，欢迎热爱写作的你一起参与！

登录后参与评论

0 条评论

热度