前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >【国产】TASKCTL数据仓库ETL统一调度管控运维平台

【国产】TASKCTL数据仓库ETL统一调度管控运维平台

原创
作者头像
TASKCTL 任务调度平台
发布2022-05-23 10:50:18
1.8K0
发布2022-05-23 10:50:18
举报
文章被收录于专栏:TASKCTL技术交流讨论

概要:

调度管控是指运维监控人员对作业容器,和作业的人工干预过程。对于作业容器来说,可以进行启动、停止,暂停、取消暂停,重置,重载。以及重新设置作业容器的运行参数和并行度。对于作业来说,可以进行执行、运行依赖、中断、中断循环,禁用、禁用一次、启用,强制跳过,锁定,置顶优先级等操作。

​激活调度

激活调度特指启动具备自动化运行特征的作业容器:主控流及定时器。而不具备自动化运行特征的作业容器:作业流启动后,从开始到结束运行一次后就退出了,不适用激活概念。

列表中展示了主控流、定时器相关信息:如运行批次、运行状态、发布状态等。通过工具栏的工程范围、作业容器类型以及关键字筛选作业容器。在列表中选定(可多选)需要激活的作业容器。在右侧操作面板中点击“立即激活”按钮,弹出“启动容器”执行窗口,点击“确认”按钮开始激活作业容器。批量执行过程中,可以中断未执行的操作。完毕后在“执行结果”栏中报告执行状态。请注意已经启动的作业容器不能再次激活。

​右侧操作面板还提供了设置作业容器运行变量值的快捷方式。

停止激活

停止激活也是特指停止具备自动化运行特征的作业容器:主控流及定时器。操作过程和前面“激活容器”类似,不再累述。停止方式有两种:

1.  停止:发起停止命令,并等待运行中的作业结束。

2.  停止并中断作业:发起停止命令,并尝试中断正在运行的作业。

​注:中断作业默认会调用系统命令杀死作业的程序进程。如果作业进程由第三方容器管理,则需要配置作业类型的停止插件,由停止插件调用第三方容器去中断程序进程。

并行度

作业容器的并行度用于控制其内部作业同时运行数量。是比平台节点并行度更细粒度的,控制作业并发运行的参数。列表中展示了作业容器当前的并行度。在“新并行度”单元格中输入数值,同时选定需要修改的作业容器数据行之后,在右侧操作面板中点击“确认重设”按钮,弹出“批量设置并行度”窗口,点击“确定”按钮开始执行。批量执行过程中,可以中断未执行的操作。完毕后在“执行结果”栏中报告执行状态。

​变量维护

变量分为平台变量(只读),工程变量及作业容器的私有变量。在左侧的筛选范围区域,对变量按工程口径进行筛选。在变量列表的“重定义值”单元格中输入新值,同时选定需要修改的变量数据行之后,点击“确定”按钮弹出“修改变量”对话框,点击“确定”按钮开始执行。批量执行过程中,可以中断未执行的操作。完毕后在“执行结果”栏中报告执行状态。

批量操作

批量操作是对作业容器进行批量“启动”“停止”“停止并中断”“重置”“重载”“暂停”“取消暂停”操作。列表中展示了所有类型作业容器的相关信息:如运行批次、运行状态、发布状态等。通过工具栏的工程范围、作业容器类型以及关键字筛选作业容器。在列表中选定(可多选)需要操作的作业容器。在右侧操作面板中选择操作命令后,点击“立即操作”按钮弹出“批量操作”执行窗口,点击“确认”按钮开始执行批量命令。批量执行过程中,可以中断未执行的操作。

完毕后在“执行结果”栏中报告执行状态。操作方式详解如下:

1. 启动:以正常模式启动作业容器。

2. 停止:发起停止命令,并等待运行中的作业结束。

3. 停止并中断作业:发起停止命令,并尝试中断正在运行的作业。

4. 重置:设置所有作业运行状态为初始未运行状态(作业容器必须处于停止状态)。

5. 重载:加载最新发布的作业容器信息,并设置所有作业的运行状态为初始未运行状态。(作业容器必须处于停止状态)。

6. 暂停:作业容器运行完当前作业后,锁定不运行后续作业。

7. 取消暂停:将作业容器的暂停状态恢复政策,继续运行后续作业。

​作业管控

批量操作是对作业进行批量“执行”“运行依赖”“中断”“中断循环”“强制通过”“启用”“永久禁用”“禁用一次”“锁定”“解除锁定”“禁用日期计划”“启用日期计划”“置顶优先级”操作。

​点击“筛选条件”按钮,弹出筛选面板。快速筛选提供了常用作业运行状态和特性的快捷方式。还可以通过工程、容器类型和容器范围,作业类型,作业运行的平台节点,以及作业的运行状态等条件进行自定义筛选。

​列表中展示作业的属性和相关运行信息:所属工程,所属容器,名称,类型,描述和运行情况、运行代理。

在列表中选定(可多选)需要操作的作业。在右侧操作面板中选择操作命令后,点击“立即操作”按钮弹出“批量操作”执行窗口,点击“确认”按钮开始执行批量命令。批量执行过程中,可以中断未执行的操作。完毕后在“执行结果”栏中报告执行状态。

操作方式详解如下:

1. 执行:在作业容器启动的情况下执行作业。运行中的作业不能再次执行。通常用在自由模式启动的作业容器,及需要人工执行的作业。

2. 运行依赖:在作业容器启动的情况下,运行作业及后续依赖作业链。

3. 中断:中止当前正在运行的作业。中断成功后,作业呈“失败状态”。

4. 中断循环:中止正在循环的作业或模块。中断循环作业之后,作业呈“失败状态”。中断循环模块节点后,模块及其内部所有作业将呈“循环中断跳过”状态。

5. 强制通过:只能操作失败状态的作业。强制通过后,作业呈“强制通过”状态。

6. 启用:启用的作业能正常参与调度执行。

7. 永久禁用:永久跳过作业。跳过执行的作业呈“无效通过”状态。

8. 禁止一次:跳过下一次执行后恢复启用状态。跳过执行的作业呈“无效通过”状态。

9. 锁定:流程容器(主控流 / 作业流)运行到锁定作业,暂停执行该作业。流程容器处于暂停状态。

10. 解除锁定:如果流程容器因作业处于锁定状态而暂停,取消作业的锁定状态后流程容器将继续运行。

11. 禁用日期计划:取消作业period日期计划的调度策略。

12. 启用日期计划:恢复作业period日期计划的调度策略。

13. 置顶优先级:设置处于运行队列中的作业为最高优先级。

操作日志

记录了当前登录用户对平台内所有关键信息的操作日志。在工具栏中可按时间范围筛选日志信息。

运行分析

作业容器经过一段时期的调度运行之后,会生产出许多数据。如作业日志和历史记录,作业容器的日志和历史记录等。通过分析这些数据,能帮助用户更好的掌握调度平台使用情况,进一步提高平台的使用效率提供数据参考依据。

​产品官网:www.taskctl.com

原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。

如有侵权,请联系 cloudcommunity@tencent.com 删除。

原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。

如有侵权,请联系 cloudcommunity@tencent.com 删除。

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
目录
  • ​激活调度
  • 停止激活
  • 并行度
  • ​变量维护
  • 批量操作
  • ​作业管控
  • 操作日志
  • ​运行分析
相关产品与服务
容器镜像服务
容器镜像服务(Tencent Container Registry,TCR)为您提供安全独享、高性能的容器镜像托管分发服务。您可同时在全球多个地域创建独享实例,以实现容器镜像的就近拉取,降低拉取时间,节约带宽成本。TCR 提供细颗粒度的权限管理及访问控制,保障您的数据安全。
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档