对流计算 Oceanus 作业,您可以进行4种操作:发布、运行、停止、创建副本,这些操作支持批量处理,本文将对这4种操作进行概念解析与讲解。
发布
概念解析
流计算作业草稿开发完成后,单击保存按钮,即可发布为线上版本。流计算作业的发布操作成功后,根据作业的状态,可以执行运行已发布版本或停止线上运行作业操作。
操作步骤
在草稿中完成作业开发后,单击保存按钮,并单击发布草稿,即可发布为线上版本。新版本的版本编号由系统自动生成,用户需输入版本说明。
若线上没有运行中状态的作业,则可以直接运行新发布的版本。
若线上有运行中状态的作业,则需要先停止作业,选择停止时是否创建快照,等待作业完全停止后,再进行运行操作。
运行
概念解析
作业的运行操作与停止操作相对应,表示启动一个新的作业运行实例。对于已经运行中的作业,若需要再次启动运行,可以选择先停止线上运行中的作业,再重新执行运行操作。
操作步骤
当一个作业进入停止状态后,如果需要继续运行,有两种操作方式。
1. 在流计算的作业管理 > 作业操作下拉菜单中选择运行。随后,作业的状态会变成操作中。一段时间后,最终状态会变成运行中,此时表示作业已经启动成功。
2. 发布新版本,并运行新版本。随后,作业的状态会变成操作中。一段时间后,最终状态会变成运行中,此时表示作业已经启动成功。
从快照恢复作业
作业运行时,支持从历史快照恢复。运行作业时,提示如下:
对于没有历史快照的作业,无法使用历史快照运行。注意
特别提示
在作业的操作过程中,如果遇到任何异常情况,则会回退到作业的实际状态(例如,如果作业在暂停时异常退出,则状态会显示为停止;如果作业暂停不成功,且仍在运行,则回退到运行中),并在状态栏右侧显示一个三角形的叹号,当鼠标移过时,会显示出具体的报错信息。
如有全英文报错信息,不便理解时,您可通过 售后在线支持 咨询,我们会持续优化报错信息的展示。
注意
在作业的运行过程中,请务必谨慎修改上下游对接产品的配置,包括但不限于对 CKafka 数据源和数据目的所使用的 Topic 做删除、扩容;以及对 MySQL 数据源和数据目的所使用的库表做锁表、修改表结构、新增约束、停机等,否则会对正在运行的流计算作业造成影响,导致数据不完整或作业异常。
停止
概念解析
作业的停止操作表示终止当前作业的执行,并选择是否保存所有运行时的状态。
操作步骤
当一个作业进入运行中状态后,如果需要停止运行,有两种操作方式。
1. 可在流计算的作业管理 > 作业操作下拉菜单中选择停止。作业的状态即会变成操作中。一段时间后,最终状态会变成停止,此时表示作业已经完全停止运行。
2. 发布新版本,并选择停止当前版本。随后,作业的状态会变成操作中。一段时间后,最终状态会变成停止,此时表示作业已经完全停止运行。
注意
如果您希望保留作业当前的运行状态,并让作业下次启动时可以从上次停下的地方开始消费,请勾选停止时创建快照。
创建副本
概念解析
可以快速创建作业的副本,方便您做作业迁移或者同类作业的开发。
操作步骤
单个副本创建
1. 进入作业详情页,可以在右上方的作业操作下拉选项选择创建副本。
2. 单击创建副本,会弹出选择框,选择目标空间,目标目录,目标集群,填写副本名称。
3. 单击确认,会弹出结果框。
4. 然后单击作业名称可以跳转到新作业的详情页。
批量创建副本
1. 单击作业列表左侧的批量操作,选择批量创建副本。
2. 单击批量创建副本,勾选需要批量创建副本的作业。
3. 单击创建副本,会弹出选择框,选择目标空间,目标集群,批量创建副本不能选择目标目录,默认副本目录和源作业保持一致。
4. 单击确认,会弹出结果框,展示成功和失败的结果。
注意
如果目标集群不支持源作业的 Flink 版本,作业副本的 Flink 版本将和目标集群默认 Flink 版本保持一致。
如果源作业设置了细粒度资源,但是目标集群不支持细粒度资源的,作业资源配置的 JobManager 规格 和 TaskManager 规格设置为 1CU。
作业只能在工作空间内部复制,目标集群只能选择已绑定给当前空间的集群。
创建副本生成的作业,历史作业的快照会同步到新作业中,仅同步历史作业手动触发的可用快照,并且快照的路径与历史作业相同。