创建 ETL 作业

最近更新时间:2023-09-01 15:19:31

我的收藏

前提条件

流计算作业 ETL 作业需运行于流计算独享集群,若还没有集群,请参考 创建独享集群

步骤1:创建 ETL 作业

登录 流计算 Oceanus 控制台,进入某一工作空间后,单击左侧导航作业管理,进入作业管理页面,单击新建 > 新建作业,作业类型选中 ETL 作业,输入作业名称,并选择一个运行中的集群,新建的 ETL 作业将运行于此集群,单击确定后即成功创建作业。



注意
注意: 当前ETL作业暂时只支持1.13版Flink,尚不支持1.13版本内核的集群需要先提 工单 升级后再使用。

步骤2:流计算服务委托授权

选择作业管理中刚新建的作业,单击开发调试。在未授权时,弹出访问授权对话框如下,单击前往授权,授权流计算作业访问您的消息队列或云数据库等资源。此授权的详细说明参见 流计算服务委托授权



步骤3:配置数据源表

授权完成后,单击作业进入作业开发 > 草稿,从左侧列表拖入 MySQL 数据源。

单击 MySQL 数据源可以进行数据源的配置。


如果当前没有可用的数据库实例,可以单击管理连接信息,并单击新建连接信息增加新的数据源。



腾讯云实例可以使用当前账号下的腾讯云产品实例,但注意账号需要拥有对应产品的查询列表权限。
IP连接则直接用填入的 IP 进行连接,需要确保 IP 与 Oceanus 集群处于同一个 VPC 或是有进行过相关的网络打通操作。
选择好数据源之后,可以通过下拉框选择需要进行同步的数据库与表。



单击下一步,配置需要进行同步的字段,并单击确认完成配置。

再次返回画布,可以看到数据源已经配置完成。



步骤4:配置数据目的

从左侧拖入数据目的,并与数据源相连。



单击数据目的对象,配置好数据库实例与库表选择:

单击下一步进行字段映射配置:

完成后,单击确认完成数据目的的配置:



步骤5:设置作业参数

作业参数中可以设置作业相关的参数,详情可以查看文档作业高级参数




步骤6:发布运行 ETL 作业

单击运行,会进行作业预检查,并启动作业。



步骤7:查看作业日志

单击日志按钮可以查看作业日志。