元数据是用户在流计算作业中引用的库表。用户可以在元数据中管理已有的库表,在 SQL 作业开发中快速引用元数据。
创建数据库
登录 流计算 Oceanus 控制台,选择进入目标工作空间,在作业管理中,创建 SQL 作业,可参考 创建 SQL 作业 ,切换到开发调试,在左侧的库表引用界面操作元数据,初始状态下只有一个默认数据目录
[_dc]
和默认数据库[_db]
。
在库表引用功能界面中,选择右上角的新建 > 新建数据库,在弹窗中选择 Catalog,输入库名,然后单击确定。
创建数据表
步骤一 :在库表引用功能界面中,选择右上角的新建 > 新建数据表,在弹窗中选择 Catalog 和 Database,然后单击下一步,进入选择创建元表的方式,可使用模板、自定义、云资源。如果选择自定义或者使用云资源,则需输入相应的连接信息。
自定义方式如下:
步骤二:下一步进入 DDL 编辑界面,可在引用程序包的地方选择自定义 Connector,自定义 Connector 的上传详见 程序包管理。DDL 语句编辑完成后,单击语法检查,检查 DDL 是否存在语法错误。然后单击完成,保存创建的元数据表。
注意
创建元数据表时,WITH 参数中可以设置表变量,命名规则
${变量名}:默认值
。例如:${job_name}:job_test
。
注意
connector 和 version 属性不支持变量设置。
SQL 作业引用元数据表
在 SQL 作业中可以直接引用元数据表,将光标移动到想要引用的元表上面,右侧会显示操作菜单,单击引用,元数据表使用三段式引用,例如`dc`.`db`.`test_table`。如果元数据表的建表语句中使用了参数,单击表变量替换,将参数值换成真实值。
表血缘
元数据表可以通过表血缘查看表的上下游依赖关系。 在库表引用页面,光标移动到元数据表,单击操作,选择查看血缘。
编辑 DDL
元数据表支持编辑 DDL,选中表后更多菜单中的编辑 DDL 即可进行编辑。目前支持编辑 with 参数,且 Connector 类型不支持编辑。在右侧的 WITH 参数编辑器中修改完成后,单击更新 DDL,左侧的 DDL 即显示更新后的 DDL,单击保存按钮即可完成编辑。
编辑DDL: