使用 Paimon Catalog

最近更新时间:2026-03-04 10:36:42

我的收藏

介绍

您可以在 Oceanus SQL 作业中配置 Paimon Catalog、查看 Paimon 元数据、使用 Paimon Catalog。将元数据信息保存到 Paimon Metastore 以后,在作业中无需再显式声明 DDL 语句,直接三段式引用元数据即可。

版本说明

Flink 版本
说明
1.13
不支持
1.14
不支持
1.16
支持
1.18
支持
1.20
暂不支持

操作说明

创建 Paimon Catalog

切换到 _dc,单击新建Paimon Catalog


普通 COS 桶



COS 元数据加速桶

相比普通 COS 桶,需要填写具有相应 Warehouse 权限的用户名。


EMR

需要先登录 EMR 集群下载 Hadoop 集群的 hdfs-site.xml 文件,以获取下列配置中所需的参数值,参考 登录集群
HDFS 路径的形式为 hdfs://${dfs.nameservices}/${path}${dfs.nameservices} 的值可在 hdfs-site.xml 中查找,${path} 为要写入的数据目录。
如果是多 Master 的 EMR 集群需要上传 hdfs-site.xml 可以用下面的命令将它打成jar包上传,不能直接上传配置文件。
jar -cvf emr-xxx.jar hdfs-site.xml


Hive

Hive需要上传配置jar包,可以参考Hive 配置


引用 Paimon Catalog


CREATE TABLE IF NOT EXISTS `116-paimon-sink1`.`default`.`sink1` (
id INT PRIMARY KEY NOT ENFORCED, -- Paimon需要主键,id作为主键
name STRING
) WITH (
);


Insert into `mysql-116`.`test927`.`test`
Select * FROM `116-paimon-sink1`.`default`.`sink1`;


修改 Paimon Catalog

不能修改 Catalog 名字和 Metastore 类型。


删除 Paimon Catalog

可以单击该按钮进行删除。
注意
删除之后,关联该 Catalog 的作业会出现启动失败。