参数说明
离线类型 | 读/写 | 配置内容 | 适用场景 | 描述 |
es | 写 | | 单表 | - |
mysql | 读 | splitFactor=5 | 单表 | - |
cos | 写 | splitFileSize=134217728 | 单表 | 单文件切分大小 针对 hive on cos 不生效 支持 text、orc、parquet 类型的文件 |
HDFS | 写 | splitFileSize=134217728 | 单表 | 单文件切分大小 hive on hdfs 不生效 支持 text、orc、parquet 类型的文件 |
hive | 写 | compress=none/snappy/lz4/bzip2/gzip/deflate | 单表 | 默认为 none。只对 textfile 格式有效,对 orc/parquet 无效(orc/parquet 需要在建表语句指定压缩) |
hive | 写 | format=orc/parquet | 单表 | hdfs 临时文件的格式,默认为 orc,跟最终 hive 表格式无关 |
doris | 写 | sameNameWildcardColumn=true | 单表 | mysql-doris 配置* 支持同名字段映射 |
元数据字段 | 读/写 | 配置内容 |
kafka | 读 | __key__ 表示消息的 key
__value__ 表示消息的完整内容
__partition__ 表示当前消息所在分区
__headers__ 表示当前消息 headers 信息
__offset__ 表示当前消息的偏移量
__timestamp__ 表示当前消息的时间戳
|
配置方式