数据集成平台-Kafka实时同步Doris能力演示

🔥🔥 AllData大数据产品是可定义数据中台，以数据平台为底座，以数据中台为桥梁，以机器学习平台为中层框架，以大模型应用为上游产品，提供全链路数字化解决方案。

✨杭州奥零数据科技官网：http://www.aolingdata.com

✨Github项目：https://github.com/alldatacenter/alldata

✨Gitee项目：https://gitee.com/alldatacenter/alldata

✨AllData官方手册：https://www.yuque.com/aolingdata/product

✨AllData正式环境：http://43.138.156.44:5173/ui_moat

一、数据集成平台基于开源项目Tis建设

数据集成平台（Tis）集成了FlinkX-CDC、DataX等大数据组件，提供一站式数据集成服务。支持多种数据源，涵盖MySQL、Oracle、ElasticSearch等，兼容国产数据库，满足多源异构数据集成需求。

数据集成平台提供可视化操作界面，简化数据集成流程，降低操作难度。同时，具备实时与批量集成能力，确保数据及时准确。此外，还支持插件化扩展，用户可按需开发新插件，增强平台灵活性。助力企业高效完成数据集成任务，为数据中台建设提供有力支撑。

二、数据集成平台功能特点

• Hive数据库数据同步能力演示(全量同步+分区同步)
• MySQL数据库数据同步能力演示(全量+增量同步)
• Oracle数据库数据同步能力演示(全量+增量同步)
• 国产数据库达梦数据源DaMeng数据同步能力演示(全量同步)
• 国产数据库人大金仓数据源KingBase数据同步能力演示(全量+增量同步)
• Kafka实时同步能力演示（增量实时同步）

一、支持数据库

二、进入主页

三、创建kafka通道

四、可视化配置kafka到doris

五、配置Kafka Reader

六、通过Kafka Reader到入表

七、批量配置Kafka表

八、配置Doris Writer表

九、成功创建Kafka到Doris同步实例

十、进入实时同步通道

十一、配置Flink实时同步

十二、实时同步配置Source/Sink

十三、自动生成同步实时同步代码

十四、部署实时任务成功

十五、检查实时任务正常运行

十六、检查Flink Runtime页面

十七、查看结果表数据，成功写入Doris数据