etl engine cdc模式使用场景 输出大宽表原创

今天我们向大家介绍CDC模式主要应用场景。一主从复制。常用于易著多从。读写分离。常用于同步备份。实时备份，可一主一从。也可一主多从。二数据分发。同一份数据分发到不同目标源，供多个系统应用使用。数据接收过程中，通过转换功能额外输出大宽表。从部署图当中我们可以看到左侧数据源。有MySQL post。前置机部署了多个ETL engine实例。ETL engine通过监控日志。将实时变化的数据同步到数据中。台的。

多个DB中。实现主从复制的功能。也可以将数据。在进行同步的过程当中。通过join table将数据转换成大宽表输出。同样，我们。在做模拟之前。准备如下前置条件。我们模拟MYSQL2个数据库，DB是业务系统。DB2式分析系统。D be当中。T user info代表用户信息表。T是产品表。T order info是业务系统实时变化的订单表。

业务规则是业务系统向tor info插入数据。DB2。To info实现了主从备份的功能。DB的top info。是用户消费明细表，供ola分析系统使用。我们稍后模拟的效果是。向DB info插入订单数据。通过CDC模式将dbor info数据实时更新到DB2。Info。同时将DBF数据。DB user info做数据关联输出。大宽表到。DB top info。

供我们的分析系统使用。在模拟之前。我们先启动ETL的阻塞服务。我们模拟了一些数据。首先看DB user info。里面有五条记录。代表了。用户信息。D product是产品信息表，里面有七条记录，分别是产品的明细。F、目前没有订单，数据是空的。我们向DB info插入数据。最终的效果是下。DB2的。Order info。

做主。从复制。然后将业务数据进行大宽表输出。我们先。插入一条数据。先观察我们的。DB。T order info。已经插入了一条订单信息。我们再看。DB info。也插入了一条。证明主从复制已经成功。我们再看DB top info。目前。大宽表已经输出。我们继续模拟。

四条记录。用户的ID分别是两个145产品ID。产品明细。最终效果会在。大宽表里输出用户的。消费明细。先看DB1的订单信息表。已经插入了。我们再看。DB2的。订单信息表也已经插入。再看我们的大宽表。数据已经进来了。再看我们的服务心跳分析。当前的服务是运行当中。