etl engine 融合查询实现异构数据源联邦查询原创

今天我们向大家介绍通过ETL融合查询节点。实现将多个异构数据源读取到内存当中。进行融合查询处理。最终。将融合处理结果输出到目标数据源。融合查询。还可事先将多个。为表，数据读取到内存。然后同事时表进行融合查询处理。最终将事实表输出大宽表。我们的需求是将MYSQL数据库表。User info和PG数据库表user info。进行合并。然后输出到Oracle数据库。最终将手机号进行脱敏处理，只显示后四位数字。我们的前置条件。

事先在三个数据库中创建好数据表，并模拟相关数据记录。我们看一下MYSQL。数据表。里面有五条记录，分别是。用户ID、用户名称、用户手机号。PG数据库。有七条记录。分别有用户ID、用户姓名、用户手机号。Oracle数据库。记录是空的。也是用户ID、用户姓名。用户手机号。我们进入到管理端后台。打开设计器。

创建一个任务。突出融合查询节点。和写数据表节点。创建数据源连接。

创建源数据。匹配目标数据源。Oracle数据表中。的三个字段。配置融合查询节点。融合查询节点提供了相关读取属性。Query属性。用于读取事实表。目前场景当中无需配置。

The connection is属性配置，读取多个维表数据源。连接，The mansion table query、属性配置。多个维表查询语句。Federation table a name属性配置，内存中多个维表的别名。Federation query属性配置内存中如何查询语句？我们先配置the mentionable connection is。从MYSQL。PG分别读取。两个为表数据。为表的。

第一个query是MYSQL。第二个query。是PG的。两个query之间用一个分号分隔。Federation table name属性。是将读取到内存中的MYSQL数据表模拟成TU1PG数据表模拟成tu。最后配置federation query属性。

第一个查询语句。是从tu数据表当中。也就是MYSQL查询过来的数据集。读取。相关数据。姜。电话号码进行字符串截取。截取后四位。再用。匹配的函数。将左侧。进行补齐，最终输出一个字符。这就是融合查询语法。下面通过union all。关联了MYSQLPG读取的数据。也是一样的操作。最终实现将两个内存中的数据集。

通过融合查询语法。进行融合并输出。我们连线。选择创建好的原数据。配置写数据表。数据源是Oracle。Oracle的SQL语句。是插入到。Tu UNO数据表。Output fields属性。

试读数据表当中输出的字段名称。Rename output fields是输出到。Oracle数据表的字段名称。到此，我们已经将。融合查询的。相关配置配置完毕。保存。执行看一下效果。查询一下Oracle数据表。MYSQL的五条数据，PG的七条数据。电话号码。已经进行了脱敏处理。