etl-engine支持对Hive的读取,并输出到以下目标数据源:
etl-engine支持None和Kerberos认证方式,适合测试环境及企业应用中的认证场景。
只需要二步 就完成 读Hive写DB操作
<?xml version="1.0" encoding="UTF-8"?>
<Graph>
<Node id="HIVE_READER_01" dbConnection="CONNECT_02"
type="HIVE_READER" desc="读Hive节点1" fetchSize="1000" >
<Script name="sqlScript"><![CDATA[
select uuid,name,height,writetime from db_hive_edu.t_u_info
]]></Script>
</Node>
<Node id="DB_OUTPUT_01" type="DB_OUTPUT_TABLE" desc="写数据表节点1" dbConnection="CONNECT_01" outputFields="uuid;name;height;writetime" renameOutputFields="uuid;name;height;writetime" >
<Script name="sqlScript"><![CDATA[
insert into db1.t_hive_u_info (uuid,name,height,writetime) values (?,?,?,?)
]]></Script>
</Node>
<Line id="LINE_01" type="STANDARD" from="HIVE_READER_01" to="DB_OUTPUT_01" order="0" metadata="METADATA_01"></Line>
<Metadata id="METADATA_01">
<Field name="uuid" type="int" default="-1" nullable="false"/>
<Field name="name" type="string" default="-1" nullable="false"/>
<Field name="height" type="float" default="-1" nullable="false"/>
<Field name="writetime" type="string" default="-1" nullable="false"/>
</Metadata>
<Connection id="CONNECT_02" dbURL="hadoop01:10000" database="db_hive_edu" username="Administrator" password="******" batchSize="1000" type="HIVE"/>
<Connection id="CONNECT_01" dbURL="127.0.0.1:3306" database="db1" username="root" password="******" batchSize="1000" type="MYSQL"/>
<!--
<Connection sortId="1" id="CONNECT_1" type="ORACLE" dbURL="127.0.0.1:1521" database="orcl" username="c##u1" password="******" />
-->
</Graph>
etl_engine -fileUrl hive_to_db.grf -logLevel debug
如此简单就完成了 读 hive 数据表 、写 mysql 数据表 操作。
[免费下载](https://github.com/hw2499/etl-engine/releases)
[etl-engine使用手册](https://github.com/hw2499/etl-engine)
[etl-crontab使用手册](https://github.com/hw2499/etl-engine/wiki/etl-crontab%E8%B0%83%E5%BA%A6)
[嵌入脚本开发](https://github.com/hw2499/etl-engine/wiki/%E5%B5%8C%E5%85%A5%E8%84%9A%E6%9C%AC%E5%BC%80%E5%8F%91)
原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。
如有侵权,请联系 cloudcommunity@tencent.com 删除。
原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。
如有侵权,请联系 cloudcommunity@tencent.com 删除。