部署 及 使用 etl原创

下面我们介绍如何部署及使用ETL tab.和ETL engine.第1点前置条件。先获取到以下文件列表。解析一下各文件作用。Code bin code key分别是授权文件是必须的。KF crown是调度配置文件。使用etlb时必须。Size properties是环境配置文件。使用etlb时必须。Attogql.是日志表的数据结构。

使用etlb时必须。Etlb是管理端。用于配置ETL任务、配置调度、定期执行ETLN诊查看日志等功能。当我们使用管理端时。该文件是必须的。ETLN是引擎文件。用于解析和执行ETL任务。是数据交换场景中。最核心的文件。是必须的。还有2个是说明文件，非必须的。第2点，准备用于存储日志的数据库。默认。我们提供了。针对于MYSQL的日志脚本文件。我们可以通过导入工具。

或者是MYSQL的命令行。将日志导入到MYSQL数据库当中。我们默认数据库名称是DB。第3点，修改配置文件。有2个核心配置文件。CF crown文件。为etlb管理端提供配置，文件格式是一个XML结构体，里面包含HTTP服务器的。监听端口和ET引擎的所在位置。ETL任务配置文件的所在位置。密钥文件。的所在位置。等等一系列信息。具体配置说明可以查看相关技术资料。

或者ETL engine PDF文件。在我们的样本中。将引擎的位置默认配置为。Detl目录下。任务配置文件的目录默认配置为。Detl config目录下。这两个目录可以根据我们实际的情况进行修改。Size properties文件。为ETL配置日志输出数据源其他功能。当前配置默认输出到MYSQL。我们看一下。该文件内容。

里面。是MYSQL数据库的相关配置。同时，我们还支持。各种数据库。包括。预警的一些配置。认证的一些配置。服务心跳的配置。Radius的配置。CDC的配置。详细内容可以参考相关的技术资料。以上参数配置可保障。成功运行ETL tab.或ETL engine.

第4点，我们启动etlb管理端。管理端功能。主要是用于辅助。配置ETL任务文件。配置调度执行频率，查看ETLN任务执行日志。查看调度运行情况。命令行主要参数。File URL参数。用于指定CAF cn文件位置。运行后。默认会启动一个。11100的HTTP端口。用来与管理端进行交互。

我们可以浏览该地址。默认提供的用户名是admin，口令是123456。默认还启动11101端口。用于管理端向前端推送。后台日志文件信息。具体配置可查看相关技术资料。第5点，执行ETLN。我们可根据实际情况使用该文件。该文件有两种使用场景，一种是由ETL tab配置的。调度负责。周期性调用ETL engine引擎文件。不需要人为手动干预。另一种是独立运行ETL engine引擎文件。

命令行主要参数。有两个关键的参数，一个是file URL, 用于指定ETL任务配置文件的位置，还有一个是log level, 用于指定输出日志级别。第6点，通过ETL accountable管理端。查看调度及任务执行的日志信息。该信息主要是存储在数据库中。也可查看。ETL执行过程中的日志输出信息。该信息是存储在ETL engine log文件当中，还可以查看ETL tab执行过程中的日志输出信息。该信息存储在etlb log文件当中。我们在命令行中。

启动ETL tab.此处输出的信息代表成功启动。通过浏览器。可以浏览到ETL管理端。我们可以通过。监控面板查看任务执行的。成功率。和相关接口调用的成功率。调度设计器。可以查看系统里面。已经配置的调度及关联任务。

调度执行日志可以查看。调度执行过程中。调度执行成功与失败的情况。任务日志可以查看某一个任务执行的情况。成功还是失败？失败可以去查看具体失败的原因。还可以通过控制台日志来监控后台日志。此处显示后台输出到前台的日志信息。

到此，我们已经成功部署了etlb管理端。我们还可以手动去执行ETL engine.解析并执行相关任务。我们打一个已经配置完成的任务。点击执行按钮。执行完毕，我们通过控制台日志。可以看到执行情况。这里输出的内容就是该任务。执行的情况。到此，我们已经完成ETL CRA tab的部署。