Kettle 中文名称叫水壶，该项目的主程序员MATT 希望把各种数据放到一个壶里，然后以一种指定的格式流出。...Kettle这个ETL工具集，它允许你管理来自不同数据库的数据，通过提供一个图形化的用户环境来描述你想做什么，而不是你想怎么做。...【环境变量】 选择【新建系统变量】--弹出“新建系统变量”对话框，在“变量名”文本框输入“JAVA_HOME”,在“变量值”文本框输入JDK的安装路径（也就是步骤5的文件夹路径），单击“确定”按钮 在“...3、需准备的其他东西：数据库驱动，如将驱动放在kettle根目录的bin文件夹下面即可。...3、kettle无法创建xml相关步骤，有相关步骤的.ktr文件也打不开 可能是因为路径中包含中文，将整个安装包移动到桌面或其他没有中文字符的路径下，重启Spoon.bat即可。
Kettle 中文名称叫水壶，该项目的主程序员MATT 希望把各种数据放到一个壶里，然后以一种指定的格式流出。...Kettle这个ETL工具集，它允许你管理来自不同数据库的数据，通过提供一个图形化的用户环境来描述你想做什么，而不是你想怎么做。...然后打开Spoon.bat，如图所示： 因为，运行spoon在不同的平台上运行spoon所支持的脚本： Spoon.bat：在Windows平台上运行spoon； Spoon.sh：在Linux、AppleOSX...不是Java虚拟出了问题，修改一下spoon.bat里内存配置： if "%PENTAHO_DI_JAVA_OPTIONS%"=="" set PENTAHO_DI_JAVA_OPTIONS="-Xms1024m...jar包 下载地址：https://dev.mysql.com/downloads/connector/j/ 或者点击直接下载里面包含MySQL和Oracle驱动包 如下图点击直接下载 下载好后，解压该文件将文件夹中的
，这个文件中有PDI远程maven私有仓库的地址，需要将 将原maven的conf目录下setttings.xml备份，将kettle提供的setttings.xml放在conf目录下，把PDI提供的...ui模块 下的 org.pentaho.di.ui.spoon.Spoon.java 文件，右键运行 Spoon.main() 即可运行项目，但运行过程中可能出现很多问题。...我的这个文件位于 E:\kettle\Kettle-8.2.0.0-R\Kettle-8.2.0.0-R\ui\src\main\java\org\pentaho\di\ui\spoon\Spoon.java...将win32的依赖移动到linux上面 如下图： 需要注意：每次 Maven 重新 Import 后调整过的顺序会被还原，需要再次手动调整。...配置完成，点击工具栏的启动按钮启动 Spoon，稍等片刻，将打开 Kettle 界面。
下面还有一步操作是将ibus拼音输入法设置为默认输入方法。如果缺少了这一步，每次重启系统后ibus拼音输入法就不能正常工作。...本例执行下面的命令将Kettle 8.3版本zip文件下载到本地，然后进行解压缩： # 下载安装包 wget https://sourceforge.net/projects/pentaho/files...将在本节了解到Kettle的配置包括哪些部分，以及应如何管理这些配置。 1....属性名前的JNDI名称决定了JNDI连接包括几行参数。以JNDI名称开头的行就构成了建立连接需要的所有参数。...但对部署而言情况就不同了，在部署的转换或作业里会使用资源库的名字，所以在repositories.xml文件里必须要有一个对应的资源库的名字。
配置文件吧，其实根据计算机不同，以及计算机中的环境变量的不同而千差万别。...cmd窗口报错，说是在kokia/Acer/user/acer/ 的下面找不到pwd文件夹(kokia是LZ的计算机名称) 所以LZ根据提示将kettle安装解压路径下的pwd文件夹复制了一份到提示信息的路径下...需要注意的是： 1.服务器的名称一定要与pwd文件夹下面的配置文件属性所对应的值是一致的 2.所新建的子服务器一定要在pwd文件夹下面要有对应的配置文件才可以， 否则即便在Spoon中进行相关的设定也不会在集群中作为一个节点所运行的...当然LZ也试着在Spoon界面中创建相关的子服务器，然后存盘该.ktr文件， 然后到相应的pwd文件夹下面寻找是否有相关的配置文件生成，但没有找到。...下面的截图是，将要作为集群的一个子节点在pwd文件夹下的配置文件信息： 可以看到的是，对应的属性的值是：slave1-8081 所以在Spoon中设定子服务器作为子节点的时候， 最好是要保证二者
从哪里抽取什么样的数据，即抽取规则。要支持增量抽取，即每次抽取只抽取上次抽取后变化的数据。...，对以上脚本、job的调度，主要是这其中的依赖如何配置的问题，还有就是对于日增、日全、月增、月全等数据如何加载。...资源库并不是必须的，如果没有资源库，用户还可以把转换任务保存在 xml 文件中。 资源库可以使多用户共享转换任务，转换任务在资源库中是以文件夹形式分组管理的，用户可以自定义文件夹名称。...有了资源库,就可以将 transformation/job 保存在数据库里,这样方便共享。...Kettle使用及练习—安装部署 Kettle的下载可以在 http://kettle.pentaho.org/ 网站下载。
选择对应的版本后，可以选择不同的Kettle版本（客户端或服务端），一般可使用client-tools版本（可本地安装后直接运行）即可。...启动测试： 在E:\pdi-ce-8.2.0.0-342\data-integration\目录下双击Spoon.bat即可打开Kettle的可视化编程界面 为了便于下次使用，可以将Spoon.bat...当行集满了，向行集写数据的步骤将停止写入，直到行集里又有了空间，当行集空了，从行集读取数据的步骤停止读取，直到行集了又有了可选的数据行。...在转换的空白处双击，会弹出转换属性 元数据 每个步骤在输出数据行时都有对字段的描述，这种描述就是数据行的元数据。通常包含如下信息。 名称：数据行里的字段名是唯一的 数据类型：字段的数据类型。...： 文件后缀： 转换文件后缀为ktr 工作文件后缀为kjb 存储方式： 以XML形式存储（本地文件） 以资源库的方式存储(数据库和文件)
spoonrc文件位于.kettle目录下。因为在默认情况下，.kettle目录位于用户目录下，所以不同用户都使用各自的.spoonrc文件。....属性名前的JNDI名称决定了JNDI连接包括几行参数。以JNDI名称开头的几行就构成了建立连接需要的所有参数。...默认情况下，Carte只支持最基本的授权方式，就是将密码保存在kettle.pwd文件中。kettle.pwd文件位于Kettle根目录下的pwd目录下。...但对部署而言，情况就不同了，在部署的转换或作业里会使用资源库的名字，所以在repositories.xml文件里必须要有一个对应的资源库的名字。...将libext目录下的jar包都包含在classpath字符串中。 将和程序相关的其它一些jar包都包含在classpath字符串中。
架构 Kettle是一个组件化的集成系统，包括如下几个主要部分： 1.Spoon：图形化界面工具(GUI方式)，Spoon允许你通过图形界面来设计Job和Transformation，可以保存为文件或者保存在数据库中...基本概念 1.Transformation：定义对数据操作的容器，数据操作就是数据从输入到输出的一个过程，可以理解为比Job粒度更小一级的容器，我们将任务分解成Job，然后需要将Job分解成一个或多个Transformation...3.Job：负责将Transformation组织在一起进而完成某一工作，通常我们需要把一个大的任务分解成几个逻辑上隔离的Job，当这几个Job都完成了，也就说明这项任务完成了。...If there are errors, the whole row will become red. （3）Kettle Java API 可以通过Java API的方式，将Kettle与第三方应用程序集成...2.高可用支持 3.如何避坑 4.基于开源版我们可以用来做什么，如何实现定时调度，如何实现高可用 5.开源社区版本与企业版本主要区别是什么？
检查Kettle根目录下logs目录下的spoon.log文件中记录的测试文件名。测试文件用于验证用户可以在其主目录中创建、写入和删除。...从下面的地址下载Pentaho提供的web日志示例文件，将解压缩后的weblogs_rebuild.txt文件放到Kettle所在主机的本地目录下。...可以看到，weblogs_rebuild.txt文件已从本地导入HDFS的/user/root目录中。每次执行作业会覆盖HDFS中已存在的同名文件。...首先从下面的地址下载Pentaho提供的格式化后的web日志示例文件，将解压缩后的weblogs_parse.txt文件放到Kettle所在主机的本地目录下。...格式化原始web日志 本示例说明如何使用Pentaho MapReduce把原始web日志解析成格式化的记录。
Kettle 中文名称叫水壶，该项目的主程序员MATT 希望把各种数据放到一个壶里，然后以一种指定的格式流出。...Kettle这个ETL工具集，它允许你管理来自不同数据库的数据，通过提供一个图形化的用户环境来描述你想做什么，而不是你想怎么做。...首先解压下载下来的压缩包如:pdi-ce-8.2.0.0-342.zip 然后打开Spoon.bat，打开后请耐心等待一会儿时间。如图所示： 3、建立转换。 在文件->新建装换。 ...注意：在数据库链接的过程中，可能会报某个数据库连接找不到的异常。那是因为你没有对应的数据库链接驱动，请下载对应驱动后，放入kettle的lib文件夹。...4、简单的数据表插入\更新 （1）新建表插入 在左边的面板中选择“核心对象”，在核心对象里面选择“输入->表输入”,用鼠标拖动到右边面板。
介绍： Kettle简介：Kettle 是 PDI 以前的名称，PDI 的全称是Pentaho Data Integeration，Kettle 本意是水壶的意思，表达了数据流的含义。...不同数据库 ETL工具集，它允许你管理来自不同数据库的数据。...下载程序包并解压 从官方网站下载spoon压缩包。 第二步. 一键启动 在windows下，解压后，双击spoon.bat文件运行。 开始使用 开始可视化数据操作吧。...放到kettle的lib目录下面。 4.运行spoon.bat，打开spoon图形工具 注意： 红圈处没有connect按钮，原因为资源库配置文件乱码造成。...解决方法： 打开系统盘用户目录下的repositories.xml配置文件，将乱码内容删除，并删除.spoonrc文件，再重启kettle。
Spoon以拖拽的方式图形化设计，能够通过spoon调用专用的数据集成引擎或者集群。...在Window10环境下，双击Spoon.bat即可运行了。 11、Kettle界面简介。 12、Kettle实现，把数据从CSV文件复制到Excel文件。...可以修改步骤的名称，点击浏览，选择到CVS文件，其他参数可以默认，点击获取字段，最后点击确定。...CVS文件输入配置完毕以后，可以配置Excel输出，如下所示： 此时，可以 按住shift拖动鼠标，划线，将CVS文件输入和Excel输出连到一起。...2）、转换包含一个或多个步骤(step)，如读取文件、过滤数据行、数据清洗或将数据加载到数据库。
安装kettle 第一种方式是官网：https://sourceforge.net/projects/pentaho/files/ （但我没找到） 第二种便是我给大家提供：https://pan.baidu.com...pwd=bq9j (百度网盘) 开始使用 安装 在网盘下载的是一个压缩包，我们将它解压在一个目录里（最好是全英文路径）后，在根目录里双击Spoon.bat文件 此时，我们便打开了kettle...sql并且测试是否可以获取到数据 此时我们的数据源就配置好了 输出配置 双击输出里的 插入/更新 此时这两个图形中间会有条线（自动关联上了），如果没有我们只需要按住键盘shift键，然后鼠标点击输入拖动到...在 用于查询的关键字 里将两张表的id作为关联 点击下面的编辑配置两张表字段之间的关联关系（注意，上面的数据库连接要是你刚刚新建的那个数据库连接信息） kettle，启动 此时，我们便可以点击右上角的启动按钮了...第一次运行会提醒你保存转换，我们找个文件夹将它保存下来就可以了 上面都是小绿点就说明成功了，此时我们便可以去数据库里查看数据了 结尾 看到这里，那么恭喜你，又学会了一门新技巧！
Kettle 中文名称叫水壶，该项目的主程序员MATT 希望把各种数据放到一个壶里，然后以一种指定的格式流出。...Kettle这个ETL工具集，它允许你管理来自不同数据库的数据，通过提供一个图形化的用户环境来描述你想做什么，而不是你想怎么做。...首先解压下载下来的压缩包如:pdi-ce-6.1.0.1-196.zip 然后打开Spoon.bat，如图所示： 打开后请耐心等待一会儿时间。 3、建立转换。 在文件->新建装换。 ...那是因为你没有对应的数据库链接驱动，请下载对应驱动后，放入kettle的lib文件夹。...4、简单的数据表插入\更新 （1）新建表插入 在左边的面板中选择“核心对象”，在核心对象里面选择“输入->表输入”,用鼠标拖动到右边面板。
下载完毕后，直接解压，双击Spoon.bat进行运行。 ? 如果在你的电脑上启动之后，没有进入下面的页面，那么就换台机器。修改 Spoon.bat中java内存参数不一定好使。 ?...3.1 建立DB连接 这个在上面第2章已经将做如何配置了。 ...第二步：按住shift 拖动鼠标连接【客户基本信息输入】和 【字段选择】 第三步：双击【字段选择】，添加【列映射】，建立源表和目标表中列字段的映射，如果字段名称相同，kettle会自动帮你选择，如果不同...下图是匹配完成，点击确定后的结果。 ? 第四步：这一步可选，当源数据字符集与目标字符集不同的时候需要做字符转换，如果一致，则直接跳过这一步 ?...第二步：选择第3章保存的ktr文件，保存即可。 ? 第三步：手工运行作业，点击下图红色圈圈里面的按钮 ? 进入下面的页面，点击【执行】就可以了。 ? 查看日志，下面的是结果正常的。
转换操作示例 4.1 基本概念 4.2 demo 1. kettle概述 Kettle 是 PDI 以前的名称，PDI 的全称是Pentaho Data Integeration，Kettle 本意是水壶的意思...Kettle这个ETL工具集，它允许你管理来自不同数据库的数据，通过提供一个图形化的用户环境来描述你想做什么，而不是你想怎么做。...作为Pentaho的一个重要组成部分，现在在国内项目应用上逐渐增多。...更改图标-浏览选择spoon.ico文件即可 解压驱动包，将mysql-connector-java-5.1.48-bin.jar这个包放进lib目录下 启动Spoon.bat 点击右上方Connect–Other...使用简介 ➢转换是ETL解决方案中最主要的部分，它负责处理抽取、转换、加载各阶 段对数据行的各种操作。转换包括一个或多个步骤，如读取文件、过滤输 出行、数据清洗或将数据加载到数据库。
Spoon 2. Kitchen和Pan （1）命令行参数 （2）例子 3. Carte ---- Kettle里有不同的工具，用于ETL的不同阶段。...Kettle数据流将数据作为本地行集缓存。如果数据源和目标之间需要通过网络传输大量数据，将Kettle部署于源或目标服务器上会极大提升性能。...这样就能在Spoon的图形界面下进行设计开发调试，然后用命令行执行保存的转换或作业（.ktr或.kjb文件），秉承Java程序一次编译到处运行的理念。...参数名 参数值 作用 norep rep 资源库名称 要连接的资源库的名称 user 资源库用户名 要连接的资源库的用户名 pass 资源库用户密码 要连接的资源库的用户密码 listrep 显示所有的可用资源库...关于Carte以及Kettle集群的配置和使用，参见“Pentaho Work with Big Data（八）—— kettle集群”
Kettle 中有两种脚本文件，transformation 和 job，transformation 完成针对数据的基础转换，job 则完成整个工作流的控制...（更多介绍自行搜索） ?...Kettle中文网：https://www.kettle.net.cn/ ⏬下载地址：https://jaist.dl.sourceforge.net/project/pentaho/Pentaho 9.1...启动方式：解压到本地，mac启动方式 /路径/pdi-ce-9.1.0.0-324/data-integration/spoon.sh ⚠️MySql数据抽取：如果使用MySql数据库下载jar https...举例子： 第一种：从A表->抽数据到->B表（可不同数据库） 启动kettle step 1：左侧操作区->核心对象Tab->输入->选择“表输入”->拖拽到右侧操作区 step 2：左侧操作区->核心对象...Tab->输出->选择“插入/更新”->拖拽到右侧操作区 step 3：双击“表输入”->选择数据库链接（上面有提到如何添加数据库连接）->输入查询的表SQL语句->预览按钮查看是否正确->保存 step
资源库可以使多用户共享转换任务，转换任务在资源库中是以文件夹形式分组管理的，用户可以自定义文件夹名称。 ...• 在Spoon 里创建和升级数据库资源库 文件资源库： 在文件的基础上的封装，实现了 org.pentaho.di.repository.Repository 接口。 ...参数名列表： /rep : 资源库名称 /user : 资源库用户名 /pass : 资源库密码 /trans : 要启动的转换名称 /dir : 目录(不要忘了前缀 /) /file : 要启动的文件名.../listdir : 列出资源库里的目录 /listtrans : 列出指定目录下的转换 /listrep : 列出可用资源库 /exprep : 将资源库里的所有对象导出到 XML 文件中 /norep...: 列出可用资源库 /exprep : 将资源库里的所有对象导出到 XML 文件中 /norep : 不要将日志写到资源库中 /safemode : 安全模式下运行: 有额外的检查 /version :
云服务器
ICP备案
云直播
即时通信 IM
实时音视频
