Pentaho Kettle:如何动态获取JSON文件列

文章/答案/技术大牛

发布

1回答

json、mongodb、pentaho、kettle、aws-documentdb

问题:我每天都有这些JSON事件事务文件从DocumentDB (MongoDB)传入S3存储桶中。该JSON文件与每个文档键(在我的例子中是一个订单)的相关事件类型(插入、修改或删除)相关联。文件可能包含N个pass，并且每个pass都与一个外部票证id相关联，这是一个不同的列(如上所示)。我想使用Pentaho Kettle读取这些JSON文件并将数据加载到DW中。我知道Json输入步骤和行规范

浏览 26提问于2020-09-14得票数 0

回答已采纳

1回答

在珠三角选择.ktr文件时，会出现“无法加载带有id [MongoDbInput]的step/plugin类”的错误吗？

pentaho、pdi、pentaho-report-designer

我有一个简单的五旬节格式，MongoDBInput与JSON输出连接。我可以在五旬节报告设计(PRD)中看到预览时获取json，但是当我试图与java集成并运行转换时，它的抛出错误- 无法从XML nodeorg.pentaho.di.core.exception.KettleStepLoaderException:加载step信息，无法为带有id MongoD

浏览 2提问于2018-08-21得票数 0

1回答

在Java中运行*.ktr会抛出KettleMissingPluginsException -为什么？

java、windows、pentaho、kettle

我创建了各种数据转换(*.ktr文件)，这些转换在从Spoon (PDI-CE5.4.0.1-130；Windows7)启动时运行得很好。为什么会抛出它，以及如何修复要运行的代码？<dependency> <artifactId>kettle-core</artifactId>

浏览 3提问于2015-08-20得票数 3

回答已采纳

1回答

用java运行Kettle转换

java、pentaho、kettle、pdi

这很简单，我只有一个主方法，获取一个.ktr文件并执行它。<dependency> <artifactId>kettle-engine</artifactId><version>5.0.5</version> <dependency&g

浏览 3提问于2014-12-23得票数 1

2回答

将参数从CDE传递到PDI pentaho

parameter-passing、pentaho、pdi

我有一个场景，使用kettle将参数从pentaho cde传递到pentaho数据集成，然后使用PDI中传递的参数更新表。如何在PDI中传递参数并获取传递的参数？提前感谢！

浏览 4提问于2016-01-12得票数 0

4回答

MongoDBInput Java集成

pentaho

我有一个简单的五旬节格式，MongoDBInput与JSON输出连接。我可以在宾得设计工作室看到预览版时获取json，但是当我尝试与java集成并运行转换时，它的抛出错误- 无法从XML nodeorg.pentaho.di.core.exception.KettleStepLoaderException:加载step信息，无法为带有id检查插件

浏览 9提问于2013-07-22得票数 1

回答已采纳

2回答

Pentaho-kettle:需要根据用户输入动态创建ETL作业

dynamic、ssis、etl、pentaho、kettle

在我的应用程序中，用户可以指定文件的格式。根据用户输入，动态生成SSIS包。我们想要评估这个要求的五角壶。Kettle可以根据用户的输入动态创建ETL作业吗？如果不是Pentaho，有没有Java ETL工具可以用来动态创建ETL作业？

浏览 2提问于2011-07-07得票数 7

1回答

如何让SQL SELECT查询通过PDI / Kettle数据源传递？

pentaho、kettle、pentaho-cde

我想使用注册的PDI Kettle转换作为数据源来执行它。这就是按钮和函数的开头：、和代码开头：

浏览 5提问于2017-11-06得票数 0

2回答

Pentaho Kettle -动态获取文件名

pentaho、etl、kettle、pdi、data-integration

我每个月都要导入一堆不同客户的xls文件。每个文件都有一个不同的名称(witch是任意性的)，这些文件位于一个以客户机名命名的文件夹中。但是，我对所有客户端和情况都使用相同的流程。如何读取不同路径上的此文件？

浏览 2提问于2018-09-18得票数 0

1回答

org/pentaho/di/core/attributes/metastore/EmbeddedMetaStore : java.lang.NoClassDefFoundError:链接失败

java、maven、jboss、pentaho、noclassdeffounderror

我正在用五旬节制作一批来处理一些文件。此批由servlet启动。<init>(JobMeta.java:755) <dependency>

浏览 2提问于2019-01-25得票数 1

回答已采纳

1回答

通过java运行pentaho作业

java、pentaho、jobs

我一直在尝试查找正确的包/.jar文件的下载，以运行此代码。import org.pentaho<

浏览 1提问于2016-09-16得票数 1

1回答

手动注册插件

plugins、pentaho、kettle、pdi

我知道我可以使用KETTLE_PLUGIN_BASE_FOLDERS让PDI自动加载它(这很有效)，但是为了让我的应用程序更简单，我想用Java手动注册这个插件，我该怎么做呢？

浏览 55提问于2019-08-14得票数 1

回答已采纳

2回答

如何在linux下执行.ktr文件？

pentaho、pentaho-spoon、pentaho-data-integration

正如问题所说，我需要通过linux执行.ktr文件。在windows中，我通常会这样做： "C:\Program Files\Pentaho Data Integration - Kettle 6.1.0.1\kitchen.bat" -file:"C:/Users/Username/Documents/Pentaho Projects/Job - System Integration.kjb" 但是我仍然对如何在L

浏览 136提问于2021-07-13得票数 0

回答已采纳

1回答

如何在使用水壶写入文本文件时控制提交大小？

kettle

我有一个oracle表"order“，它有一个clob列"description”，主键是varchar2 "Id“。我正在阅读该列，并将表中的每一条记录写入txt文件- order_Id.txt。表有大约400000000条记录，并使用文本文件输出写入文件，给出了外部内存堆错误，超过了gc开销限制。如何以块的形式处理数据？我使用的是水壶PDI7.0 set PENTAHO_DI_JAVA_OPTIONS="-Xms5500m“&

浏览 2提问于2019-02-09得票数 2

2回答

pentaho水壶无法连接到cloudera cdh4 HDFS

hadoop、connection、hdfs、kettle

我使用的是pentaho数据集成工具(Kettle PDI5.0)和Cloudera单节点版本的Cloudera CDH4 (V4.6)。如果有人知道如何设置连接，请提供帮助。

浏览 0提问于2014-07-02得票数 1

1回答

如果在其他两列中存在值，则替换单元格值。

pentaho、kettle

我正在使用Pentaho BI服务器和数据集成从两个输入表中获取数据集和合并数据，现在我需要替换每行单元格的值，如果同一行中的其他两列与我的标准匹配，那么如何使用Kettle来实现这一点呢？

浏览 1提问于2015-10-22得票数 1

回答已采纳

1回答

docker pentaho* mysql驱动程序问题*

mysql、docker、jdbc、pentaho、drivers

目的是(作为第一步)我将使用pan.sh运行一个.KTR文件，该文件将从.csv文件读取DB连接参数，并将这些参数放入环境中； FROM java:8-jre ENV PDI_RELEASE-${PDI_VERSION}.zip ENV KETTLE_HOME=$PEN

浏览 23提问于2017-05-30得票数 1

1回答

在Pentaho* Kettle中动态读取csv列*

csv、pentaho、kettle、pentaho-data-integration

如果我有一个带有查询的表输入步骤，比如Select * from myTable 然后转到用户定义的Java Class步骤，下面的代码允许我从表中动态获取列名。我有一个CSV文件名的变量，所以我不能执行'Get Fields‘来拉取这些列。是否有一种方法可以动态读取csv列名？

浏览 1提问于2017-08-03得票数 0

2回答

Pentaho水壶-写入日志文件时出错

logging、pentaho、kettle

我们有一个Pentaho作业，它在我们的本地环境中工作得很好，但在部署它并使用Kettle运行该作业后，我们得到一个写入日志文件的错误。下面是如何配置日志记录设置，路径和名称是之前设置的变量。在此步骤之前，它可以很好地记录到文件。这是在日志级别为debug的情况下运行Kettle时出现的错误。ProcessFiles - ProcessFiles - at org.pentaho.di.core.logging.LogChannelF

浏览 2提问于2016-10-05得票数 3

2回答

Talend Open-Studio支持的I/O格式

database、file-format、etl、talend、data-integration

例如，我正在将其与Pentaho的Kettle进行比较，我发现它支持文件系统I/O、MS Excel、Access、XML、JSON、SAP、各种SQL数据库等等。我在哪里可以找到塔伦德的类似信息？

浏览 2提问于2012-04-03得票数 2

回答已采纳

点击加载更多