如何在NiFi中使用EvaluateJsonPath处理器拆分json

基础概念

NiFi（Apache NiFi）是一个易于使用、功能强大的数据处理和分发系统。它允许用户通过拖放和配置处理器来设计数据流。EvaluateJsonPath 是 NiFi 中的一个处理器，用于从 JSON 数据中提取字段。

优势

1. 灵活性：可以根据 JSON 结构的不同部分提取数据。
2. 性能：高效处理大量 JSON 数据。
3. 易用性：通过简单的配置即可实现复杂的数据提取逻辑。

类型

EvaluateJsonPath 处理器主要有以下几种类型：

• Get Field Value：从 JSON 中提取单个字段的值。
• Get Fields：从 JSON 中提取多个字段的值。
• Get Field Value by Path：通过指定路径从 JSON 中提取字段的值。

应用场景

1. 数据转换：将 JSON 数据转换为其他格式（如 CSV）。
2. 数据过滤：根据 JSON 数据中的某些字段进行数据过滤。
3. 数据路由：根据 JSON 数据中的某些字段将数据路由到不同的目标。

示例

假设我们有一个 JSON 数据如下：

{
  "id": 1,
  "name": "John Doe",
  "address": {
    "street": "123 Main St",
    "city": "Anytown",
    "state": "CA"
  }
}

我们希望提取 name 和 address.city 字段。

配置步骤

1. 添加 EvaluateJsonPath 处理器：
   • 在 NiFi 流图中添加一个 EvaluateJsonPath 处理器。

• 配置处理器：
  • 在 Properties 部分，设置 Destination 为 flowfile-content。
  • 在 Return Type 中选择 json。
  • 在 JsonPath Expressions 中添加以下表达式：
  • 在 JsonPath Expressions 中添加以下表达式：
• 连接处理器：
  • 将输入数据连接到 EvaluateJsonPath 处理器。
  • 将 EvaluateJsonPath 处理器的输出连接到下一个处理器（如 SplitJson 或 PutFile）。

示例代码

假设我们有一个 JSON 文件 data.json，内容如下：

[
  {
    "id": 1,
    "name": "John Doe",
    "address": {
      "street": "123 Main St",
      "city": "Anytown",
      "state": "CA"
    }
  },
  {
    "id": 2,
    "name": "Jane Smith",
    "address": {
      "street": "456 Elm St",
      "city": "Othertown",
      "state": "NY"
    }
  }
]

我们可以使用以下 NiFi 流图来提取 name 和 address.city 字段：

1. GetFile：从文件系统中读取 JSON 文件。
2. EvaluateJsonPath：提取 name 和 address.city 字段。
3. SplitJson：将提取的字段拆分为单独的记录。
4. PutFile：将拆分后的记录保存到文件系统中。

常见问题及解决方法

问题：JsonPath 表达式错误

原因：JsonPath 表达式不正确或不匹配 JSON 数据结构。

解决方法：

• 确保 JsonPath 表达式正确。
• 使用在线 JsonPath 测试工具（如 jsonpath.com）验证表达式。

问题：提取的字段为空

原因：

• JsonPath 表达式不匹配 JSON 数据。
• JSON 数据格式不正确。

解决方法：

• 检查 JsonPath 表达式是否正确。
• 确保 JSON 数据格式正确，没有语法错误。

问题：性能问题

原因：

• 处理大量数据时，性能可能成为瓶颈。

解决方法：

• 使用 NiFi 的并行处理功能。
• 优化 JsonPath 表达式，减少不必要的计算。

参考链接

• Apache NiFi EvaluateJsonPath Processor Documentation
• JsonPath Online Tester

通过以上步骤和示例，你应该能够在 NiFi 中成功使用 EvaluateJsonPath 处理器拆分 JSON 数据。