首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

我们可以在HDP 3中安装Apache Falcon吗?

在 HDP 3(Hortonworks Data Platform 3.x)中,Apache Falcon 已经被弃用,不再作为默认组件提供。Hortonworks 在 HDP 3 中推荐使用 Apache NiFi 和 Apache Atlas 作为替代方案来实现数据流和数据治理功能。

为什么不再支持 Apache Falcon?

  1. 功能重叠: Apache NiFi 提供了更强大和灵活的数据流管理功能,而 Apache Atlas 提供了更全面的数据治理和元数据管理功能。
  2. 社区支持: Apache Falcon 的社区支持和开发活动已经减少,Hortonworks 选择了更活跃和功能更强大的项目来替代 Falcon。

替代方案

  1. Apache NiFi: 用于数据流管理和编排。它提供了一个基于 Web 的用户界面,可以轻松地设计、管理和监控数据流。
  2. Apache Atlas: 用于数据治理和元数据管理。它提供了数据分类、数据血缘、数据安全和合规性管理等功能。

如何在 HDP 3 中使用 Apache NiFi 和 Apache Atlas

安装 Apache NiFi

  1. 通过 Ambari 安装:
    • 打开 Ambari 管理界面。
    • 导航到 Add Service
    • 选择 NiFi 并按照向导完成安装。
  2. 手动安装:
    • 下载 Apache NiFi 的二进制文件。
    • 解压缩并配置 nifi.properties 文件。
    • 启动 NiFi 服务。

安装 Apache Atlas

  1. 通过 Ambari 安装:
    • 打开 Ambari 管理界面。
    • 导航到 Add Service
    • 选择 Atlas 并按照向导完成安装。
  2. 手动安装:
    • 下载 Apache Atlas 的二进制文件。
    • 解压缩并配置 atlas-application.properties 文件。
    • 启动 Atlas 服务。

使用 Apache NiFi 和 Apache Atlas

  1. Apache NiFi:
    • 打开 NiFi 的 Web UI(默认端口为 8080)。
    • 使用拖放界面设计数据流。
    • 配置处理器、连接器和其他组件来管理数据流。
  2. Apache Atlas:
    • 打开 Atlas 的 Web UI(默认端口为 21000)。
    • 使用 Atlas 提供的 API 或 UI 来管理元数据。
    • 配置数据分类、数据血缘和其他数据治理功能。

结论

虽然在 HDP 3 中不再支持 Apache Falcon,但你可以使用 Apache NiFi 和 Apache Atlas 来实现类似的功能。这些工具提供了更强大和灵活的功能,可以更好地满足现代数据流和数据治理的需求。如果你仍然需要使用 Apache Falcon,可以考虑在独立环境中安装和配置,但这不推荐用于生产环境。

页面内容是否对你有帮助?
有帮助
没帮助

相关·内容

领券