ETL是数据仓库和数据集成领域常用的缩写，代表Extract, Transform, Load（提取、转换、加载）三个步骤。它是一种数据处理过程，用于从不同的数据源中提取数据、对数据进行转换和清洗，并将处理后的数据加载到目标系统或数据仓库中。
令人惊讶的是，Hadoop在短短一年的时间里被重新定义。让我们看看这个火爆生态圈的所有主要部分，以及它们各自具有的意义。 对于Hadoop你需要了解的最重要的事情就是，它不再是原来的Hadoop。 这
ETL代表提取、转换和加载。它是从任何数据源中提取数据并将其转换为适当格式以供存储和将来参考的过程。
ETL（Extract-Transform-Load）技术是数据集成领域的核心组成部分，广泛应用于数据仓库、大数据处理以及现代数据分析体系中。它涉及将数据从不同的源头抽取出来，经过必要的转换处理，最后加载到目标系统（如数据仓库、数据湖或其他分析平台）的过程。以下是ETL技术栈的主要组成部分和相关技术介绍：
NiFi DataFlow Manager(DFM)用户可能会发现在单个服务器上使用一个NiFi实例不足以处理他们拥有的数据量。因此，一种解决方案是在多个NiFi服务器上运行相同的数据流。但是，这会产生管理问题，因为每次DFM想要更改或更新数据流时，他们必须在每个服务器上进行这些更改，然后单独监视每个服务器。通过集群NiFi服务器，可以增加处理能力以及单个接口，通过该接口可以更改数据流并监控数据流。集群允许DFM仅进行一次更改，然后将更改复制到集群的所有节点。通过单一接口，DFM还可以监视所有节点的健康状况和状态。
在过去的几周中，我进行了四个现场的NiFi演示会议，在不同地理区域有1000名与会者，向他们展示了如何使用NiFi连接器和处理器连接到各种系统。我要感谢大家参与和出席这些活动！如今，当在家中远程工作成为一种规范时，我们都需要交互式的演示会议和实时问答。如果您还没有看过我的现场演示会议，可以在这里观看，视频还没有过期。
Cloudera Data Flow(CDF)作为Cloudera一个独立的产品单元，围绕着实时数据采集，实时数据处理和实时数据分析有多个不同的功能模块，如下图所示：
Apache NiFi 1.14.0 版是一个增加了重要的功能、改进和bug修复的版本，发布日期2021年7月14日。
Apache NiFi是一个强大的、可扩展的开源数据流处理工具，广泛应用于大数据领域。本文将介绍Apache NiFi的核心概念和架构，并提供代码实例展示其在实时数据流处理中的应用。
Apache NiFi可以基于Linux和Window安装，这里建议基于Linux安装。安装NiFi的节点需要安装JDK8,NiFi0.x版本需要JDK7。NiFi安装可以单节点安装，也可以分布式安装。我们这里安装NiFi的1.13版本，需要JDK8。
Fayson在前面的文章介绍了什么是NiFi，参考《0622-什么是Apache NiFi》。同时对如何在CDH中使用Parcel安装CFM做了介绍，参考《0623-6.2.0-如何在CDH中安装CFM》。也介绍过NiFi处理器以及实操，参考《0624-6.2.0-NiFi处理器介绍与实操》。本文会完成第一个NiFi例子，通过NiFi监控一个本地数据目录，定时将新文件put到HDFS。
NIFI中文文档地址:https://nifichina.gitee.io/ 更新日志 2020-05-21 新增TailFile 新增ExecuteScript 新增探索 Apache NIFI 集群的高可用 2020-05-18 The 4 V’s of Big Data 2020-05-18 新增AttributeRollingWindow 新增CompareFuzzyHash 新增Apache NIFI入门(读完即入门) 新增了解NiFi最大线程池和处理器并发任务设置 新增深入理解NIFI Conn
前言：Apache NIFI是自带用户验证、权限验证模块的，对用户和权限的模块都有详细的设计和划分。但默认配置下我们使用的是NIFI的HTTP服务，HTTP模式下，NIFI是不启用用户管理和权限管理模块的。
简单地说，NiFi就是为了实现系统间数据流的自动化而构建的。虽然术语“数据流”用于各种上下文，但我们在此处使用它来表示系统之间的自动和管理信息流。这个问题空间一直存在，因为企业有多个系统，其中一些系统创建数据，一些系统消耗数据。已经讨论并广泛阐述了出现的问题和解决方案模式。企业集成模式[eip]中提供了一个全面且易于使用的表单。
提到Cloudera我们第一个想到的就是Hadoop，在Hadoop生态系统中，规模最大、知名度最高的公司就是Cloudera。
2019年4月15日，Cloudera在其官网宣布GA两款新的产品Cloudera Flow Management和Cloudera Edge Management，即CFM和CEM。Flow Management和Edge Management以前都是隶属于HDP的相关产品，Cloudera此次官宣代表的是它们现在可以与CDH一起安装并使用，包括使用Cloudera Manager进行简易的Parcel安装和服务监控。HDP和CDH合并后，对于CDH的客户也一直期待HDP的一些优秀特性能早点融合到CDH中，CEM和CFM就是一次开始，它们为IOT场景的边缘管理和边缘数据搜集带来了可能。具体参考《0603-Cloudera Flow Management和Cloudera Edge Management正式发布》。
NiFi在大数据生态中的定位是成为一个统一的，与数据源无关的大数据集成平台。Cloudera将NiFi作为其新产品Cloudera Flow Management和Cloudera Edge Management的核心组件推出，可以方便地使用Cloudera Manager进行Parcel安装和集成。于此同时，Flume被移出了Cloudera Runtime，可见NiFi替换Flume的意图已经十分明显。
整个脚本分为三部分，第一部分是确定NIFI各个路径 目录的确定，设置环境变量，第二部分是方法区。第三部分是脚本逻辑代码的入口，粗略的根据不同的参数去执行不同的方法。以下脚本有详细注释：
简介：根据个人的一些提交代码的经历,分享一下给Apache开源项目贡献代码的小经验。以下以Apache NIFI为例说明。
前言：本文重点在于通过模拟事故来探索Apache NIFI集群的高可用，情景假定有一个3节点的NIFI集群，其中某个节点因为未知原因与集群失联，研究集群(两个在联节点集群）和失联的节点会发生什么，各个节点上的数据会怎样。(注意：节点因为未知原因与集群失联区别于系统管理员手动卸载节点)。除此之外，其他不做重点。
本文是若干脚本解读和源码学习分析的导读和概括，每一步骤的详细研究需要到各个章节仔细研究。
本文简单的讨论一下Apache NIFI项目结构的类资源隔离机制，适合接触过源码的同学阅读。
nifi.properties文件中有三个属性涉及 NiFi 内容存储库中内容的存档。
Apache NiFi是什么？NiFi官网给出如下解释：“一个易用、强大、可靠的数据处理与分发系统”。通俗的来说，即Apache NiFi 是一个易于使用、功能强大而且可靠的数据处理和分发系统，其为数据流设计，它支持高度可配置的指示图的数据路由、转换和系统中介逻辑。 为了对NiFi能够表述的更为清楚，下面通过NiFi的架构来做简要介绍，如下图所示。
Apache NiFi 是一个易于使用、功能强大而且可靠的数据处理和分发系统，在大数据生态中的定位是成为一个统一的，与数据源无关的大数据集成平台。Apache NiFi 是为数据流设计，它支持高度可配置的指示图，来指示数据路由、转换和系统中流转关系，支持从多种数据源动态拉取数据。简单地说，NiFi是为自动化系统之间的数据流而生。 这里的数据流表示系统之间的自动化和受管理的信息流。 基于WEB图形界面，通过拖拽、连接、配置完成基于流程的编程，实现数据采集、处理等功能。未来NiFi有可能替换Flume、Sqoop等大数据导数据的工具。
使用正确的工具，您可以在不到一小时的时间内构建这样的系统！在此博客文章中，我将向您展示如何使用Raspberry Pi硬件和开源软件（MQTT代理、Apache NiFi、MiNiFi和MiNiFi C2 Server）实现高级IIoT原型。我将专注于体系结构，连接性，数据收集和自动重新配置。
本教程涵盖了Apache NiFi的核心概念及其在其中流量管理，易用性，安全性，可扩展架构和灵活扩展模型非常重要的环境中所扮演的角色。
JSON Web Tokens为众多Web应用程序和框架提供了灵活的身份验证和授权标准。RFC 7519概述了JWT的基本要素，枚举了符合公共声明属性的所需编码，格式和已注册的声明属性名称(payload里属性称为声明)。RFC 7515中的JSON Web签名和RFC 7518中的JSON Web算法描述了JWT的支持标准，其他的比如OAuth 2.0框架的安全标准构建在这些支持标准上，就可以在各种服务中启用授权。
这是疯狂的水流。就像您的应用程序处理疯狂的数据流一样。如果您独自完成所有工作，那么很难将数据从一个存储路由到另一个存储，应用验证规则并解决数据治理，大数据生态系统中的可靠性问题。
在本实验中，您将运行一个简单的 Python 脚本来模拟来自一些假设的机器的 IoT 传感器数据，并将数据发送到 MQTT 代理 ( mosquitto )。MQTT 代理扮演网关的角色，通过“mqtt”协议连接到许多不同类型的传感器。您的集群附带模拟脚本发布到的嵌入式 MQTT 代理。为方便起见，我们将使用 NiFi 来运行脚本而不是 Shell 命令。
本文主要研究一下nifi的AbstractBinlogTableEventWriter
2006年NiFi由美国国家安全局（NSA）的Joe Witt创建。2015年7月20日，Apache 基金会宣布Apache NiFi顺利孵化成为Apache的顶级项目之一。NiFi初始的项目名称是Niagarafiles，当NiFi项目开源之后，一些早先在NSA的开发者们创立了初创公司Onyara，Onyara随之继续NiFi项目的开发并提供相关的支持。Hortonworks公司收购了Onyara并将其开发者整合到自己的团队中，形成HDF（Hortonworks Data Flow）平台。2018年Cloudera与Hortonworks合并后，新的CDH整合HDF，改名为Cloudera Data Flow(CDF)，并且在最新的CDH6.2中直接打包，参考《0603-Cloudera Flow Management和Cloudera Edge Management正式发布》，而Apache NiFi就是CFM的核心组件。
在之前的官方文档Apache NiFi Overview一章我们有看到：对于任何基于组件的系统，涉及依赖的问题时常发生。NiFi通过提供自定义类加载器来解决这个问题，确保每个扩展包都暴露在一组非常有限的依赖中。因此，构建扩展包的时候不必担心它们是否可能与另一个扩展包冲突。这些扩展包的概念称为“NiFi Archives”，在Developer’s Guide中有更详细的讨论。
NIFI的核心理念是，即使在非常大的规模下，也必须保证交付。这是通过有效地使用Write-Ahead Log和content repository来实现的。它们一起被设计成具备允许非常高的事务速率、有效的负载分布、写时复制和发挥传统磁盘读/写的优势。
NIFI可以处理各种各样的数据源和不同格式的数据。你可以从一个源中获取数据，对其进行转换，然后将其推送到另一个目标存储地。
DataFlow Manager(DFM)是NiFi用户，具有添加，删除和修改NiFi数据流组件的权限。
当客户希望在生产环境中使用NiFi时，这些通常是第一个提出的问题。他们想知道他们将需要多少硬件，以及NiFi是否可以容纳其数据速率。
RunNiFi类是由 nifi.sh脚本执行java命令指定的主类，RunNiFi类主要是干一些 查找文件，接受脚本指令，启动停止NIFI进程(主类 org.apache.nifi.NiFi)，自动重启NIFI，发送NIFI通知等等操作；关于代码的详细解读都在注释当中，可以从 main方法下自行跟踪阅读(自己跟着源码逻辑读更好)：
初衷：对于一些新接触Apache NIFI的小伙伴来说，他们急于想体验NIFI，恨不得直接找到一篇文章，照着做就直接能够解决目前遇到的需求或者问题，回想当初的我，也是这个心态。其实这样的心态是不对的。好多加入NIFI学习群的新手同学都会有这个问题，一些基本的概念和知识点都没有掌握，然后提出了一堆很初级的问题，对于这些问题，我们可能已经回答了几十上百次，厌倦了，所以大家一般会说"你先去看文档吧！"。其实，对于一个新手，直接看文档，也是一脸懵。所以在这里，我带领新手的你，新建一个同步的流程，并尽可能在新建流程的同时，穿插一些基本概念。跟随本文一起操作或者只是看看，最后你可能就找到了入门的感觉了。
NiFi的基本设计理念是基于数据流的编程Flow-Based Programming（FBP），应用是由处理器、连接器组成的网络。数据进入一个节点，由该节点对数据进行处理，根据不同的处理结果将数据路由到后续的其他节点进行处理。这是NiFi的流程比较容易可视化的一个原因。以下是NiFi的一些概念：
用户可以手动断开节点与集群的连接，节点也可能由于其他原因而断开连接，例如由于缺乏心跳。节点断开之后用户不能修改节点上的数据流，另外，有可能由于网络问题导致节点无法与集群协调器通信导致页面上显示节点断开连接，并不意味着它不起作用。
Apache NiFi 最新版本中内置的 Python 处理器可以简化数据处理任务，增强灵活性并加快开发速度。
回顾2020年，Apache NIFI一共发布了7个版本1.12.1、1.12.0、1.11.4、1.11.3、1.11.2、1.11.1、1.11.0。版本发布之频繁前所未有，可以看出NIFI的开源社区贡献力量壮大了许多，同时也更加期待NIFI未来能够给我们带来更多的惊喜。
在RunNiFi.java源码解读中有提到，最终RunNiFi进程在主程序中启动了新的进程NiFi,并循环监听NIFI进程的状态，直到NIFI进程不在运行，RunNiFi主程序才结束。
GEOMETRY POINT LINESTRING POLYGON MULTIPOINT MULTILINESTRING MULTIPOLYGON GEOMETRYCOLLECTION
当时只是大概的讲了启动了Jetty，接下来我们就深入了解一下JettyServer里面都干了些什么。从NIFI.java可以看出，使用反射构造JettyServer，传入两个参数，一个是properties，一个是narBundles。而后调用了start()
列名转换是ETL过程中常常遇到的场景。例如来源表user的主键id,要求写入目标表user的uid字段内,那么就需要列名转换.
Fayson在前面的文章介绍了什么是NiFi，参考《0622-什么是Apache NiFi》。同时对如何在CDH中使用Parcel安装CFM做了介绍，参考《0623-6.2.0-如何在CDH中安装CFM》。本文会首先对NiFi的使用做一下简单的介绍，然后对处理器（Processor）进行详细介绍。
在本系列的前一篇博客《将流转化为数据产品》中，我们谈到了减少数据生成/摄取之间的延迟以及从这些数据中产生分析结果和洞察力的日益增长的需求。我们讨论了如何使用带有 Apache Kafka 和 Apache Flink 的Cloudera 流处理(CSA) 来实时和大规模地处理这些数据。在这篇博客中，我们将展示一个真实的例子来说明如何做到这一点，看看我们如何使用 CSP 来执行实时欺诈检测。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
即时通信 IM
腾讯会议
