我们通常说的Flink是来Apache Flink,他是由Apache软件基金会开发的开源流处理框架,其核心是用Java和Scala编写的分布式流数据流引擎。Flink以数据并行和流水线方式执行任意流数据程序,Flink的流水线运行时系统可以执行批处理和流处理程序。此外,Flink的运行时本身也支持迭代算法的执行。现在越来越多的企业公司和个人都在使用Flink,来使用他的特性解决一些实时问题。
官方地址:https://flink.apache.org/
在官网上开头有一段话就讲到Apache Flink,翻译过来就是:Apache Flink是一个框架和分布式处理引擎,用于在无界和有界数据流上进行有状态计算。Flink旨在在所有常见的集群环境中运行,以内存速度和任何规模执行计算。从上面的介绍中,我们可以提取到Apache Flink是一个流式计算框架,也是流处理引擎。
在Flink中,任何类型的数据都可以形成一种事件流,数据可以被作为 无界 或者 有界 流来处理。
有定义流的开始,但没有定义流的结束。它们会无休止地产生数据。无界流的数据必须持续处理,即数据被摄取后需要立刻处理。我们不能等到所有数据都到达再处理,因为输入是无限的,在任何时候输入都不会完成。处理无界数据通常要求以特定顺序摄取事件,例如事件发生的顺序,以便能够推断结果的完整性。例如监听数据,消费数据(信用卡消费时给出消费判断和消费告警)。
有定义流的开始,也有定义流的结束。有界流可以在摄取所有数据后再进行计算。有界流所有数据可以被排序,所以并不需要有序摄取。有界流处理通常被称为批处理。例如在读取文件数据,文件在被读取时是已经确定大小,确定了数据。
Flink作为一个引擎可以存储有状态的数据流。一般情况下,我们在其他框架中,都是计算一个结果后存储在数据库,例如存储在redis、mysql,然后再读取出来做一些其他业务逻辑计算。而在Flink中有状态的数据流是指在进行数据处理时,数据流中包含的状态信息可以被存储和访问,以便在处理过程中进行状态的计算和更新。与无状态的数据流相比,有状态的数据流需要更多的存储和计算资源,因为需要维护状态的一致性和容错性。
Flink可以在一个单独的机器上运行,也可以在一个集群上运行,并具有高效的数据处理能力,特别是对于大规模数据集。从官网来看,Flink有以下5种能力:
另外,Flink支持多种资源管理框架,Flink可以在包括YARN、Mesos、Kubernetes在内的多种资源管理框架上运行,并支持在裸机集群上独立部署。
本文通过Flink官网来了解Flink是什么,Flink是一个事件驱动框架引擎,得力于Flink的能力,我们可以解决工作中的很多事情,Flink主要应用场景包括实时数据计算、实时数据仓库和ETL、事件驱动型场景(如告警、监控)等。
原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。
如有侵权,请联系 cloudcommunity@tencent.com 删除。
原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。
如有侵权,请联系 cloudcommunity@tencent.com 删除。