首页
学习
活动
专区
圈层
工具
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

#flink

Flink任务调度和执行流程-史上最通俗易懂的Flink源代码深入分析教程

jack.yang

Flink是一种用于大规模实时数据处理的开源流处理框架。在Flink中,任务调度和执行流程是非常重要的环节,因为这关系到任务的执行效率和结果质量。本文将详细分析...

9200

Apache Flink 分区算子KeyBy剖析-史上最通俗易懂的Flink源代码深入分析教程

jack.yang

Apache Flink中的KeyBy算子是一种根据指定Key将数据流分区的算子。在使用KeyBy算子时,需要指定一个或多个Key,Flink会根据这些Key将...

9500

Flink核心概念-史上最通俗易懂的Flink源代码深入分析教程

jack.yang

  Apache Flink是一个流式处理框架,它支持流和批处理,具有高性能、低延迟、高吞吐等优点。Flink的核心概念是DataStream和DataSet,...

13000

作业调度-史上最通俗易懂的Flink源代码深入分析教程

jack.yang

Flink作业调度是将Flink作业提交到Flink集群上,并根据作业的执行计划和资源需求等信息对作业进行优化、调度和分配,从而实现高效、可靠的作业执行的过程

7900

JobManager 数据结构-史上最通俗易懂的Flink源代码深入分析教程

jack.yang

Flink中,JobManager内部维护了多个数据结构,用于存储和管理作业的元数据信息。以下是JobManager中常用的数据结构:

7210

StreamGraph、JobGraph、ExecutionGraph以及物理执行图-史上最通俗易懂的Flink源代码深入分析教程

jack.yang

StreamGraph、JobGraph、ExecutionGraph以及物理执行图是Apache Flink中实现流处理的关键组件,它们之间存在着层次结构和依...

7300

SourceTransformation-史上最通俗易懂的Flink源代码深入分析教程

jack.yang

SourceTransformation的主要作用是将一个数据源转换为DataStream,以便对数据源进行各种处理操作,例如map、filter、join等。...

8100

DataStream-史上最通俗易懂的Flink源代码深入分析教程

jack.yang

在Flink中,DataStream是一个分布式数据集,表示无限流或有限流的数据流。DataStream可以由一个或多个数据源创建,数据源可以是文件、集合、K...

8210

StreamExecutionEnvironment-史上最通俗易懂的Flink源代码深入分析教程

jack.yang

StreamExecutionEnvironment是Flink中用于定义和执行流处理程序的主要类。它提供了一系列函数和方法来配置流处理程序的执行环境(例如并行...

8610

Flink源代码目录结构-史上最通俗易懂的Flink源代码深入分析教程

jack.yang

本文所有关于Flink源代码分析均基于flink-1.14.0,此版本为国内目前最流行版本之一,源代码包解压后根目录结构截图:

7500

Flink源代码分析重要性-史上最通俗易懂的Flink源代码深入分析教程

jack.yang

Apache Flink是一个流式处理引擎,被广泛应用于大数据分析和实时数据处理。Flink的高性能和灵活性使其成为了许多企业的首选解决方案。Flink的代码量...

8600

Flink简介小结-史上最通俗易懂的Flink源代码深入分析教程

jack.yang

       Flink是一种流处理引擎,它具有高效、可靠和灵活的特点,可以帮助企业和机构实现实时数据处理和分析,提高业务效率和决策效果。本章通过介绍Flink...

14910

Flink的应用案例-史上最通俗易懂的Flink源代码深入分析教程

jack.yang

随着互联网技术的不断发展,数据量呈爆炸式增长,如何高效处理和分析这些数据成为了企业和组织面临的重大问题。

10210

Flink与其他大数据技术的比较-史上最通俗易懂的Flink源代码深入分析教程

jack.yang

随着大数据技术的快速发展,越来越多的企业和组织开始关注和使用大数据技术来处理和分析海量数据。在众多的大数据技术中,Flink是一个备受关注的流处理框架...

9510

引言-史上最通俗易懂的Flink源代码深入分析教程

jack.yang

本章我首先从介绍Flink的定义展开全书首秀,希望各位读者能有耐心看下去。接着通过详细讲述Flink定义延伸出其从多优秀特点。然后再这些特点出发,自...

8900

使用 Flink 和 Kafka 构建数据管道-Java快速进阶教程

jack.yang

要安装和配置 Apache Kafka,请参考官方指南。安装后,我们可以使用以下命令创建名为flink_input和 flink_output 的新主题:

11510

Apache Flink with Java 简介-Java快速进阶教程

jack.yang

Apache Flink是一个大数据处理框架,允许程序员以非常高效和可扩展的方式处理大量数据。

5400

Apache Flink 分区算子Broadcast剖析-史上最通俗易懂的Flink源代码深入分析教程

jack.yang

Broadcast算子是一种广播分区算子,它将同一份数据广播到所有分区中。Broadcast算子适用于需要对所有分区进行相同操作的情况下,可以避免多次传输同样的...

9200

Apache Flink 分区算子Rescale剖析-史上最通俗易懂的Flink源代码深入分析教程

jack.yang

Rescale算子是一种轻量级的平衡分区算子,它将数据均匀分配到一部分分区中。Rescale算子适用于数据倾斜的情况下,但是相对于Rebalance算子,Res...

8210

Apache Flink 分区算子Rebalance剖析-史上最通俗易懂的Flink源代码深入分析教程

jack.yang

Rebalance算子是一种平衡分区算子,它将数据均匀分配到所有分区中。Rebalance算子适用于数据倾斜的情况下,可以使所有分区的数据量相近,避免某些分区的...

3100
领券
首页
学习
活动
专区
圈层
工具