重要：优化flink的四种方式

使用flink tuples

当使用groupby，join，后者key这类算子的时候，FLink提供了很多种访问你key的方法。1. 使用key selector

2. pojo类型使用字段

3. tuble类型使用offset

4继承TupleX第三种方法虽然给了最好的性能，但是可读性很差。比如，我们的代码有可能写成下面这样：

为了提升可读性，那么我们可以继承TupleX方法，然后重写其getter和setter方法。在flink的Gelly依赖内部有个Edge类，它就继承了Tuple3，如下：

重利用flink对象

可用于提高Flink应用程序性能的另一个选项是在从用户定义的函数返回数据时使用可变对象。看看这个例子：

正如上面例子所看到的在每次执行apply函数时，都创建了一个Tuple2类的新实例，这会增加垃圾收集器的压力。解决此问题的一种方法是重用相同的实例：

上面代码有些提升。但是，我们也会在每次调用的时候非直接创建 long类型的实例。为了解决这个问题，flink有许多所谓的值类：IntValue，LongValue，StringValue，FloatValue等。这些类的主要特点是提供内置类可修改的版本，我们可以在自定义函数中使用它们。例如：

使用函数注解

另外一个优化Flink任务的方法是提供一些关于你UDF如何处理输入数据的一些信息。由于Flink无法解析和理解代码，因此您可以提供有助于构建更高效执行计划的关键信息。 我们可以使用三种注解：

: 指定保留不动的输入字段，同时该字段要作为输出值的一部分。

: 指定不再输出中相同位置保留的字段。

: 指定用于计算结果的字段。应该只指定计算中使用的字段，而不仅仅是复制到输出。

举个例子，ForwardedFields注解使用如下：

上面的意思是tuple中的第一个元素不会被改变，并且会在相同的位置返回。如果你不想修改字段的值，但是想修改字段在输出结果中的位置，可以通过ForwardedFields来指定。下面的例子就是交换字段在tuple中的位置，然后提醒flink。

上面的注解仅能用于仅有一个输入的参数，比如map或者flatmap。如果有两个输入参数，你可以使用ForwardedFieldsFirst和ForwardedFieldsSecond注解。下面用JoinFunction接口：

flink还有NotForwardedFieldsFirst, NotForwardedFieldsSecond, ReadFieldsFirst, 和 ReadFirldsSecond等注解。

优化join

通过给Flink一些提示，可以使得你的join更快，但是首先我们要简单了解一下Flink如何执行join的。

当Flink处理批量数据的时候，每台机器只是存储了集群的部分数据。为了执行join，Flink需要找到两个数据集的所有满足join条件的数据。为了实现这个目标，Flink需要将两个数据集有相同key的数据发送到同一台机器上。有两种策略：1. repartition-repartition strategy在该情况下，两个数据集都会使用key进行重分区并使用通过网络传输。这就意味着假如数据集太大的话，网络传输数据集将耗费大量的时间。2. broadcast-forward strategy在该情况下，一个数据集不动，另一个数据集会copy到有第一个数据集部分数据的所有机器上。如果使用小数据集与大数据集进行join，可以选择broadcast-forward策略，将小数据集广播，避免代价高的重分区。

第二个参数就是提示，第一个数据集比第二个小。

也可以使用下面几个提示：

: 第二个数据集是较小的数据集

: 第一个书记集是较小的数据集

: 第二个数据集是较小的数据集。

: 对数据集进行重分区，同时使用sort和merge策略。

: Flink的优化器决定两个数据集如何join。

[完 译自https://dzone.com/articles/four-ways-to-optimize-your-flink-applications]

更多大数据视频，技术文档，调优，源码解读欢迎扫码加入知识星球