开源流引擎Flink - 腾讯云开发者社区

文章/答案/技术大牛

发布

1回答

强制在flink中的确切主机上运行操作

stream、apache-flink

我需要我的flink作业的源流和输出流在同一个节点内运行。有办法做到这一点吗？

浏览 0提问于2016-11-17得票数 1

1回答

如何在Flink中使用表API消费两个源码流

apache-flink、flink-streaming、flink-sql、pyflink

我有一个使用python表api的Flink作业。现在，我的应用程序将使用一个额外的源流。我很好奇用表API消费多个源流的推荐方式是什么。其他信息：这两个输入流只是两个事件源。

浏览 14提问于2021-11-05得票数 0

1回答

Flink SQL客户端环境配置，将CSV文件作为源流式处理表读取

apache-flink、flink-sql

我想从SQL客户端试用Flink SQL中的Match_Recognize操作符。at org.apache.flink.table.client.SqlClient.validateEnvironment(SqlClient.java:147) at org.apache.flink.table.client.SqlClient.startby: org.apache.flink.table.client.gateway.SqlExecutionException: Could not create ex

浏览 1提问于2020-02-13得票数 0

1回答

如何在Apache中的分布式运行时管理内存？

java、java-8、apache-flink、distributed-caching

我们正在Java 8中构建一个基于Apache的数据流处理应用程序，我们需要维护一个对象的状态完整列表，这些对象的特性每10秒通过源流更新一次。根据规范，如果可能的话，我们必须不使用分布式存储。所以，我的问题是关于Flink的内存管理器:在集群配置中，它是否复制任务管理器使用的内存？或者有什么方法可以使用Flink的分布式内存解决方案呢？

浏览 1提问于2017-03-12得票数 0

回答已采纳

3回答

火花流:无法计算拆分，块未找到

apache-spark、spark-streaming

我试图用Kafka (版本1.1.0)来使用星火流，但是由于这个错误，星火作业不断崩溃：org.apache.spark.SparkException: Job aborted due to stage failure: Task 3967.0:0 failed 4 times, most recent failure: Exception failure in TID 43518 on host ********: java.

浏览 8提问于2014-11-21得票数 13

1回答

如何提供Apache Flink DataStream

apache-flink、flink-streaming

我是Apache Flink的新手。我想创建一个DataStream，并将来自另一个系统的值提供给它。我找到了如何添加"SourceFunctions“的例子，在这个函数中，我必须等待来自源的值，并通过调用ctx.collect将这些值发布到Flink，然后再次等待，这就是轮询。否则，我必须在SourceFunction中执行连接和回调，然后使用睡眠执行一个循环，但我不想这样做…… 我已经在Flink中看到了“用于外部数据访问的异步I/O”，但是我仍然需要一个源流，它由一个SourceFunctions

浏览 2提问于2017-11-28得票数 1

1回答

访问KeyedStream中的子任务度量

apache-flink、flink-streaming、flink-state

我希望将大量数据加载到Flinks状态后端(RocksDB)中，并使用该数据处理事件(例如，在CoProcessFunction中)。数据比TaskManager的内存大得多。但是，状态后端中的总数据比TaskManager的内存大，因此不可能为每个键在本地保持相应的数据块与状态后端之间的数据块。为了解决这个问题，我需要知道SubTask的当前内存使用情况，以决定是否可以在本地保存密钥的数据块，或者是否需要删除某些内容。因此，我的问题是

浏览 1提问于2022-09-30得票数 0

回答已采纳

2回答

其中的包是Flink DataGen SQL连接器。

java、maven、apache-flink、flink-sql

其中Maven包是pom.xml中的Flink包是：flink-streaming-java_${scala.binary.version}flink-statebackend-rocksdb_2.11 flink-table-api

浏览 23提问于2022-08-02得票数 0

回答已采纳

2回答

结构化流是实时流处理引擎吗？

apache-spark、spark-streaming、apache-flink

我们知道Flink是一个真正的实时流处理引擎，它可以在记录到达时处理记录，我们也知道火花流是一个微批量流处理引擎。然而，我们也知道星星之火发布了结构化的流媒体，它怎么样？它是否也是一个真正的实时流处理引擎，就像Flink一样，它可以在记录到达时立即处理记录，而不是微批处理，或者仍然使用微批处理模式？

浏览 3提问于2017-06-27得票数 3

回答已采纳

1回答

Flink流JdbcSink异常处理

jdbc、streaming、apache-flink、flink-streaming

偶尔，我会从源流中接收到错误的记录，并且它无法插入数据库(java.sql.BatchUpdateException)，因为它无法满足某些表约束。显然，我可以通过Flink过滤器操作符传递事件来过滤它们，但是这个过滤器会变成一个复杂的代码来检查每一个可能的失败组合。

浏览 6提问于2022-10-27得票数 2

1回答

如何利用动态变化的规则对kafka流进行欺诈检测？

drools、apache-kafka-streams

但是如何在动态变化的规则引擎中使用它(例如。口水规则)？我的想法是在卡夫卡主题中填充流口水规则，将客户数据存储在另一个被视为KTable的卡夫卡主题中，然后加入KStream和KTable，对吗？

浏览 0提问于2018-07-28得票数 2

1回答

使用Apache Beam而不是直接使用Spark的缺点/问题？

apache-spark、apache-flink、apache-beam

我需要开始一个新的项目，我不知道是否火花或Flink会更好。目前，该项目需要微批处理，但以后可能也需要流事件处理。假设火花是最好的，是否有缺点使用梁代替选择火花/Flink作为跑步者/引擎？Beam是否会增加任何开销，或者在Spark/Flink中缺少某些API/功能？

浏览 2提问于2019-04-29得票数 1

回答已采纳

2回答

如何将Kinesis数据流合并为一个数据流以进行Kinesis数据分析？

amazon-web-services、amazon-kinesis、amazon-kinesis-firehose、amazon-kinesis-analytics

我有多个AWS kinesis数据流/firehose和CSV格式的结构化数据。我需要使用运动数据分析对这些数据执行分析。但是如何将多个流合并为一个流呢？因为Kinesis数据分析仅从一个流中获取数据。数据流可以存在于不同的地域。

浏览 3提问于2020-08-25得票数 0

1回答

当使用火花或Flink时，如何实现HDFS的位置感知？

apache-spark、hdfs、hadoop-yarn、apache-flink

我想知道Spark或Flink执行引擎(主调度程序)如何为每个块找到合适的工作人员。namenode将能够告诉他们块的确切位置，但是这个任务是由Spark和Flink的工作经理完成的，还是在这里纱线发挥作用？

浏览 2提问于2015-08-23得票数 1

回答已采纳

1回答

带有flink的apache波束中的CEP

java、apache-flink、apache-beam、complex-event-processing

我们使用Apache beam通过Flink处理来自不同来源的事件。在这种情况下，我们需要使用Flink的CEP引擎来定义事件模式并发出警报。我在beam中找不到任何用于此的包装器API。

浏览 22提问于2019-12-06得票数 1

回答已采纳

1回答

在Flink中并行性和并行计算有什么区别？

parallel-processing、apache-flink、flink-streaming、flink-cep

我对在Flink中可以并行工作的任务的数量感到困惑，在分布式系统中的并行性是多少？以及它与Flink中的computation?Flink中的，如果两个操作符分别工作，但每一个操作符中的并行数为1，这是否算作并行？在KeyedStream中，最大并行度是键数吗？，Flink中当前的CEP引擎是否能够在多个任务中工作？谢谢。

浏览 4提问于2020-04-10得票数 2

0回答

大数据平台几种计算引擎配置和资源规划？

存储、spark、大数据

1、大数据平台中，mapreduce、spark、sparkstream、flink几种计算引擎配置如何规划，包括服务器的CPU要求、内存容量、网卡配置、硬盘配置等？2、若采用yarn作为资源管理，计算引擎和yarn等管控节点的数量配比是多少？6-100台计算引擎配置7台管控引擎？还是如何？

浏览 149提问于2021-12-24

1回答

如何在Flink Java中在DataStream ()之后获取keyBy密钥

apache-flink、flink-streaming

我是从一个Flink流媒体应用程序中的Kafka集群中阅读的。在获取源流之后，我希望通过复合键和timeEvent滚动窗口聚合事件，然后将结果写入表中。

浏览 0提问于2019-07-08得票数 1

回答已采纳

1回答

Flink安装Maven构建失败flink-运行时-web

windows、maven、github、apache-flink

-仪表板@2.0.0~preci检查:flink-仪表板@2.0.07详细的生命周期flink-仪表板@Windows\System32\WindowsPowerShell\v1.0;C:\Windows\System32\OpenSSH;C:\Program文件(x86)\Intel\Intel(R)管理引擎组件\DAL；C：\Program\Intel\Intel(R)管理引擎组件\DA

浏览 19提问于2022-01-17得票数 0

2回答