1回答
我有一个应用程序，它接收来自Kafka主题的推文，有一秒钟的窗口，然后通过AsyncIO操作保存这些推文，该操作允许打开最多100个线程( AsyncIO操作符的最后一个参数)，而无需对数据进行任何预处理然后，我强调了Flink应用程序发送了300万条tweet，并用Grafana制作了一个图表，显示了数据库中保存了多少tweet，但这个图表显示了一些选择，并不是一条连续的线，我不明白为什么。所以你可以看到，在一分钟的</em
浏览 51提问于2020-01-27得票数 0
1回答
我正在搜索一个低延迟图形DB，它允许深度查询，同时实时更新。是否可以通过Flink进程实时更新Dgraph？我想验证一个想法如下：
如果不可能:图表是基于RocksDB的
浏览 1提问于2016-10-05得票数 1
回答已采纳
我正在使用Flink来处理Kafka的流数据。流程是非常基本的，从Kafka消耗，数据丰富，然后沉到FS。偶尔，在一些Kafka分区中会出现延迟。重新启动应用程序可以帮助Flink“重新平衡”消费和延迟。然而，过了一段时间，我看到了其他分区的
浏览 4提问于2020-06-16得票数 2
回答已采纳
据我所知，处理Kafka流的状态在内存、磁盘或Kafka主题中都是本地的，因为所有的输入数据都来自一个分区，其中所有的消息都是由一个定义的值键控的。大多数情况下，计算可以在不知道其他处理器的状态的情况下完成。如果是这样的话，您有另一个Streams实例来计算结果。如图所示：Flink到底在哪里存储它的状态？Flink是否也可以在本地存储状态，或者总是将它们发布到所有实例(任务)？是否可以
浏览 0提问于2019-02-10得票数 3
我是指Flink 1.14版本的Kafka源代码连接器下面的代码。
我期待以下要求。在应用程序非常新的开始时，必须从检查点上卡夫卡主题的最新偏移量中读取，它必须在重启后(当应用程序手动/系统错误终止时)将所消耗的偏移量提交给Kafka ，它必须从上次提交的偏移量中选择，并且必须使用消费者延迟当您在2s/3s内手动关闭应用程序并重新启动时。由于上
浏览 10提问于2021-12-16得票数 2
据我所知，kafka流通过保留窗口来处理延迟消息，例如，容忍延迟 .until(TimeUnit.DAYS.toMillis(1) /* keep for one day */)
但是我在中找不到相关的部件，还不支持？我可以通过kafka stream 做准确的统计吗，而不是给出最大容忍延迟(因为我不确定)？就像Apache
浏览 53提问于2018-03-09得票数 0
在使用Kafka，Flink on Mesos的流处理流水线中，可以采取哪些步骤来减少延迟？
浏览 0提问于2018-07-03得票数 0
我正在跟踪此Flink tutorial以进行反应式扩展，并有兴趣了解工作节点数量的快速变化对总体端到端延迟有何影响。根据documentation，我已经将metrics.latency.interval: 1000添加到配置映射中，因为我知道将添加一个新的延迟度量，并每隔1秒发送一次标记。然而，我似乎在普罗米修斯中找不到相应的直方图。下面列出了与延迟相关的可用指标： ? 我使用的是Flink 1.14。我
浏览 59提问于2021-10-12得票数 0
我有一台Flink服务器运行在一台计算机上。我想创建一个java web应用程序，它可以部署SQL(源代码创建SQL.，Sink创建SQL.)。然后插入Sink选择field1，.从源表)如何使用Table . flink-table-common-1.15.2.jar) 对远程Flink服务器执行上述SQL，应用程序将显示缺少jars的错误，这些jars已在flink的</e
浏览 3提问于2022-10-14得票数 0
我有一个要求建立聚合的数据，我们收到我们的Apache Kafka… 我有点不知道该走哪条技术路线…… 似乎人们看到的是标准的方式，一群Apache Kafka <-> Apache Spark <-> Solr Bitnami Data Platform 我找不到具体的例子说明这是如何工作的，但我也在问自己，是否有任何解决方案 Apache Kafka <-> Kafka Con
浏览 34提问于2021-11-11得票数 0
我正在编写一个Flink应用程序，它使用kafka主题中的时间序列数据。时间序列数据包含指标名称、标记键值对、时间戳和值等组件。我还想检查上面窗口之外是否有任何延迟到达的指标。我想要检查有多少指标延迟到达，并计算与原始指标相比延迟指标的百分比。我正在考虑使用flink的"allowedLateness“功能将延迟指标发送到不同的流。，“收集延迟指标并找到
浏览 17提问于2021-08-09得票数 0
回答已采纳
我有一个关于Flink-Kafka的问题来源： flink应用程序从检查点恢复后启动，并且运行良好。在运行过程中，有几个Kafka分区被添加到Kafka主题中，运行中的flink应用程序是否会知道这些添加的分区，并在不需要手动操作的情况下读取它们？或者我必须重新启动应用程序，让flink在启动时知道这些分区？ 如果添加分区不需要手动操作，你能给我
浏览 23提问于2019-10-07得票数 1
我有一个基于flink的流媒体应用程序，它使用apache kafka源和接收器。因为有时候我会在开发过程中的随机时间得到异常，我不知道它们是从哪里来的。我使用mainRunner类在IntelliJ中运行应用程序，并通过kafka向它提供消息。有时第一条消息会触发错误，有时只有在几条消息之后才会发生。(FlinkKafkaProducer.java:168) [flink-connector-kafka-0.11_
浏览 111提问于2019-01-29得票数 1
回答已采纳
我试图运行Apache，我使用Kafka主题作为输入，在尝试运行Flink时，我得到了以下错误： <artifactId>flink-streaming-java_2.10</artifa
浏览 3提问于2017-11-20得票数 1
我们有几个阅读卡夫卡主题的flink应用程序，它们工作得很好。但最近，我们向现有的flink作业添加了一个新主题，它在启动时立即开始失败，并出现以下根错误：
Caused by: org.apache.kafka.common.KafkaException: java.lang.NoClassDefFoundError将lz4依赖项直接添加到应用程序中不起作用，奇怪的是，它在本地运行良好，但在远程集群上失败。flink运行时版本是1.9.1，我们在<e
浏览 5提问于2020-07-31得票数 1
回答已采纳
1回答
我的场景是，我想调用一个基于另一个流输入的流。这两种流类型不同。以下是我的示例代码。我想在收到来自Kafka流的消息时触发一个流。如何做到这一点？有可能吗？inputRecords = getDBData(env,cass
浏览 0提问于2020-06-19得票数 1
我使用FlinkKafkaConsumer来使用kafka并启用检查点。现在，我对偏移管理和检查点机制有点困惑。我已经知道flink将开始从使用者组的. https://ci.apache.org/projects/flink/flink-docs-stable/dev/connectors/kafka.html#kafka-consumers-start-position-configur
浏览 6提问于2019-11-04得票数 2
回答已采纳
在SCALA代码中使用Kafka/FLink命令行-“命令”Starting Flink Server
bin/start-loc
浏览 7提问于2017-10-09得票数 0
回答已采纳
3回答
我在Flink中做实时流，其中Kafka是消息队列。我正在申请120秒的EventTimeSlidingWindow。滑动1秒。我还在事件时间的每一秒插入水印。我担心的是，如果元素会在水印之后延迟出现，会发生什么？现在在我的情况下，Flink简单地丢弃了它各自的水印之后的消息。filnk是否提供了任何机制来处理这种延迟消息，比如维护单独的窗口？
浏览 19提问于2017-01-19得票数 3
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
