1回答
Flink批处理水槽
、、、
我正在尝试以流和批处理的方式使用flink，将大量数据添加到Accumulo中(每分钟几百万)。我想在将记录发送到Accumulo之前对其进行批量处理。有了流数据，批处理看起来不错，因为我可以将记录添加到固定大小的集合中，一旦达到批处理阈值，该集合就会发送到accumulo。但是对于有限的批处理数据，我正在努力寻找一种好的批处理方法，因为它需要刷新超时，以防在指定的时间内没有进一步的数据。我考虑过使用一个带有批处理大小和时间间隔触发器的进程函数，但这需要一个键控窗口。我
浏览 20提问于2018-09-06得票数 1
1回答
出于性能原因，需要将事件批处理成n个消息组，理想情况下，批处理应该在几秒钟后刷新。如果事件计数满足我的最大批处理大小，那么使用带有清除触发器的翻滚处理时间窗口似乎是一个很好的解决方案。为了获得有窗口的批处理，Flink希望我使用key by语句。我尝试过使用一些不同的键，但遇到了平衡问题，而且这些键也破坏了运算符链。
浏览 9提问于2021-11-12得票数 0
我是Flink的初学者，我的问题是，我的Flink应用程序消耗了一个实时的流量，我想收集每一个‘自然’小时流量的uv，然后将agg结果写到HDFS。
浏览 2提问于2022-01-04得票数 0
我想设置Flink，这样它就可以将数据流从Apache转换并重定向到MongoDB。出于测试目的，我构建在flink流-Connectors.kafka示例()之上。我发现的关于MongoDB集成的唯一例子是来自github的flink-mongodb测试。不幸的是，它使用的是静态数据源(数据库)，而不是数据流。Apache Kafka Broker <-------------- "AAABBBCCCDDD" (String)
Apache Kafka Broker -------------->
浏览 3提问于2016-02-02得票数 11
回答已采纳
1回答
我正在做一个flink项目，它将流写入关系数据库。如果记录的数量不超过“批处理大小”，我们也希望每1分钟强制一个“批-插入”。你通常会如何处理这类问题？我们必须一起写我们自己的<
浏览 2提问于2019-03-02得票数 1
回答已采纳
在使用rocksdb的flink v1.13.2中，我使用grafana中的以下命令测量任务压力：sum by (task_name)(flink_taskmanager_job_task_backPressuredTimeMsPerSecond此外，Flink还需要一些其他指标来找出真正的原因。(因为我永远找不到那个问题是MongoDB)。
浏览 5提问于2022-04-18得票数 0
回答已采纳
我试图用Flink 1.5.0创建一个面向批处理的Flink作业，并希望使用Table和SQL来处理数据。;import org.apache.flink.table.api.TableEnvironment;import org.apache.flink.tabl
浏览 1提问于2018-06-19得票数 0
我用卡桑德拉水槽写了一个Flink应用程序。一切都运行得很好，但是没有生成各种指标(比如延迟、NumRecordsInPerSecond等)。我是否需要做一些其他的事情来让其他的图表工作呢？尤其是潜伏期一号。
谢谢。
浏览 1提问于2017-10-29得票数 1
回答已采纳
1回答
我有一个java应用程序，它通过从数据库查询表并将其输入kafka主题来对批处理进行flink批处理。我该如何定期安排这件事。有flink调度程序吗？例如，我的java应用程序应该在后台继续运行，flink调度程序应该定期查询数据库中的表，flink批处理处理它并输入kafka(flink批处理和输入kafka已经完成了我的应用程序的一部分)。
浏览 2提问于2016-11-29得票数 4
回答已采纳
众所周知，Flink有两个核心mode.So (数据流/数据集)，但是当我使用flink Sql客户端提交作业时，我不需要选择流或批处理API，因为Flink SQL客户端如何决定使用批处理模式和流模式那么，我想知道Flink SQL Client如何区分批处理模式和流模式？
浏览 29提问于2019-12-23得票数 0
回答已采纳
1回答
闪烁到发电机水槽
、、、
我有一个从Apache Flink在AWS-DynamoDB上使用接收器的用例。这个架构就像是做一些实时处理，然后把它嵌入到DynamoDB中。有没有适用于发电机的水槽？
浏览 13提问于2020-04-06得票数 1
对此的一个延续： at org.apache.flink.streaming.runtime.tasks.OneInputStreamTask.init(StreamTask.java:552)
at org.apache.flink.streaming
浏览 6提问于2021-11-27得票数 0
回答已采纳
我正在尝试建立一个非常基本的flink工作。at org.apache.flink.streaming.api.environment.StreamExecutionEnvironment.getStreamGraph(StreamExecutionEnvironment.java:53) at com
浏览 1提问于2019-03-04得票数 11
回答已采纳
我试着增加一个红宝石水槽。在中，它链接到一个，该使用 <groupId>org.apache.bahir</groupId> <groupId>org.apache.flink</groupId>
<artifactId>flink-connector-redi
浏览 7提问于2021-08-15得票数 0
回答已采纳
4回答
我打算使用apache将数据读/写到cassandra，使用flink。我希望使用，但没有找到用于连接器的好文档/示例。
请您指出使用Apache从cassandra读取和写入数据的正确方法。我只看到水槽的例子，哪个是纯粹的写作？apache也是用于从cassandra读取数据的，是否与apache类似？
浏览 7提问于2017-03-06得票数 4
回答已采纳
我正在从Flink 1.10.2迁移到Flink 1.14.5，我找不到如何将时间戳写到Kafka接收器。在我之前在我的输出中有Flink 14，我的时间戳等于来自源的ts，但是对于旧版本或当我使用Table (Flink 14commit.offsets.on.checkpoint", "true") .
浏览 5提问于2022-08-24得票数 0
1回答
我想对批处理数据执行Flink SQL。(S3中的CSV)例如，我的查询包括对两个表进行筛选和加入筛选的结果。我希望Flink不要以阻塞批处理的方式实现这两个表，然后通过join传递结果，而是使用流哈希连接操作符，就像datastream中的那样。
我怎样才能做到这一点？我正在使用PyFlink。
浏览 6提问于2022-04-02得票数 1
1回答
Flink群集详细信息，Flink版本：1.11我们使用PackagedProgram从流作业中提交Flink批处理作业，但是我们的要求是一次只执行一个作业，假设我们从源获得2个事件，所以理想的情况下，必须触发2个批处理作业(每个事件)，但每次只能执行一个。为了实现这一点，我们使用了client.setDetached(false) (在flink的以前版本中)，但是一旦我们将它迁移到1.11 setD
浏览 4提问于2020-09-22得票数 0
回答已采纳
考虑一项守则：import org.apache.flink.table.api.bridge.java.StreamTableEnvironmentGROUP BY createdDate, id" temp.executeInsert("output_table");
}org.apache.flink.client.program.ProgramInvocationEx
浏览 0提问于2021-10-03得票数 1
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
云直播
对象存储
腾讯会议活动推荐
腾讯云开发者
