2回答
我是Flink的新手，今天我遇到了一个奇怪的情况。 我运行kafka服务器，之后我使用confluent producer发送消息。使用消费者，我得到了正确的消息，但在应用程序中，我不能。我使用此图像来设置message broker confluentinc/cp-kafka:5.4.1。 我用它向kafka服务器发送消息 .&quo
浏览 65提问于2021-07-24得票数 0
2回答
我目前正在使用Kafka和Flink，我让kafka在我本地的PC上运行，我创建了一个正在使用的主题。Desktop\kafka\bin\windows>kafka-console-consumer.bat --zookeeper本地主机:2181 -topic测试有没有办法进一步了解这条消息的细节我查看了kafka</e
浏览 2提问于2016-12-31得票数 43
回答已采纳
据我所知，使用Flink的AVRO反序列化，您可以创建一个Avro对象流，这很好，但似乎存在一个问题，Flink的kafka使用者只创建单个对象的流：FlinkKafkaConsumerBase<T>而不是默认的Kafka及其KafkaConsumer。在我的例子中，键和值都是独立的符合AVRO模式的对象，合并它们的模式可能是一场噩梦
浏览 3提问于2018-11-15得票数 0
回答已采纳
我仍然不能清楚地理解并行性，比方说，我们有一个flink集群，它有足够的插槽。在我们的flink工作中，我们从3个不同的kafka集群中使用3个kafka主题，每个主题有10个分区。如果我们想尽快使用该消息。并行性应该是什么？
如果我们将并行性设置为10，那么就会使用10个槽，这意味着，根据我的理解，10个线程对吗？如果我们将并行性设置为30，那么就有30个线程，
浏览 0提问于2019-03-13得票数 12
回答已采纳
3回答
关于Flink反序列化的两个问题
、、、、
我是Flink和集群计算的新手。我花了一整天的时间试图正确地解析Flink，一条来自Kafka的愚蠢的流，没有结果:这有点令人沮丧.在kafka中，我用一个字符串键标识了一个JSON-LD消息流。我只想在Flink中检索它们，然后用不同的键分离消息。
1)最初，我考虑以字符串的形式发送消息，而不是JSON。我觉
浏览 8提问于2017-06-12得票数 1
1回答
我正在尝试使用Flink 2.1.0从mysql日志表中读取流数据，但是，它只读取一次，然后它将停止该过程。我希望它继续读取，如果有传入的数据，并打印它。以下是我的代码 source.print().setParallelism(1);
env.execute("Error Log Dat
浏览 72提问于2017-02-22得票数 2
我正在使用集群、Schema服务，并试图在Flink作业中处理Debezium消息。作业被配置为使用Table & SQL连接器和Confluent格式。但是，作业无法连接到架构注册表并引发401错误。required username=\"<CLUSTER_API_KEY>\" password=\"<CLUSTER_API_SECRET>\";'\n" +
浏览 3提问于2021-02-08得票数 3
有没有人可以在Scala中分享Flink Kafka的工作示例(主要是从Kafka接收消息)？我知道在Spark中有一个的例子。我只需要在Flink中打印出Kafka消息。这将是非常有帮助的。
浏览 2提问于2015-07-16得票数 6
我正在尝试连接到本地机器上的Kafka (2.1)，并在随Flink (1.7.2)附带的shell中阅读。我正在做的事情是：:require flink-connector-kafka-base_2.11-1.7.1.jar
import org.apache.flink.streaming.connectors.<em
浏览 0提问于2019-03-11得票数 1
回答已采纳
我有一个基于flink的流媒体应用程序，它使用apache kafka源和接收器。因为有时候我会在开发过程中的随机时间得到异常，我不知道它们是从哪里来的。我使用mainRunner类在IntelliJ中运行应用程序，并通过kafka向它提供消息。有时第一条消息会触发错误，有时只有在几条消息之后才会发生。ERROR o.a.k.c.producer.KafkaProducer
浏览 111提问于2019-01-29得票数 1
回答已采纳
1回答
嗨，我有一个Flink流处理的maven项目。根据我从流中获得的消息，我启动了一个批处理过程，但目前我收到了一个错误。
我是这个flink世界的新手，如果你有任何想法，请让我知道。获取错误: org.apache.flink.client.program.ProgramInvocationException:无法检索JobManager网关。(Kafka010Fetcher.java:86) at
浏览 2提问于2018-06-03得票数 0
2回答
我正在尝试使用Apache Flink消费事件。代码非常基础，试图通过空格连接主题分词，并将其打印到控制台。Kafka版本是0.9。import org.apache.flink.api.common.functions.FlatMapFunction;
import org.apache.flink.streaming.api.datastream
浏览 36提问于2019-08-20得票数 3
回答已采纳
虽然我已经导入了org.apache.flink.streaming.connectors.kafka.FlinkKafkaProducer011，但是我得到了以下错误。Too many arguments for constructor FlinkKafkaProducer011这是IDE的定义。FlinkKafkaProducer011() {
public sta
浏览 5提问于2020-08-11得票数 0
回答已采纳
我得到了阿夫罗的回应，从卡夫卡的话题汇合，我面临的问题，当我想要得到的回应。不理解语法，我应该如何定义阿夫罗反序列化器和使用在我的卡夫卡源，同时阅读。
分享我目前正在做的方法。在Confluent中，我有一个名为employee的主题，它每10秒生成一次消息，每条消息都由Confluent中的avro模式注册中心进行服务器化。我试图在scala程序中读取这些消息，我能够在代码中打印序列化的<
浏览 12提问于2022-05-06得票数 0
尝试将Flink 1.9 SQL-Client与Kafka一起使用，但未成功。在弄清楚所需的jar文件并将它们复制到lib目录后，当执行SELECT * FROM table-name时，我得到了以下运行时异常： Flink SQL> select * from default_catalog.default_database.member_customer_newsletters/lib/flink-sql-connector-kafka-0
浏览 231提问于2019-09-20得票数 0
我使用的是最新的Flink-1.1.2-Hadoop-27和flink-连接器-kafka-0.10.2-Hadoop 1罐。Flink消费者如下： properties = new Properties();
InputStream props = R
浏览 2提问于2016-10-14得票数 7
回答已采纳
我正在尝试使用Scala和Flink将消息发布到Kafka主题中。但是，当使用中提供的代码创建FlinkKafkaProducer对象时，它告诉我无法应用构造器。._这就是我得到的错误：
/home/user/Flink<
浏览 103提问于2021-05-24得票数 1
我想使用Flink对Postgresql中的数据进行一些分析。我应该如何和在哪里给出端口地址，用户名和密码。我正在尝试使用链接：中提到的表源。ExecutionEnvironment.getExecutionEnvironment();实际上，我无法开始我翻阅了所有的文件，但没有找到详细的报告。
浏览 0提问于2018-06-21得票数 1
回答已采纳
我已经写了一个非常简单的Flink流作业，从卡夫卡使用FlinkKafkaConsumer082的数据。现在我试着看看如果我的Flink Job由于某种原因没有在线会发生什么。因此，我关闭了flink作业，并继续向Kafka发送消息。然后我再次开始我的Flink工作，并期望它能处理同时发送的消息。Fetched the following sta
浏览 0提问于2015-11-03得票数 2
云服务器
ICP备案
腾讯会议
云直播
对象存储
腾讯云开发者
