我需要通过flink使用kafka，不幸的是，kafka消息在serde中使用了协议，完全不知道如何处理它，这是来自互联网的代码，但我无法使其工作。 ...import com.google.protobuf.InvalidProtocolBufferException;
浏览 52提问于2019-02-28得票数 0
场景: Apache Flink、Kafka、Protocol buffers data consumer。数据来源为协议缓冲区格式的Kafka主题(多个主题: topic#1、topic#3、topic#3)。使用者是Apache Flink使用者。每个主题都有一个独特的协议定义。ProtobufDeserializationSchema](topicList, new ProtobufDeserializationSchema(), properties)); 我正在尝试在Apach
浏览 13提问于2021-04-03得票数 0
我有以下scala对象，我想用protobuf序列化它：我的理解是，Akka附带了一个ProtobufSerializer，我可以使用它从/到ActorRef进行序列化。因此，我在proto文件中定义了以下消息： string id = 1;}
但是，静态方法ProtobufSerializer采用的是当我
浏览 2提问于2016-11-23得票数 0
回答已采纳
我是Flink的新手。我所要做的就是将我的protobuf POJO作为字节数组放到kafka中。我尝试添加TypeInformationSerializationSchema()而不是new SimpleStringSchema()来更改输出，但是我不知道如何正确地调整它。找不到任何教程。
浏览 3提问于2020-09-18得票数 2
2回答
是否可以/应该使用XmlSerialiser对以下第三方定义的消息协议进行反序列化，该协议与xml“相似”？我希望使用XDocument对类进行反/序列化(理想情况下，类将从xsd文件生成)。class GetEvent{}但是没有属性的类被序列化为一个“最小化”结束标记：<GetEve
浏览 5提问于2011-05-23得票数 2
首先，我在Kafka topic中加载了一个CSV文件，我可以通过中的Flink程序打印该主题。(); stream.print();
env.execute("FlinkStreaming Java API Skeleton"); 我的问题是，我想逐行阅读主题，并分别处理每一行，您能指导我如何逐行阅读卡夫卡主题吗？
浏览 16提问于2019-06-24得票数 0
回答已采纳
我在Scala中使用Flink，为了更好地支持状态迁移，我决定从“让Flink自省处理所有事情”转移到更显式的序列化/反序列化。这样，当我对我的类进行更改时，我可以决定如何处理我的deser/deser中的差异。因此，我决定使用Avro，主要是遵循本文中的建议：阅读这篇文章，我可以理解在函数中创建状态时如何使用自定义序列化程序。在
浏览 1提问于2022-09-01得票数 0
回答已采纳
我(感激地)使用了优秀的Protobuf协议缓冲区库。不幸的是，我不聪明，也很难理解正确的反序列化通过网络进入的对象的方法。，并且使用一个网络流，只要连接存在，它就会持续存在。我在这个流上收到了很多PB消息。考虑到我使用的是"TryDeserializeWithLengthPrefix"，我曾期望库进行排序，等待流有足够的数据来解析整个对象。但情况似乎并非如此。", streamA.Length = " + streamA.Length );
浏览 1提问于2015-06-03得票数 0
回答已采纳
2回答
我已经编写了一个使用Guava缓存的Flink作业。缓存对象是在main()函数中调用的run()函数中创建和使用的。main() {}
//create and use Guava cache object here如果我以某种程度的并行性运行这个Flink作业，那么所有的并行任务会使用相同的缓存对象吗？如果不是，我如何让它们都使用一个缓存？
缓存在流的process()函数中
浏览 6提问于2019-03-27得票数 0
在我的Flink应用程序中，我使用java.time.Instant来表示UTC时间戳。有关对性能的影响的详细信息，请阅读\”数据类型和序列化\“上的Flink文档。”
当我去阅读文档时，没有太多关于使用像Instant这样的东西对性能的影响的讨论。我一般的理解是，必须使用Kryo而不是Flink内置的序列化程序。我目前使用的是Flink 1.6，我发现Flink
浏览 93提问于2020-02-05得票数 0
回答已采纳
我正在运行一个流flink作业，它消耗了kafka的流数据，并对flink映射函数中的数据进行了处理，并将数据写入Azure数据湖和弹性搜索。对于map函数，我使用了一个并行性，因为我需要在作为全局变量维护的数据列表上逐个处理传入的数据。现在，当我运行这项工作时，flink开始从kafka获取流数据，它的背压在映射函数中变得很高。有什么设置或配置，我可以做，以避免反压力在flink？
浏览 6提问于2017-07-22得票数 1
我使用elasticsearch和kibana保存和查询我的数据。一些很好的特性，如RBAC，SIEM需要在elasticsearch上与kibana进行ssl通信。因此，客户端对es的请求必须通过https。
我还有一个flink集群，将数据写入elasticsearch。flink & elasticsearch和kibana正在码头群上运行。flink无需使用es进行身份验证或在通信量之间进行加密。我认为flin
浏览 5提问于2020-07-27得票数 1
回答已采纳
对于Flink工作，我有一个简单的概念证明。它基本上接收来自Kafka主题的消息(以JSON格式)，将它们反序列化为域模型，根据一些预定义的规则对这些消息进行验证，应用一些转换，最后将结果消息发布到Kafka接收器中。我确实有几个函数/操作符，它们使用其他“服务”类的一些行为。这些“服务”类也可以导入其他一些依赖项。
据我所知，Flink将尝试(反)序列化这些函数/操作符，以使整个作业真正分发。我不清楚Flink是
浏览 7提问于2022-03-11得票数 0
回答已采纳
2回答
我想知道是否有可能构建一个Flink应用程序，它可以动态地消耗所有匹配regex模式的主题，并将这些主题同步到s3。另外，每个被动态同步的主题都会有Avro消息，Flink应用程序将使用。
浏览 4提问于2017-12-21得票数 0
回答已采纳
1回答
我们正在尝试使用RocksDB后端设置一个有状态的Flink作业。我们使用会话窗口，间隔30分钟。我们使用aggregateFunction，所以不使用任何闪烁状态变量。我们总共使用了10G内存和Flink 1.9,128个容器。taskmanager.network.memory.fraction: 0.5taskmanager.network.memory.max: 2560mb 从我们<
浏览 58提问于2020-10-13得票数 3
回答已采纳
对于Play 2.4 (Java)，有没有一种简单的方法可以使用现有的Play JSON或Play插件来根据对实例进行反/序列化？我们正在编写自己的反/序列化程序，基于Jackson，与我们的Ember.js前端进行通信。谢谢。
浏览 1提问于2016-01-05得票数 1
5回答
我正在寻找一种从Json进行反序列化的方法，以便使用Json本身中的数据进行版本依赖。我的目标是使用ServiceStack.Text.JsonDeserializer，但可以切换到另一个库。数据的下一个版本(例如2.0)是： version: "2.0"}
最后，我希望能够验证数据的版本，以了解如何</em
浏览 4提问于2016-03-25得票数 7
2回答
我们的Flink Job包含一个过滤器，按会话id键，然后是间隔30分钟的会话窗口。会话窗口将需要累积会话的所有事件，并使用ProcessWindowFunction处理它们。我们使用Flink 1.9，128个容器，总共20G内存来运行我们的作业，截止率是0.3。我们正在执行增量检查点。当会话窗口开始触发process函数时，网络缓冲区使用率开始变得非常高，然后我们开始得到Kafka输入滞后。
浏览 170提问于2020-10-16得票数 1
我正在使用Flink，我正在使用Kafka连接器。我从flink收到的消息是一个逗号分隔的项目列表。"'a'，'b'，‘c’，1，0.1....‘12:01:00.000’“其中一个包含事件时间，我想将此事件时间用于每个分区的水印(在kafka源代码中)，然后使用此事件时间进行会话窗口。Flink提供了一些开箱即用的反序列化程序，但我真的不明白如何创建自定义反序列化逻
浏览 69提问于2020-10-24得票数 1
回答已采纳
相关问题：https://issues.apache.org/jira/browse/FLINK-14380 在使用类型提取器Flink判断一个类是否符合POJO时，Flink会检查该类是否实现了setter对于setter方法，Flink断言返回类型为Void。如果经常使用case类，case类setter的返回类型是objects类的副本，这是一个问题。这个问题阻碍了不可变化性，并使得在不使用Kryo序列化<
浏览 37提问于2019-10-12得票数 2
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
即时通信 IM
腾讯会议活动推荐
腾讯云开发者
