我们有一个用Scala编写的Flink作业，使用case类(由avrohugger从avsc文件生成)来表示我们的状态。我们希望使用Avro来序列化我们的状态，这样当我们更新我们的模型时，状态迁移就会起作用。我们从Flink 1.7开始就知道Avro序列化是支持OOTB的。我们将flink-avro模块添加到类路径中，但从保存的快照恢复时，我们注
浏览 16提问于2019-03-21得票数 1
我正在编写一个Apache流应用程序，它反序列化数据(Avro格式)，读取一个Kafka总线(关于的更多细节)。数据正在反序列化为Scala案例类。:121) ... 16 mo
浏览 1提问于2018-07-02得票数 5
回答已采纳
在集成测试中测试flink mini集群上的流时，我遇到了一个问题。该流映射一个生成的Avro Java类( SpecificRecord )。 流作业是用Scala编写的。flink运行时正在崩溃，因为它无法实例化org.apache.flink.formats.avro.utils.AvroKryoSerializerUtils 下面是堆栈跟踪： stack: java.lang.ClassCastException(KryoSerializer.java:572)
浏览 38提问于2020-09-25得票数 0
1回答
我正在Scala中构建一个Apache应用程序，它从Kafka总线读取流数据，然后对其执行汇总操作。Kafka的数据是Avro格式的，需要一个特殊的反序列化类。我找到了这个scala类AvroDeserializationScehema ()：import org.apache.avro.io.BinaryDecoder/** Case class to hold
浏览 1提问于2018-07-01得票数 0
回答已采纳
我正在尝试用case类阅读avro kafka的Scala主题：properties.setProperty("bootstrap.servers", kafkaBrokers)
properties.setProperty("group.id", "flink_a
浏览 0提问于2021-02-19得票数 0
不理解语法，我应该如何定义阿夫罗反序列化器和使用在我的卡夫卡源，同时阅读。import org.apache.flink.api.common.eventtime.WatermarkStrategyimport org.apache.fli
浏览 12提问于2022-05-06得票数 0
我在Scala中使用Flink，为了更好地支持状态迁移，我决定从“让Flink自省处理所有事情”转移到更显式的序列化/反序列化。这样，当我对我的类进行更改时，我可以决定如何处理我的deser/deser中的差异。因此，我决定使用Avro，主要是遵循本文中的建议：阅读这篇文章，我可以理解在函数中创建状态时如何使用自定义序列化程序。在
浏览 1提问于2022-09-01得票数 0
回答已采纳
1回答
我只是尝试在Flink中使用Scala类型的类。[Product with Serializable]
required: org.apache.flink.api.scala.DataSet[com.salvalcantara.fp.EventSyntax2为什么在EventSyntax2中使用case类包装器比在EventSyntax中使用常规类更有问题？List 注意到 提出了类似的问题，但
浏览 5提问于2020-04-13得票数 2
回答已采纳
1回答
Flink保存运算符的托管状态(用于检查点或逻辑运算符之间的通信(即沿作业图的边缘))是什么格式？背景:我正在考虑从JSON切换到使用AVRO，既可以将中的数据摄取到我的源中，也可以由向我的Sinks发送数据。然而，由Avro创建的自动生成的POJO类相当嘈杂.因此，在作业图(用于
浏览 4提问于2017-12-21得票数 2
回答已采纳
我在flink应用程序(Flink 1.10.1)中定义了以下case类在运行时，我注意到日志上写着
FilterDefinition cannot bePlease read the Flink documentati
浏览 0提问于2021-04-23得票数 0
1回答
我正在尝试使用Scala的case类构建一个数据集(我希望在元组上使用case类，因为我希望按名称连接字段)。$.ensureSerializable(ClosureCleaner.scala:179) at org.apache.flink.api.scala.ClosureCleaner$.clean(ClosureCleaner.scala:171) at org.apache.fli
浏览 0提问于2016-03-16得票数 0
回答已采纳
3回答
我尝试将我的Flink应用程序部署到AWS中。此应用程序使用Apache进行反序列化/序列化传入消息。(AvroSerializer.java:465)", "applicationVersionId": "8",
&qu
浏览 12提问于2020-01-09得票数 3
1回答
我使用flink流从Kafka源主题中读取事件，在去复制之后，编写来将avro主题中的kafka主题分离开来。流
val sink = sinkProvider.getKafkaSinkavro-hugger工具(版本1.2.1)生成了用于SpecificRecordI的 AvroSerializationS
浏览 6提问于2022-11-20得票数 0
相关问题：https://issues.apache.org/jira/browse/FLINK-14380 在使用类型提取器Flink判断一个类是否符合POJO时，Flink会检查该类是否实现了setter对于setter方法，Flink断言返回类型为Void。如果经常使用case类，case类setter的返回类型是objects类</e
浏览 37提问于2019-10-12得票数 2
即: Flink 1.8 -> (宁静，正式支持Druid0.9.2) -> Druid 0.20.1
未来: Flink 1.11 -> Kafka -> Druid 0.20.1使用推荐的.Flink应用程序生成Scala类的DataStream (在下面的代码中为ExampleData)。根据，Scala类属于“Flink提供的特殊序列化器”，但我不确定它是如何被序列化的，因此当Dr
浏览 5提问于2021-08-06得票数 0
回答已采纳
1回答
我很难在Scala中创建一个通用AvroSerde。我将结合使用这个服务器和，因此这个服务器本身也应该是可序列化的。Avro对Scala没有任何本机支持，但是有一些库可以使用无形状的方式将case类转换为泛型记录。注意:此泛型序列化程序将仅用case类实例化。
首先，我尝试用来实现这个服务器。通过确保泛型类型绑定到FromRecord和RecordFrom，可以很容易地编译它，但是
浏览 3提问于2018-05-25得票数 1
回答已采纳
为了便于在Scala中使用Avro，我想根据存储在.avro文件中的模式定义一个case类。我可以试试：
在运行时修改现有的案例类定义？
浏览 0提问于2013-03-25得票数 17
回答已采纳
我正在尝试修改一个case类，它有大约240个变量，其中一些是我定义的其他pojos : Signal (case类)有变量PowerPojoFeature，UserFeature。当我修改任何pojo添加新变量时，它会抛出exception rg.apache.flink.util.StateMigrationException下面:操作符typeSerializer的新状态state在org.apache.flink.runtime.state.DefaultOperatorStat
浏览 5提问于2019-10-18得票数 1
2回答
我使用dataSet API，我有两种案例类。case class Geo(country:Int, province:Int, city:Int, county:Int)
eventType/值对，它的值是一个case类。val dataKeyValue: DataSet[(Long, AntiFraudLog)]
并尝试使用相同的键对项进行分组。val gro
浏览 5提问于2016-11-04得票数 0
回答已采纳
我是flink和Kafka的新手。我正在尝试使用Confluent Schema注册表对avro数据进行反序列化。我已经在ec2机器上安装了flink和Kafka。Magic number does not match
at org.apache.flink.formats.avro.registry.confluent.ConfluentSchemaRegistryCoder.readSchema(ConfluentSchemaRegistr
浏览 43提问于2019-04-22得票数 1
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
实时音视频活动推荐
腾讯云开发者
