我已经在AWS上建立了一个合流平台。我的源是MySql，我使用debezium连接器将其连接到Kafka connect。来自源的数据格式为JSON。现在在KSQL中，我已经创建了一个派生主题，并将JSON主题转换为AVRO，以便可以使用JDBC连接器将数据转换到MYSQL。', VALUE_FORMAT='JSON');create TABLE avro_stream W
浏览 26提问于2019-07-10得票数 0
响应中收到以下错误(服务的状态正在运行，但任务已失败)：
更新，所以我通过使用5.0.0来克服这个错误，而不是cricket007推荐的测试版(愚蠢的me)。但是，当我实际尝试将数据发布到我的</
浏览 1提问于2018-08-18得票数 1
1回答
假设我有父母和孩子的关系。我的父母json看起来就像 childrens: [...]假设我想(反)序列化到/从的模型在父级和子级之间有一个中间对象。class Parent {}
Child[] children;当将json反序列化到模型中</em
浏览 1提问于2016-12-05得票数 0
回答已采纳
1回答
我从机器中读取数据，并将其作为JSON流到kafka主题。我想阅读这个主题，并将流数据存储到elasticsearch中。我的步骤: 1.创建从JSON到AVRO的KSQL流 CREATE STREAM source_json_pressure timestamp BIGINT,
opcuaObject='AVRO&#x
浏览 0提问于2019-04-23得票数 1
回答已采纳
我觉得我的问题很常见。我想在Python中构建一个JSON (以后可能还有R)，以便在应用程序之间交换数据。(我现在不想使用BJSON或其他二进制格式)
使用参数来
浏览 3提问于2016-06-02得票数 4
我在试着生产jsoncase class Foo(name:String) extends Barcase class Responsive(id:String ,bars:List[Bar])import spray.json._
浏览 2提问于2015-05-17得票数 0
回答已采纳
我有一个Logstash，它以json格式读取一个Kafka主题，它使用avro_schema_registry将输出序列化到avro。以下是conf文件： kafka{ topics => ["logs_json"]
bootstrap_servers=> "server2:9094, server1:9094, server
浏览 3提问于2020-02-11得票数 0
回答已采纳
我在Kafka Streams应用程序中使用了以下JSON配置，为了衡量性能，我删除了所有的逻辑以及我从IN主题中收到的任何东西，我只是把它推到了主题之外。处理35万份记录需要3分钟
但是当我使用AVRO时，相同的streams应用程序只需1分钟就能处理300万条记录。应用程序应该同时支持AVRO/JSON<
浏览 3提问于2019-10-25得票数 3
回答已采纳
Alpakka kafka消费者处理记录，直到遇到它无法反序列化的记录，并且在不留下错误消息的情况下静默死亡。如何强制上报错误信息？
浏览 0提问于2019-06-15得票数 0
1回答
为此，我按照中所述进行了设置，但由于以下错误而失败
线程“主”com.amazonaws.sagemaker.dataanalyzer.exception.CustomerError:错误中的异常:编码不匹配:编码是endpointInput的JSON，而endpointOutput的编码是CSV。深入了解XGBoost输出的方式，我发现它是CSV编码的，因此错误</em
浏览 1提问于2021-01-21得票数 1
3回答
我有一个用JSON格式编写的模式。我怎样才能在c#中做到这一点？有我可以用的图书馆吗？var actual = avroSerializer.Deserialize(buffer);我从卡夫卡那得到绳子。另一个应用程序生产它，而我的应用程序使用它。该应用程序生成它是用快速编写的，他们使用一些nodejs来进行序列化。
浏览 13提问于2017-12-13得票数 1
回答已采纳
2回答
我从linq中的txt文件中获取json数据，并对其执行一些操作，以使进程更快。但是，当我试图调用该查询时，它显示了一个json对象反序列化错误。那么如何将其反序列化呢？我得到的错误就像
无法将当前JSON对象(例如，{“名称”：“值”})反序列化为'System.Collections.Generic.List1MMF.LiveAMData‘类型，因为该类型需要一个<
浏览 1提问于2019-02-15得票数 0
回答已采纳
1回答
在java服务器端经过一些处理后，我将日志数据(json格式)通过restful从服务器发送到kafka。为了避免这个错误，我想有两个解决方案。首先，在服务器端编写用于大数据端的av
浏览 2提问于2016-09-02得票数 0
回答已采纳
2回答
通过trigger.io构建一个插件，我在Chrome/Safari和Firefox中看到了奇怪的行为。在Firefox中，数组被转换为以数字为键的对象，例如：正在转变为：这导致了序列化/反序列化、跨浏览器<em
浏览 3提问于2013-01-23得票数 1
2回答
Avro消息中的架构
、、、、
我看到Avro消息嵌入了模式，然后是二进制格式的数据。如果发送了多个消息，并且为每条消息创建了新的avro文件，那么嵌入Schema不是一种开销吗？那么，这是否意味着，对于生产者来说，批量处理消息然后写入总是很重要的，所以多个消息写入到一个avro文件中，只携带一个模式？另一方面，在使用Generic/SpecificDatum编写器进行序列化时，是否可以选择消除模式嵌入？
浏览 4提问于2018-07-23得票数 2
1回答
我正在尝试通过超文本传输协议请求发送带有python脚本的数据到Apache NiFi。我可以毫无问题地以JSON格式发送它，但我正在尝试用AVRO序列化它。我的一次尝试是在下面的代码中(代码的输出是requests*行的Response405 )。)buf.seek(0)requests.post(URL, data = msg)
是否有可能在不创建和发送文件<em
浏览 0提问于2020-12-17得票数 0
我已经通过本指南设置了Postgres连接器：
using Newtonsoft.Json.Linq;
{
浏览 3提问于2022-04-27得票数 0
回答已采纳
我正在通过Spark在Kafka上做一些批处理。与Avro一样序列化的记录。我试图使用消息本身中的确切模式来反序列化该值，但得到了一个格式错误的记录异常。下面是我的代码： Dataset<Row> load = sparkSession .format("kafka")(col("val
浏览 48提问于2021-08-30得票数 0
1回答
我有两个类，代表两个Json响应在错误或成功的情况下。private class ErrorResponse public string error { get; set; }我使用try/catch块通过尝试反序列化到SuccessResponse对象来确定哪种类型的响应，如果它失败了，它是ErrorResponse类型的对象，并在catch块中反序列化。这个问题发生在try块<e
浏览 4提问于2022-02-17得票数 0
回答已采纳
因此，我有一个用例，其中有一个kafka连接器从kafka主题中消费一个avro字节数组，并将其转换为Avro对象。看起来很简单，但我意识到，如果反序列化由于某些原因而失败，比如不匹配模式或其他什么的话，那么处理的唯一选项要么记录错误，然后输出空字节数组，要么抛出错误(对于长时间运行的作业，我不认为这是个好主意)。但是，如果kafka连接器的反序列化器只是接收字节数组，输出它，下游
浏览 0提问于2019-06-28得票数 1
回答已采纳
云服务器
ICP备案
腾讯会议
云直播
对象存储
腾讯云开发者
