Debezium Kafka连接。十进制架构错误
Debezium是一个开源的分布式平台，用于捕获数据库的变化并将其作为事件流进行处理。它基于Apache Kafka构建，提供了可靠的、实时的数据流，用于实时数据处理和事件驱动的架构。
Kafka是一个高吞吐量、可扩展的分布式消息队列系统，用于处理大规模的实时数据流。Debezium与Kafka的结合使得我们可以实时地捕获数据库的变化，并将其作为事件流发送到Kafka集群中。
连接是指将Debezium与Kafka集群进行集成的过程。Debezium提供了多种连接器，用于连接不同类型的数据库，如MySQL、PostgreSQL、MongoDB等。连接器会监视数据库的变化，并将变化以事件的形式发送到Kafka集群中。
十进制架构错误可能是指在使用Debezium连接器时，由于数据库中的十进制数据类型与Debezium连接器的配置不匹配，导致数据处理错误。这种错误可能会导致数据丢失或数据处理不准确。
为了解决这个问题，可以通过以下步骤进行排查和修复：
- 检查数据库中的十进制数据类型的定义，确保其与Debezium连接器的配置一致。
- 检查Debezium连接器的配置文件，确保正确地指定了十进制数据类型的映射关系。
- 如果仍然存在问题，可以尝试更新或升级Debezium连接器的版本，以获得更好的兼容性和稳定性。
推荐的腾讯云相关产品： 腾讯云提供了一系列与云计算和数据处理相关的产品，可以与Debezium和Kafka集群进行集成，以构建稳定可靠的数据处理和事件驱动架构。以下是一些推荐的产品和其介绍链接：
- 云数据库 TencentDB：提供高性能、可扩展的数据库服务，可与Debezium连接器集成，实时捕获数据库变化。 链接：https://cloud.tencent.com/product/cdb
- 云消息队列 CMQ：提供可靠的消息队列服务，可与Kafka集群集成，用于接收和处理Debezium发送的事件流。 链接：https://cloud.tencent.com/product/cmq
- 云函数 SCF：提供事件驱动的无服务器计算服务，可用于处理从Kafka集群接收到的事件流。 链接：https://cloud.tencent.com/product/scf
通过使用以上腾讯云产品，您可以构建稳定、高可用的Debezium Kafka连接，并实现实时数据处理和事件驱动的架构。
相关·内容
1回答
在我的表中，数字列的定义如下：但是在卡夫卡中，我得到的不是十进制数字(例如14.0)，而是类似于"E4g=“的东西。版本: debezium/connect:0.7 kafka 0.11.0.0 zookeeper 3.4.9
有人知道如何解决这个问题吗？
浏览 7提问于2018-08-30得票数 0
回答已采纳
我正在使用Kafka & debezium连接器。整个过程是由OpenSearch消耗的。但是，当我创建一个新表并告诉OpenSearch新主题时，如果基础表中还没有数据，就会发生错误。只有当数据在表中可用时，连接器才会创建架构。即使表中没有数据，也可以让debezium连接器创建模式吗？
浏览 8提问于2022-11-25得票数 0
回答已采纳
这里的问题是，当我试图从集群读取数据时，它试图将这些模式字段作为附加列添加到我的目标表中，并引发一个错误：
INFO Unable to find fields [SinkRecordField{schema=Schema{Tab1.Value:STRUCT}, name='after', isPrimaryKey=false}, SinkRecordField{schema=Schema{io.debezium.connector.oracle.SourceError: Cannot ALTER TABLE "Tab1&qu
浏览 16提问于2022-04-10得票数 1
回答已采纳
1回答
目标错误
错误停止由于错误(org.apache.kafka.connect.cli.ConnectDistributed=C:/User
浏览 6提问于2020-09-23得票数 2
回答已采纳
我不使用confluent，只使用apache kafka，已经添加了mongo插件，得到... / MongoSinkConnector -plugins响应，列出连接器{}...当我使用下面的帖子时，我得到了错误：{"config": {
"connector.class": "com.mongodb.ka
浏览 3提问于2021-04-23得票数 1
我正在尝试使用Kafka connect部署debezium db2连接器(debezium不可变的docker镜像)。但是当我使用kafka REST api部署db2连接器时，它在kafka连接日志中显示以下错误。我参考了下面的教程<code>C1</code>
浏览 122提问于2021-06-13得票数 1
回答已采纳
我使用此示例将elasticsearch与mssql 同步{ "configdatabase.server.name": "MyServer", "database.history.kafk
浏览 3提问于2021-06-19得票数 0
回答已采纳
2回答
我的公司每天产生大约600万条记录，我看到hadoop是处理大量数据的一个很好的解决方案。我发现了如何从mysql加载数据，但它正在导出完整的数据库，有没有办法保持我的mysql DB和Hadoop之间的数据同步？
浏览 2提问于2020-03-07得票数 1
当使用AWS MSK连接器(Debezium Postgres连接器)时，我目前面临以下问题connector.class=io.debezium.c
浏览 11提问于2022-01-19得票数 0
Kafka和zookeeper正在工作，可以创建topic、consumer和producer，但debezium显示错误: org.apache.kafka.connect.errors.ConnectException:无法连接和描述Kafka集群。检查worker的代理连接和安全属性。volumes: zoo-data:
当我检查docker服务日志debezium时，它显示错误</e
浏览 23提问于2018-08-03得票数 0
2回答
问题：com.microsoft.sqlserver.jdbc.SQLServerException:错误:由：连接到主机的/IP连接127.0.0.1，端口1433失败。错误：“连接拒绝(连接拒绝)。请验证连接属性。确保Server实例在主机上运行
浏览 4提问于2020-04-07得票数 1
回答已采纳
debezium连接器捕获postgresql 13数据，然后生成到kafka。并且我将汇合的JDBC接收器连接器附加到kafka的另一边，但是它没有正确地识别json消息。经测试的环境：
接口/kafka-连接器-jdbc在github中。错误:无法更改表“SinkRecordF
浏览 18提问于2022-05-30得票数 0
回答已采纳
我正在尝试为mysql数据库连接多个Debezium连接器，我的配置如下。sudo docker run -it --name zookeeper -p 2181:2181 -p 2888:2888 -p 3888:3888 debezium/zookeeper:1.5 &sudo docker run -it --name kafka -p 9092:9092 --link zookeeper:zookeeper debezium/kafka</e
浏览 1提问于2021-06-07得票数 0
这是我修改过的jdbc-sink.json，在这里我使用mysql url进行连接。", }但是我在运行时得到了以下错误
curl -i -X POST='source'，location='file:/kafka/connect/debezium-connector-mongodb&
浏览 0提问于2019-11-06得票数 0
1回答
连接器任务状态无法连接
、、、
连接器的任务状态因错误而失败：
org.apache.kafka.connect.errors.ConnectException: java.lang.NoClassDefFoundError我在分布式模式下运行kafka连接集群，并使用kafka(0.10.0.2.5)连接的ambari部署。我使用导出CLASSPATH=/path给出了debezium mysql连接器路径。使用以下命令将连接器配置加
浏览 0提问于2018-08-27得票数 0
回答已采纳
我正在尝试使用debezium kafka连接以下设置的cdc：我还按照这个顺序配置和启动它们。启动Kafka Connect Debezium之后，我做了一个帖子来配置它： "name": "postgres-boxes-connector", "connector.cla
浏览 3提问于2019-11-27得票数 0
回答已采纳
我创建了Debezium连接器，它的工作原理就像一个魅力： "name": "debezium_title", "connector.classkafka-topics --list --zookeeper xxx.xxx:2181
mysql_debezium_new.table2
过了一段时间后:)当我
浏览 1提问于2021-04-23得票数 1
1回答
我正在做一些搜索，到处我都看到卡夫卡-连接-jdbc for this.So --这是一个开源的免费许可吗？--我也看到了debezium one，它将mysql连接到MSK。，如果我必须使用来自汇合或debezium的kafka -connect，我需要EC2实例.In，这是我需要安装的吗？只有卡夫卡或卡夫卡与卡夫卡汇合在一起，也与卡夫卡融为一体。
浏览 2提问于2019-12-31得票数 0
回答已采纳
我正在使用码头集装箱：
docker run -it --namezookeeper -p 2181:2181 -p 2888:2888 -p 3888:3888 debezium/zookeeper
docker run -it --name kafka -p": "<em
浏览 2提问于2019-06-02得票数 2
回答已采纳
我正在尝试创建一个连接器使用debezium连接器到postgresql和kafka连接。但是我看到了这个错误 [2020-12-31 21:52:20,251] ERROR Producer failure (io.debezium.pipeline.ErrorHandler:31)org.apache.kafka.connect.errors.ConnectException: An
浏览 170提问于2021-01-01得票数 0
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
实时音视频活动推荐
腾讯云开发者
