Debezium中初始快照事件的顺序
Debezium是一个开源的分布式事件数据捕获平台，用于监控和捕获数据库的更改事件。它通过数据库的日志来获取数据库中的更改，并将这些更改事件流式传输到消息代理（如Apache Kafka）中，从而实现实时数据流的处理和分析。
在Debezium中，初始快照事件是指数据库中已经存在的数据在启动Debezium后进行一次全量同步的过程。这个过程可以确保从数据库启动之前的状态开始捕获和传输更改事件。初始快照事件按照数据库中数据的顺序依次进行，以保证数据的一致性和完整性。
初始快照事件的顺序对于数据的准确性和正确性非常重要。Debezium通过逐一扫描数据库的数据表，并按照某种顺序（如主键顺序或按照插入时间顺序）来获取数据行，并将这些数据行作为初始快照事件进行传输。这样可以保证数据的顺序正确，并避免丢失或错误地传输数据。
对于Debezium中初始快照事件的顺序，可以根据具体的数据库和表的配置进行调整和优化。在某些情况下，可以通过配置数据库的索引、分区键或者其他优化手段来改变初始快照事件的顺序，从而提高数据同步的效率和性能。
推荐的腾讯云相关产品和产品介绍链接地址：
- 腾讯云数据库 MySQL：https://cloud.tencent.com/product/cdb
- 腾讯云数据库 PostgreSQL：https://cloud.tencent.com/product/postgresql
- 腾讯云消息队列 CMQ：https://cloud.tencent.com/product/cmq
- 腾讯云云原生数据库 TDSQL-C：https://cloud.tencent.com/product/tdsqlc
- 腾讯云分布式数据库 CynosDB：https://cloud.tencent.com/product/cynosdb
相关·内容
2回答
我需要在Debezium连接器中向table.whitelist添加更多表。我找到了一种提到的方法。它建议：
完成快照后，使用已更新的白名单表列表启动原始连接器。
但是，如何才能确定快照是否已完成？
浏览 11提问于2021-01-20得票数 0
我有spring boot + mysql应用程序，现在它正在使用debezium来捕获日期更改。但是我想知道是否可以配置debezium来捕获现有数据
浏览 22提问于2019-09-02得票数 0
回答已采纳
[用户在上发布的问题]
我有YB Debezium运行，我看到它可以访问桌子。这是日志：
2022-07-27 21:25:56,894 INFO AbstractConfig values:
(org.apache.kafka.common.config.AbstractConfig) [pool-3-thread-1]
2022-07-27 21:27:55,147 INFO Retrieving configuration from Secret debezium-secret in namespace default (io.strimzi.kafka.AbstractKuberne
浏览 11提问于2022-09-15得票数 0
回答已采纳
我们正在使用Debezium + PostgreSQL。
注意，我们得到了4种类型的事件，用于创建、读取、更新和删除- c、r、u和d。
read类型的事件对于我们的应用程序来说是未使用的。实际上，我想不出'r‘事件的用例，除非我们正在审计或镜像事务的活动。
我们在扩展方面面临困难&我怀疑这是因为网络被读类型的事件占据了。
我们如何在postgreSQL本身中过滤掉这些事件？
我从其中一个贡献者那里得到了使用snapshot.mode的线索。我想当Debezium创建快照时必须做一些事情。我想不出该怎么做。
浏览 5提问于2017-09-08得票数 0
回答已采纳
我在Debezium连接器配置中找不到有关快照事件(具有__op=r的事件)的source.lsn字段值的信息。我已经在我的dev环境数据库上运行了一个测试，它没有太多的负载，并且对于所有具有的事件，我都得到了一个非空 lsn值。由于我的db没有太多的负载，所以我假设从一开始创建的所有WAL段仍然存在，尽管不确定。
我的问题如下：
如果debezium只是通过对所有现有数据发出select查询来获取该记录的信息，那么它如何获得快照记录的非空select值(与检查WAL以生成具有__op=c、__op=u或__op=d的事件不同)？在快照过程中是否检查了WAL？
假设在快照过程中选中了W
浏览 9提问于2022-01-13得票数 0
上下文:我在AWS Kubernetes上安装了一个具有汇合舵图的Kafka集群。
我已经配置了一个Oracle服务器，这样我就可以用Kafka连接到它。
我的卡夫卡连接配置
{
"name": "oracle-debez",
"config": {
"connector.class" : "io.debezium.connector.oracle.OracleConnector",
"tasks.max" : "1",
浏览 5提问于2021-01-28得票数 1
我使用SQL连接器在表上捕获CDC，而我们只公开表中所有列的子集。表上有两个唯一的索引A&B。这两个索引都没有标记为主索引，但是索引A在逻辑上是我们产品中的主键，以及我想在连接器中使用的内容。索引B引用了我们不向CDC公开的列。索引B在我们的产品中并没有真正地作为表的唯一键使用，它只被标记为唯一，因为它是唯一的，并且标记它给了我们一个性能上的好处。
这似乎导致了下面的错误。我尝试在连接器上使用message.key.columns选项来指定索引A作为该表的键，并希望忽略索引B。然而，连接器似乎仍然希望对索引B做一些事情。
我该如何应对这种情况呢？
对于我自己的理解，为什么连接器
浏览 3提问于2021-06-03得票数 0
回答已采纳
我一直试图从MySQL中读取数据，使用Kafka连接，使用MySQL源连接器作为数据库，用debezium连接器读取bin日志。我正在努力理解如何才能更好地提取更改数据。Bin日志具有写入日志等的开销，而从数据库读取则有查询数据库的开销。与这两种方法相关联的其他主要优点和缺点是什么？有什么方法能更好地捕获变更数据呢？另外，从MySQL 8开始，默认情况下会启用bin日志。这是否意味着这是一种更好的做事方式？
浏览 3提问于2021-01-07得票数 0
回答已采纳
我创建了以下Siddhi应用程序来捕获PostgreSQL数据库表中的数据更改。
@App:name('post')
@source(type = 'cdc' ,url = 'jdbc:postgresql://postgres:5432/shipment_db',
username = 'postgresuser', password = 'postgrespw',
table.name = 'public.shipments', operation = 'insert', pl
浏览 11提问于2022-08-24得票数 0
debezium-连接器-mysql，debezium核和debezium嵌入式.我在我的java应用程序中使用了这些debezium插件。问题:方法抛出StopConnectorException就不能释放“全局读锁”
浏览 2提问于2017-11-20得票数 0
我使用Debezium-connector-mysql-0.7.5-plugin来连接MariaDB v10.0.32。CDC记录保存在HDFS中以供进一步处理。在发生以下情况之前，一切都很完美：
停止连接
完全阻止了卡夫卡
停止MariaDB服务器
我可以从CDC记录中看到，最近处理的bin日志坐标如下：
File : mysql-bin.000008
Position: 2155
由于上述行为，我面临以下后果：
MariaDB在重新启动期间旋转其bin日志，当前状态如下所示
+------------------+----------+--------------+
浏览 1提问于2018-06-21得票数 1
我正在研究Debezium MySql连接器源代码，并试图理解表快照逻辑。
1)查看类'io.debezium.connector.mysql.SnapshotReader‘execute()方法，似乎所有表快照都是在一个线程中获取的。这是真的吗？对于拥有大量表的数据库，它不以并行方式处理表？
( 2)对于快照，似乎使用"SELECT * from {table}“的query.If快照操作失败(由于DB连接失败，Kafka连接器restart..etc)是否使用Kafka偏移机制从以前的位置恢复？
浏览 0提问于2019-07-29得票数 0
回答已采纳
对于将新表白化到debezium mysql连接器，有什么最佳实践可遵循吗？
我们在CDC流中使用debezium mysql连接器，一个用例已经将更多表白名单到连接器配置中。下面是正在使用的debezium的版本详细信息和
{
"class": "io.debezium.connector.mysql.MySqlConnector",
"version": "0.8.0.Final",
"snapshot.mode": "schema_only"
}
有一个debezium
浏览 1提问于2020-05-28得票数 2
回答已采纳
1回答
我想我可能错过了一些配置，但我们正在尝试使用Debezium来快照一个包含大约800万条记录的表中的所有行，并在一段时间后停止。 连接器配置为： {
"connector.class":"io.debezium.connector.mysql.MySqlConnector",
"database.user":"MyUser",
"database.server.id":"12345",
"tasks.max":"1",
"dat
浏览 116提问于2019-04-25得票数 2
我需要将MySQL数据库复制到PostgreSQL数据库。我选择了：
Debezium连接
Avro格式
合流模式注册表
卡夫卡
数据正在被复制，但是，我正在丢失一些模式信息。例如，在Postgres中将具有mysql格式的datetime格式的列复制为bigint，没有创建外键，也没有保留列的顺序(这很好)，等等。
PostgreSQL接收器连接器：
{
"name": "jdbc-sink-dbt",
"config": {
"connector.class": "
浏览 1提问于2022-01-14得票数 0
回答已采纳
1回答
Debezium MySQL连接器在初始快照期间失败。
错误：
io.debezium.DebeziumException: java.sql.SQLSyntaxErrorException: Table 'xxx' doesn't exist
at io.debezium.pipeline.source.AbstractSnapshotChangeEventSource.execute(AbstractSnapshotChangeEventSource.java:85)
at io.debezium.pipeline.ChangeEventSource
浏览 5提问于2022-05-11得票数 0
目前，我正在Debezium Postgres连接器上进行负载测试，以了解它是否能够支持Aurora postgres中的大量更改日志(数十亿)。当我向postgres表插入100万条记录时，Debezium Postgres连接器出现以下错误消息失败：
org.apache.kafka.connect.errors.ConnectException: An exception ocurred in the change event producer. This connector will be stopped.
at io.debezium.connector.base.Chang
浏览 9提问于2019-10-11得票数 0
回答已采纳
正如我从Debezium的常见问题中读到的，据说：
大多数连接器都会将单个数据库表的所有事件记录到单个主题。此外，一个主题中的所有事件都是完全有序的，这意味着所有这些事件的顺序都将被维持。
但是，Apache在单个分区中只有排序保证。因此，如果我期望对主题中的事件进行排序，我必须设置该主题只有一个分区，这就牺牲了Kafka的吞吐量，否则就需要使用其他机制。但我在Debezium的文档中没有看到任何关于这个的解释。
我的问题是，Debezium如何在一个主题中实现排序保证？或者我应该研究源代码的哪个模块来了解这个特性的详细实现？
浏览 0提问于2020-08-18得票数 3
我正在使用Debezium CDC源连接器将数据库从MySQL迁移到Kafka。除了快照之外，连接器工作得很好；连接器成功地拍摄了第一个快照，几个小时后由于堆内存限制而宕机(这不是问题)。我暂停了连接器，停止了集群上的worker，解决了这个问题，然后再次启动worker ...连接器现在运行正常，但再次拍摄快照！看起来连接器没有从它停止的地方恢复。我觉得我的配置出了点问题。我用的是debezium 0.95。 我将snapshot.mode=initial更改为initial_only，但它不起作用。 连接属性： {
"properties": {
"c
浏览 133提问于2019-09-05得票数 0
回答已采纳
我在使用Debezium和Kafka Connect复制表时遇到了性能问题。 只有在数据库的初始快照期间才会出现复制速度较慢的情况。我测试的一个表包含340万行，复制花了2个小时才完成。 在这个阶段，整个数据库都被锁定，我无法将数据提交到当时未同步的其他表中。 我的配置(通过curl请求部署Debezium配置)： {
"name": "debezium-connector",
"config": {
"connector.class": "io.debezium.connector.mysql.My
浏览 54提问于2020-11-25得票数 0
我尝试为属性‘MySQL’设置debezium MySQL连接器的配置
但日志中的连接器显示错误如下：“java.lang.IllegalArgumentException:只能启动单个连接器任务”
我使用MSK连接器与debezium自定义插件和Debezium版本1.8。
浏览 9提问于2022-03-15得票数 0
回答已采纳
我正在使用Mysql表上的Debezium捕获以下Kafka连接配置的changelogs到kafka：
{
"connector.class": "io.debezium.connector.mysql.MySqlConnector",
"database.hostname": "mysql",
"database.port": "3306",
"database.user": "xxxx",
浏览 13提问于2022-09-26得票数 0
回答已采纳
根据Debezium SQL Server连接器文档，初始快照仅在连接器第一次运行时触发。但是，如果我删除连接器并创建新的连接器，但名称相同的，则初始快照也不起作用。这是由设计还是已知的问题？感谢你的任何帮助
浏览 0提问于2020-05-07得票数 0
回答已采纳
我正在apache上使用osgi，并尝试使用kafka和debezium来运行osgi环境。
kafka和debezium并不是osgi ready (karaf不会将它们视为捆绑包)，所以我使用了eclipse“插件项目”对它们进行了僵化。我确定的罐子是: debezium-embedded，debezium-core，kafka connect api，kafka connect运行时。
在开始的时候，当我尝试运行debezium时，我得到了很多“类没有找到异常”。
为了解决这个问题，我更改了这两个包的清单。我向调用方添加了一个导入包，向被调用的包添加了一个导出包。使用它，我可以
浏览 0提问于2017-04-20得票数 2
回答已采纳
我正在使用Kafka集群和Debezium MySql连接器从数据库更新到Elasticsearch中获取消息。有一段时间，我在做一些测试，最后得到了一个混合的ES，所以我想对Elasticsearch做一个新的满负荷测试。
因此，我想停止debezium连接器，以停止喂食ES和删除所有的索引，所以当我再次启动连接器，它可以做一个满负荷。据我所知，连接器只适用于pause/resume操作，而这些操作不执行初始加载。
此时，我将手动删除连接器和创建的主题并重新创建它们，这样它就可以像最初那样加载，但是对于如何在正确的步骤中执行这个清理过程有任何想法吗？
浏览 5提问于2020-04-07得票数 3
1回答
我正在开发一个使用将更改从MongoDB流到Kafka集群的应用程序。dr- debezium在mongo中对文档进行修改，并将卡夫卡上的整个文档存储为json。
我们有一堆老旧的、陈旧的生产数据，我们仍然希望坚持卡夫卡的原样。为了让Debezium获取文档，它们必须首先出现在OpLog中。本质上，我们需要在不更改文档上的任何数据的情况下复制生产mongo中的每个文档。我最初的想法是用它当前的内容更新一个字段：
db.contributors.update(
{},
{
$set: {
"meta.collectionName": "cont
浏览 2提问于2018-09-04得票数 1
我能够从捕获数据事件。我遵循了 的所有步骤，但在本教程中，它们没有指定如何将这些更改转移到另一个mysql。请帮助我，我被困在它，我找不到适当的教程。
docker run -it --rm --name mysql -p 3307:3306 -e MYSQL_ROOT_PASSWORD=debezium -e MYSQL_USER=mysqluser -e MYSQL_PASSWORD=mysqlpw debezium/example-mysql:1.1
我正在捕获这个mysql db中的更改，它位于端口3307上。
docker run -it --rm --name mysqltes
浏览 3提问于2020-06-19得票数 0
1回答
我计划使用向Kafka生成事件，我需要强大的交付和订购保证。通过在生产者配置中使用enable.idempotence=true参数，我可以得到这些保证。
我的问题是：
我怎么能用debezium来实现这一点呢？
这些担保是默认提供的吗？
是可配置的吗？多么?
注意:我计划使用
浏览 1提问于2020-02-09得票数 4
回答已采纳
我使用了疾病预防控制中心从MySQL到卡夫卡的主题，这里的问题是一些主题是创建的，而一些主题并不是按照特定数据库中的表列表创建的。我在数据库中有5个表，名称是demo。
table_1、table_2、table_3、table_4和table_5。
可以创建2个表，如下所示：
demo.demo.table_1
demo.demo.table_2
预期主题应为：
demo.demo.table_1
demo.demo.table_2
demo.demo.table_3
demo.demo.table_4
demo.demo.table_5
根据Debezium的文档：
默认行为是D
浏览 4提问于2021-10-30得票数 0
我使用的命令是：# bin/connect-standalone.sh config/connect-standalone.properties config/debezium-config.properties 我的debezium-config.properties是： name=publications-connector
database.hostname=localhost
database.port=5432
database.user=andy
database.password=postgres
database.dbname=postgres
database.server
浏览 45提问于2019-06-08得票数 3
3回答
我们正在创建一个从RDS中的Mysql到elastic search的数据管道，用于创建搜索索引，并为此使用debezium cdc及其mysql源和弹性接收器连接器。
现在，由于mysql在rds中，我们必须向mysql用户授予对我们想要的cdc的两个表的锁表权限，如文档中所述。
我们也有各种其他mysql用户执行事务，这些事务可能需要这两个表中的任何一个。
一旦我们将mysql连接器连接到我们的生产数据库，就会创建一个锁，整个系统就会宕机，在意识到这一点后，我们很快停止了kafka并移除了连接器，但锁仍在增加，只有在我们停止运行生产代码并手动终止进程来停止所有新的查询之后，锁才能得到解决。
浏览 6提问于2019-10-04得票数 2
我的Dockerfile，用于下载接收器连接器和mysql jdbc驱动程序 FROM debezium/connect
ENV KAFKA_CONNECT_JDBC_DIR=$KAFKA_CONNECT_PLUGINS_DIR/kafka-connect-jdbc
ENV MYSQL_DRIVER_VERSION 5.1.39
ARG KAFKA_JDBC_VERSION=5.5.0
RUN curl -k -SL "https://dev.mysql.com/get/Downloads/Connector-J/mysql-connector-java-${MYSQL_DRIVER
浏览 34提问于2020-07-07得票数 0
回答已采纳
完整的debezium mysql uri字符串显示在指标中。明文显示mysql用户名和密码，不安全。如何禁用此功能？我遵循了下面的设置here 更多信息： 使用quarkus 1.11.1.Final 它使用camel 3.7.0 with debezium-connector-mysql 1.3.1.Final 这是骆驼路线 from("debezium-mysql:" + config.getConnectorName()
+ "?databaseHostname=" + config.getHost()
浏览 81提问于2021-02-18得票数 1
回答已采纳
我将迁移到kafka作为代理和debezium，以便从报告和搜索数据库的所有微服务中获取数据(ETL数据)。
有没有办法配置debezium，使其根据自定义条件(如用户或公司或行/数据的某些关键列/属性)将数据放在不同的主题上。
浏览 0提问于2019-01-24得票数 1
我已经创建了一个卡夫卡生产者，从MySQL数据库读取网站点击数据流，它工作得很好。我发现我也可以使用kafka connect或debezium将kafka连接到MySQL数据源。我的目标是使用kafka摄取数据，并将其发送到Storm进行消费和分析。看起来这两种方法都可以实现我的目标，但使用kafka producer可能需要我构建一个kafka服务来不断读取数据源。
对于我的数据管道，这两种方法中哪一种更有效？
浏览 1提问于2018-07-10得票数 0
我想使用Debezium实现PostgreSQL数据库上的更改数据捕获(CDC)。现在，我还不完全理解如何处理Debezium的交易。
让我们考虑下面的示例--我在源PostgreSQL数据库中有两个表。我在单数据库事务范围内将数据插入到这两个表中。换句话说，我必须执行两个单独的INSERT语句。如果我对Debezium CDC的理解是正确的，那么它将产生两个单独的消息，分为两个单独的Kafka主题(或AWS动态流)。每个消息都将由自己的使用者使用，并在单独的事务中插入到目标数据库中。如果其中一个事务失败，另一个事务可能会成功，我将在目标数据库中遇到数据不一致状态。
Debezium是否有任何
浏览 2提问于2020-08-08得票数 1
回答已采纳
我需要对Server的Debezium连接器有一些了解。我在文档中看到了需要在server上启用的配置--类似于在主副本上启用database.applicationIntent到ReadOnly。
但我不明白是否需要在worker.properties中进行任何更改，其中我提到了源连接的细节。下列物业会有何改变？
database.hostnamedatabase.server.name
如何确保debezium在交换SQL server主节点和辅助节点时也复制数据。我试着连接到node1 (主)，并要求DBA交换它，使它成为次要的。然而，复制不起作用。
我们是否可以为Server中的主节点
浏览 5提问于2022-06-03得票数 0
我有Debezium MySQL连接器：
{
"name": "debezium_mysql",
"config": {
"connector.class": "io.debezium.connector.mysql.MySqlConnector",
"tasks.max": "1",
"database.hostname": "***",
"database.po
浏览 0提问于2021-02-16得票数 1
1回答
按错误顺序拍摄的火基快照
、、、、
我试图将存储在firebase上的帖子加载到我的tableView中。我使用.childAdded函数按照发布的顺序(第一次到最后一次)获得帖子。一开始它似乎起作用了，但现在它不再起作用了，我不知道为什么。因此，我在帖子中添加了时间戳，并使用了queryOrderedByChild(“时间戳”)。不过还是点错了！这是我的代码：
posts.removeAll()
let ref = FIRDatabase.database().reference()
ref.child("Posts").queryOrderedByChild("timestamp&#
浏览 3提问于2016-08-12得票数 2
回答已采纳
我正在使用debezium版本0.9制作一些POC，并使用嵌入式Debezium配置运行一个标准端口化的mysql数据库。我正在讨论这个问题：
Caused by: java.lang.IllegalStateException: Cannot read the binlog filename and position via 'SHOW MASTER STATUS'. Make sure your server is correctly configured
我怀疑这是因为mysql的独立配置或嵌入式配置，但不确定如何进行和修复。有什么暗示吗？
浏览 0提问于2019-09-24得票数 4
我开始探索使用变更数据捕获将遗留和商业应用程序(我不能修改)中的数据库变更转换为其他系统可以使用的事件。简化我的实际案例，假设将涉及两个表，一个是包含订单头详细信息的order，另一个是包含所请求的每个产品的详细信息的order_line。
我目前的理解是，这两个表中的事件将发布到两个不同的kafka主题中，我应该使用kafka-stream或ksql来聚合它们。我已经看到有不同的选项来定义窗口，该窗口将用于选择所有相关的事件，但是我不清楚如何确保来自同一数据库事务的所有事件都已在主题中，因此我不会错过任何一个。
Debezium是否能够确保这一点(来自同一事务的所有事件都被发布)，或者可能发
浏览 2提问于2020-02-27得票数 1
1回答
实际上，我在DDD和NoSql字段上徘徊。我现在有一个疑问:我需要从聚合中生成事件，我想使用NoSql存储。但是，如何确保事件保存在存储中，以及聚合根上的更改没有事务？这说得通吗？有没有一种方法可以做到这一点而不被迫使用事件源或事务性db？实际上，我正在考虑实现一个2阶段提交算法，但从性能的角度来看，它似乎相当沉重……我是不是走错路了？满是问题..。谢谢你的建议，恩里科
我是堆叠溢出的新手，所以任何建议/批评/.欢迎恩里科
编辑1
好吧，我需要事件通知聚合发生了什么事情，他们应该对变化做出反应。当这些事件对业务逻辑很重要时，就会出现问题。据我所知，经过一夜的思考，我无法使用nosql存储来做这
浏览 2提问于2013-04-02得票数 1
回答已采纳
将新表添加到Postgres连接器的步骤应该是什么？我的连接器正在跟踪两个表(table1和table2)，我想添加另一个表(table3)，这个表已经存在，并且在我的数据库中有数据。 这是我的当前配置： {
"config": {
"connector.class": "io.debezium.connector.postgresql.PostgresConnector",
"database.dbname": "db_name",
"database.hostname"
浏览 62提问于2021-04-19得票数 2
1回答
我有一个用例，为了遵从性的目的，我想审计另一个表中的DB表数据更改。首先，应该审计对数据的任何更改，如插入/更新/删除。我找到了不同的选项，比如 JaVers Hibernate Envers 数据库触发器 ，以及 Debezium ..。 我避免使用JaVers和Hibernate Envers，因为这不会捕获通过直接SQL查询发生的任何数据更改以及通过其他应用程序发生的任何数据更改。我看到的另一个问题是，我们需要将与审计相关的代码添加到同一事务边界中的主应用程序代码中。 我也在避免使用数据库触发器，因为我们根本没有在任何部署中使用触发器。 然后我带着Debezium离开了，它很有前途
浏览 61提问于2021-03-01得票数 1
回答已采纳
1回答
例如，我们有带有事件来源的微服务。为了实现数据一致性，我们使用了以下方法：
微服务生成事件。
事件存储在事件存储区中。
事件被发布到订阅的微服务中。
这种方法适用于已经在使用的微服务。但是，如果我需要部署另一个需要与事件存储同步数据的微服务，该怎么办？显然，这一新的微服务错过了所有已发表的事件。
这个新的微服务是否应该自行从事件存储中提取事件？
浏览 7提问于2021-01-06得票数 3
回答已采纳
2回答
事件源和重建逻辑
、、
我是事件源的新手，我对从事件流重新构建对象感到有点困惑。
我认为我们需要按照时间顺序运行load所有发生的事件来重建对象状态。举个例子
如果我有一个名为customer的对象。
Public class Customer
{
public void Correctname(string firstName,string lastName)
{
CustomerNameChanged(new nameChangedEvent(firstName,lastName);
}
}
如果客户更改了两次名称，我们将在事件日志中存储两次事件，当我将事件重新构建到对象时，
浏览 1提问于2012-05-28得票数 0
第一次发射后，Debezium将对已经存在的数据进行初始数据快照。
假设我有两张桌子-- A和B。表B对NOT NULL对A有FK约束。根据Debezium默认方法，Debezium将为表A和B中的数据创建两个单独的Kafka主题。
据我理解，我很有可能尝试在新表B中创建记录，而适当的记录A将不存在于适当的新表A中。这样，我就会遇到违反约束的错误。
我是否需要使用内部第三方缓冲区并自行组织插入到接收器数据库的适当顺序，还是Debezium中有一些标准机制来处理这种情况？
例如，我可以使用Debezium主题路由 来解决此类问题吗？我可以将主题路由配置为将所有依赖的事件(从上面示例中的表A和表B
浏览 3提问于2020-08-17得票数 0
2回答
我在检测Postresql超级表(TimescaleDB扩展)上的更改时遇到了问题。
设置：
我安装了Postresql(ver11.10)和TimescaleDB(ver1.7.1)扩展。我有两个表，我想用Debezium(ver1.3.1)连接器监视它们，安装在Kafka上，用于CDC(捕获数据更改)。
表是table1和table2hyper，但是table2hyper是超表的。
在Kafka Connect中创建Debezium连接器之后，我可以看到创建了两个主题(每个表一个)：
(A) kconnect.public.table1
(B) kconnect.public.ta
浏览 10提问于2021-01-29得票数 2
2回答
2天色函数是否有可能得到由触发的？一个azure函数将其数据写入database1，另一个azure函数将其数据写入database2。
[FunctionName("EventToDB1")]
public async System.Threading.Tasks.Task Run([EventHubTrigger("eventhub", Connection = "Debezium")]
EventData[] events, ILogger log)
{
{
[FunctionNa
浏览 11提问于2022-11-07得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM活动推荐
腾讯云开发者
