使用Kafka实现双向数据库同步

文章/答案/技术大牛

发布

1回答

postgresql、apache-kafka

我们想建立一个系统，在总部有一个主要的Postgres数据库，在各个区域办事处有许多本地数据库。主数据库将有来自所有区域办事处数据库的数据副本。总部和本地办事处都不会修改任何表。每个表要么仅由HQ修改，并将更改同步到区域办公室，要么仅由本地办公室修改，并同步到HQ数据库。请注意，每个本地数据库将具有来自HQ数据库的不同数据子集。没有两个本地数据库会有相同的数据。实现这一点的最佳方式是什么？卡夫

浏览 47提问于2019-12-04得票数 1

2回答

Kafka跨区域数据中心之间的双向同步

apache-kafka、confluent-platform

我有一个部署，我们使用kafka从服务发送消息。但我们需要卡夫卡大师在所有地区。因此，一旦消息被推送到一个数据中心，它就应该被同步到其他数据中心。当它再次在其他数据中心完成时，应该同步回同步。镜像制造者可以提供从1到其他同步，但我如何实现双向同步？

浏览 1提问于2016-08-18得票数 4

回答已采纳

1回答

SQL server和MySQL表之间的双向同步

mysql、sql-server、ssis、synchronization、microsoft-sync-framework

我想在SQL Server数据库中的本地表和MySQL数据库中的远程表之间建立双向同步。经过多次搜索，我找到了两种方法：通过使用第二个解决方案，我只成功地在一个方向上进行了同步。有人能帮我做双向同步吗？

浏览 7提问于2014-06-14得票数 0

1回答

用于流量管理器故障转移的Sql Azure数据库镜像

sql-server、azure

我的目标是为我们的网站及其数据库的故障转移实现Azure流量管理器。 Sql数据同步是实现镜像的可行选项还是在Sql术语中实现它们之间的双向同步？除了效率和成本之外，无论双向还是单向，我最初关心的是设置Sql数据同步所需的时间、模式演变

浏览 4提问于2014-10-07得票数 10

回答已采纳

1回答

带有变更跟踪服务器的MicrosoftSyncFramework2.1& C#中的客户端数据库同步

c#、sql-server、microsoft-sync-framework、data-synchronization、change-tracking

我对数据库同步的asp.net非常陌生。目前，我正在使用更改跟踪实现一个需要服务器( Server 2010) <> C# Client (SQLite)双向数据库同步的项目。但是，我不知道如何在以下几个方面实现更改跟踪数据库同步：

浏览 3提问于2014-01-22得票数 4

1回答

以后更改Kafka平台的可能性不会对表数据产生任何影响

apache-kafka、apache-kafka-connect

如果我实现Kafka Connect与Source and Sink连接器同步2个表，是否有可能在以后更改Kafka平台而不会对表数据产生任何影响。我使用Kafka连接在微服务数据库之间同步数据，我预测会有一些实例需要从一个Kafka实例移动到另一个实例。场景:如果我在表A中有100条记录，那么在表B中也会有同样的100条记录可用，并且使用主题T1进行同步。如果我丢弃现有的Kafka</em

浏览 0提问于2020-03-11得票数 1

1回答

Azure SQL:如何将多个Db合并到一个管理Db中，同时双向同步未来的任何更改

azure、azure-functions、azure-sql-database、azure-data-sync

此外，每个设备都会定期在线与单独的并仅分配给它的Azure SQL数据库同步。这些设备还通过与Azure SQL数据库的同步来接收新的分配。我希望将这些多个数据库合并到一个数据库中进行管理，同时在同步通过时双向获取更新，并将任何赋值转发给单独的数据库。任何帮助或想法都将不胜感激。

浏览 6提问于2021-12-21得票数 0

0回答

Postgresql 9.3上的双向复制

java、postgresql、database-replication、high-availability、bucardo

我在我的生产服务器上使用Postgres 9.3。我希望使用Master-Master配置来实现Postgres DB的高可用性，其中每个主机都将在具有双向复制的主动-主动模式下运行。我有两个Java Spring REST web服务指向两个独立的数据库引擎，每个引擎都有自己的存储空间。这两个web服务都指向自己的数据库以及HA配置中的另一个数据库。现在，如果任何一个数据库发生故障，我希望活动的数据库服务器正常工作，当故障的

浏览 12提问于2017-06-20得票数 2

1回答

如何使用Kafka* Streams/Connect保持MySQL数据库与HBASE同步？*

mysql、hbase、apache-kafka-connect

我想同步HBASE数据库作为由MySQL产生的更新触发器与Kafka Streams或Kafka连接的帮助。关于它的可能性和它是如何实现的，有什么建议吗？

浏览 22提问于2019-11-27得票数 0

4回答

将移动(iPhone)应用与web应用同步

iphone、mysql、database、sqlite、sync

我正在构建一个iPhone应用程序/ web应用程序，并且我正在尝试通过最佳方式来实现数据库的双向同步。我可能会在iPhone上使用sqlite，在web上使用mysql (据我所知)，但我不确定如何保持它们的同步。

浏览 1提问于2009-08-12得票数 4

回答已采纳

1回答

AcknowledgingMessageListener同步

spring-integration、apache-kafka

我正在尝试使用spring-integration-kafka抽象来实现Kafka consumer。有必要同步处理消息。org.springframework.integration.kafka.listener.AcknowledgingMessageListener.java是否同步处理消息？

浏览 0提问于2015-10-23得票数 1

3回答

Facebook和Wordpress评论的同步

facebook、wordpress、facebook-graph-api

我正致力于实现一个网站的双向同步，该网站从几年前的Facebook粉丝页面开始，现在将主要在网站之外运行。从图形API导入Posts +注释。我创建了第二个提交表单(只有管理员可以从Wordpress站点提交帖子)，该表单使用Graph直接发布到扇页，然后运行导入程序，以便当文章第一次输入数据库时，它已经附加了FB_POST_ID。FB允许Facebook用户登录并在Wordpress上发表评论，但这些评论不是与Facebook同步的，因为

浏览 0提问于2010-11-21得票数 9

回答已采纳

1回答

用于双向同步脱机同步的冲突解决方案

android、mysql、synchronization、sqlite、couchdb

如何管理“主”数据库服务器和许多“辅助”服务器之间的双向同步，特别是冲突解决，假设连接并非总是可用的(脱机同步)？对于这种场景，是否已经实现了任何解决方案？如果是这样的话，我可以在SQL中使用

浏览 0提问于2015-11-09得票数 2

回答已采纳

1回答

在数据库之间同步sql server更改

sql-server

将一个数据库中的更改复制到另一个数据库的最佳/最简单的方法是什么？谢谢

浏览 0提问于2011-08-18得票数 0

回答已采纳

1回答

在使用数据库缓存时，是否可以只使用客户端列进行双向数据库同步？

c#、sql-server、database、microsoft-sync-framework

当您创建数据库缓存并想要进行双向同步时，我读到您应该使用GUID作为键，而不是唯一Id，以防止在同步过程中发生冲突。但是，这会影响性能，所以在使用同步时，这是必需的权衡吗？creationdate和lastedited )，以便启用双向同步。我将无法做到这一点，那么是否有可能只在客户端数据库中使用这些列呢？我不明白为什么他们一定要在服务器上。

浏览 1提问于2011-08-11得票数 0

回答已采纳

2回答

实现SQL和多个现场SQL服务器数据库之间的数据同步的最佳方法是什么？

sql、sql-server、azure-sql-database

我有一个场景，如下所述，我需要实现最好的数据同步方法。我有一个集中式的SQL数据库(主数据库) 数据同步频率将是一天一次。以下是我所探讨的备选

浏览 6提问于2013-09-11得票数 3

1回答

流elasticsearch数据到kafka

elasticsearch-plugin、confluent-kafka-python

我需要把数据从Elasticsearch流到Kafka。我正在研究Elasticsearch和Kafka (Python实现)之间的任何一个连接器，它们可以自动识别CDC并将数据流到kafka，或者我可以实现自己的CDC方法，但我可以寻找一种通往ES - kafka我正在通过卡夫卡和ES之间的Elasticsearch接收器连接器，但并不能证明它是否是双向的(Kafka <-> ES)。

浏览 3提问于2022-08-01得票数 3

1回答

3台主服务器的pt表同步

mysql、percona、percona-tools、multi-master

我们有一组必须与其他数据库服务器同步的表，所以我正在研究来测试这3台服务器之间的同步。我可以双向同步2db服务器之间表中的记录。谢谢，斯瓦鲁普。

浏览 0提问于2014-07-24得票数 1

回答已采纳

1回答

主数据库-本地数据库- 10,000+客户端同步

sql-server、architecture、synchronization

我有一个项目，其中将有一个主源数据库，客户端windows服务，客户端应用程序，客户端数据库。我们需要一个客户端数据库，因为有时客户端由于连接问题而无法访问主数据库源。我希望得到一些您的专业知识，什么是最好/最有效的方式来同步某些表从客户端数据库到主数据库和其他表从主数据库到客户端数据库在接近实时(在几分钟内)。我还需要跟踪在主数据库中同步的内容，以便在仪表板中使用它。可

浏览 19提问于2020-04-09得票数 1

1回答

使用Android Sync Adapter实现双向同步

android、database、rest、synchronization、android-syncadapter

经典问题:服务器上的数据库和Android上的数据库都必须保持同步(使用REST服务)。它们使用GCM来运行同步事件。如果我错了，请纠正我，但这似乎只是单向同步。有没有办法使用Android Sync Adapter进行双向同步？

浏览 0提问于2016-05-19得票数 0

点击加载更多