1回答
我们正在开发一个SAAS系统，在这个系统中，我们最初使用MySQL作为DB，但随着数据的增长，我们的数据列表变慢了，所以为了解决这个问题，我们已经使用了Mongo DB，我们已经在其中存储了准备好的JSON，我们需要显示一段时间(与MySQL的所有连接)，它工作得很好
我们用java编写了一个调度程序，它每2分钟运行一次，并将修改后的记录从MySQL更新到mongo。最初，它工作得很好，但随着时间的推移，数据和它的速率增加，它失败了很多次，所以我们决定寻找任何可以从MySQL</
浏览 14提问于2020-02-04得票数 0
我正在尝试使用kafka (实时数据)将数据从MSSQL导入到Hive，其中包含增量和更新的数据。我看到了github的用于mysql到hdfs数据传输的融合平台，但我没有找到用于MSSQL的。谁正在做这个工作，请建议我如何集成MSSQL和kafka？
浏览 27提问于2016-09-26得票数 1
1回答
我有一个MySQL和Postgres之间的同步进程，只有一个表才能成功。
一旦我创建了一个新的表，并且在MySQL端添加了很少的记录，我就无法在Postgres中找到数据。你能帮帮我吗？
浏览 2提问于2019-12-18得票数 0
我有两个(以及更多) Kafka主题，我需要加入他们。我的问题来自我在博客/StackOverflow上读到的内容...有两个选项： 1)将它们都流式传输，Clickhouse Kafka引擎/spark流，然后运行join，这在Clickhouse中是不推荐的
浏览 22提问于2019-03-06得票数 1
我们希望使用将数据从遗留数据库(在mysql上)导入到kafka。我已经建立了基本的例子，并使它发挥作用。因为我们得到了异常：
我可以轻松地排除该列，并通过编写除该列之外的select查询，使用kafka-connect自定义查询选项导入数据。
浏览 3提问于2016-06-30得票数 0
1回答
我们需要将Cloudant的所有数据提取到另一种存储形式中，以便对其进行一些分析。从Cloudant导出所有数据的最佳方法是什么？
浏览 6提问于2022-11-09得票数 2
我有一个来自网页的流数据加载到BigQuery中，我想将BigQuery连接到卡夫卡作为源。有没有像kafka-connect这样的连接器用于BigQuery接收器。
谢谢，巴拉
浏览 1提问于2018-02-20得票数 3
1回答
我使用部署在Kafka中的Debezium MySQL连接器来流MySQL对Kafka的更改，我们从那里获取这些消息，丰富数据并将数据推送到另一个MySQL。我可以在下面的Kafka消息中看到上面的数据当消息加载
浏览 13提问于2021-12-22得票数 0
1回答
过滤数据库中的行
、、
我想知道kafka平台是否适合下面的工作。例如，如果基于日期，将来可能会满足条件，那么是否有机会再次过滤被拒绝的邮件，以最终通过过滤器并进一步处理？在给Kafka提供数据之前先过滤数据行是不是更好？
谢谢。
浏览 9提问于2017-08-11得票数 0
回答已采纳
1回答
我正在尝试使用Flink 2.1.0从mysql日志表中读取流数据，但是，它只读取一次，然后它将停止该过程。我希望它继续读取，如果有传入的数据，并打印它。env.createInput( .setDrivername("com.mysql.jdbc.Driver")
.setDBUrl("jdbc:mysq
浏览 72提问于2017-02-22得票数 2
1回答
有没有办法通过jdbc连接器将数据从KSQL导出到mysql表中？？ 我了解了如何使用KSQL将mysql表数据导入到Kafka集群中。但这不是我想要的。host --interactive --tty \
confluentinc/cp-ksql-cli:5.3.1 https://www.confluent.io/hub/confluentinc/kafka-connect-jdbc
浏览 44提问于2020-03-17得票数 0
2回答
我们正在尝试将数据从csv文件导入到Kafka。我们每天都需要导入数据，平均来说，前一天的数据是被降级的。在python中，如何删除Kafka主题下的所有消息？或者我如何删除python中的Kafka主题？或者我看到有人建议等待数据过期，如果有可能，我如何设置数据过期时间？如有任何建议，将不胜感激！
谢谢
浏览 5提问于2015-09-21得票数 4
回答已采纳
我在用debezium捕获mysql中的数据时遇到了问题，将数据捕获并使用kafka连接jdbc接收器将其消费到另一个mysql。因为debezium对kafka主题产生的模式和有效负载与kafka连接jdbc接收器所期望的模式不兼容。
当jdbc接收器想要使用数据并在另一个mysql中创建记录时，我就会异常。
浏览 2提问于2017-05-14得票数 1
回答已采纳
将数据从mysql传递到kafka produce的最佳方式是什么 我知道有很好的kafka连接器。然而，我想使用springboot框架。因为我需要转换数据并与其他http结果合并，然后我想产生数据到kafka。 那么有没有什么好的例子，github，博客wahtever~？
浏览 44提问于2020-07-21得票数 1
1回答
我已经启动了zookeeper，kafka服务器，kafka生产者和kafka消费者，我已经把从confluent下载的jdbc sql连接器jar放在路径中，我已经在connect-standalone\config\sink quickstart-MYSQL.properties没有任何错误，但是它有很多警告并且没有开始，但是我的数据没有反映在tables.what中我错过了，你能帮我吗我有下面的警告<init>(Reflections.java:140)
at org.a
浏览 21提问于2020-10-28得票数 0
2回答
我的公司每天产生大约600万条记录，我看到hadoop是处理大量数据的一个很好的解决方案。我发现了如何从mysql加载数据，但它正在导出完整的数据库，有没有办法保持我的mysql DB和Hadoop之间的数据同步？
浏览 2提问于2020-03-07得票数 1
1回答
我目前在大型机技术中工作，我们将数据存储在IBM DB2中。有人能告诉或指导我如何从卡夫卡连接到IBM或MONGODB中导入数据并将其放入DB2中吗？
任何帮助都是非常感谢的。
浏览 1提问于2020-12-27得票数 4
我在中有一个拥有大量测试数据的Kafka集群。我希望将部分/全部测试数据导入到本地Kafka集群中。这样，我就更容易在本地环境中使用kubernetes的实际数据执行测试了。那么，有没有办法把卡夫卡主题中的5000条信息转储到文件中，并将它们还原成本地的kafka主题呢？
浏览 6提问于2018-01-06得票数 2
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
实时音视频活动推荐
腾讯云开发者
