我正在尝试使用Kafka Connect JDBC连接器在我的Postgres数据库中流式传输更改。我在启动时遇到了问题，因为数据库非常大，每次查询都会随着行之间的变化而终止。在非常大的表上启动JDBC连接器的最佳实践是什么？
浏览 9提问于2018-03-01得票数 0
这就是我要犯的错误
[2018-04-19 21:58:19,651] ERROR Failed to create job for /kafka/salesforce-source.propertiesshare/java/kafka-connect-jdbc/*,/confluent-4.1.0/share/java/kafka-connect-jdbc&#x
浏览 0提问于2018-04-20得票数 2
我有用Kafka流处理的记录(使用处理器API)。假设记录有city_id和一些其他字段。
在Kafka应用程序中，我想将目标城市当前的温度添加到记录中。在Java应用程序中，我能够使用JDBC连接到Postgres，并构建new HashMap<CityId, Temperature>，因此我能够基于city_id查找温度。因此，在流、拓扑构建器和处理器使用它构建之前，我将其移动。在所
浏览 0提问于2019-05-08得票数 1
回答已采纳
1回答
我无法使用KSQL表接收到postgreskey.converter=org.apache.kafka.connect.storage.StringConverterorg.apache.<em
浏览 3提问于2019-07-16得票数 0
2回答
我对这个拱门的jdbc接收器有个问题。postgres1
org.apache.kafka.connect.errors.RetriableException: java.sql.SQLException: java.sql.BatchUpdateException:批处理条目0插入"customers“("id")值(1)在冲突("id")上，更新集被中止:错误:输入connect_1<em
浏览 2提问于2019-04-30得票数 2
我已经在我的kafka connect连接器中安装了运行confluent-hub install --no-prompt confluentinc/kafka-connect-jdbc:10.2.5的JDBC连接器，但是当我尝试使用实现一个新的接收器时，我遇到了以下错误:找不到任何实现连接器并且名称与io.confluent.connect.jdbc.JdbcSinkC
浏览 7提问于2021-10-30得票数 0
1回答
我有一些卡夫卡消费者和生产者运行我的卡夫卡实例在我的Heroku集群。我希望创建一个数据接收器连接器，将Kafka连接到PosytgreSQL，将数据从Kafka放到我的heroku PostgreSQL实例中。有点像，但有一种方式。医生们说要查看或生态系统页面，但我在这些页面中找不到任何关于Postgres的内容。中的图表提到了一个JDBC连接器？如果需要的话，我很乐意创
浏览 3提问于2021-02-02得票数 0
回答已采纳
1回答
我试图使用连接到集群上的PostgreSQL数据库(该数据库不是由集群直接管理的)。我用以下命令调用了Kafka Connect：这是worker.properties文件的内容：
浏览 0提问于2018-04-16得票数 3
回答已采纳
1回答
我刚刚使用postgres源连接器将我的kafka连接到postgres。: <null>, value: {"userid": 5, "id": 6, "title": "ipsum", "body": "cupidatat non proident"}
如何从该主题创建流，以便这些值可以像最初在数据库表中一样被分隔到各自的列中？&quo
浏览 1提问于2020-04-02得票数 0
我使用JDBC Sink连接器将数据从Kafka主题加载到Postgres表中。首先，我用"AVRO“值格式创建了一个主题和它上面的一个流。=1, VALUE_FORMAT='AVRO');curl -X PUT http://localhost:8083/connectors/sink-jdbc-postgre\dt命令检查Postgres<
浏览 1提问于2021-03-30得票数 0
我在我的项目中使用了kafka -jdbc-接收器-连接器，其中我需要在kafka主题(kafka_subs)上发布一些JSON，然后通过使用JDBC-接收器-连接器，我需要在模式下的postgres表:8082/connectors -H "Content-Type: application/json" -d '{
"name":
浏览 1提问于2021-09-09得票数 0
我已经使用了JDBC连接器作为介绍，但我需要基于日志的CDC。我使用docker-compose.yml文件来建立所有配置，数据库基于Oracle。这是我的docker-compose文件： 有没有一种更简单的方法来构建这个docker-compose？/jars:/etc/kafka-connect/jars - broker
- schema-regis
浏览 95提问于2021-01-13得票数 0
回答已采纳
我正在尝试使用运行在我的Windows 10机器上的docker容器中的ksqlDB连接到外部Oracle数据库。我已经阅读了ksqlDB网站上提到的教程，并设法使用下面的文件运行ksqlDB。现在，我需要创建JDBC连接器来连接到外部ORACLE数据库(而不是容器内)。由于大多数可用的教程都在Postgres数据库上运行在容器中，所以我对与外部数据库的连接感到有点困惑。假设Oracle数据库配置在我的</e
浏览 2提问于2020-02-26得票数 0
回答已采纳
1回答
我正在使用JDBC-接收器连接器使用Postgres来尝试Kafka。INFO Unable to connect to database on attempt 1/3.connection.password=***我设置了plugin.path=/usr/share/java/kafka-connect-jdbc
在/usr&#
浏览 0提问于2018-06-25得票数 2
回答已采纳
kafka可以用spring boot + postgresql实现吗？是否有一个额外的过程，例如，如果我们将数据插入到数据库中，如何使用kafka？那么，当从数据库调用数据时，我是否应该先放入kafka，然后get api只从kafka调用，而不是从数据库调用？使用kafka正确吗？然后，当用户调用save api时，我必须同时从数据库中检索它，以便kafka中的数据也被更新？
浏览 18提问于2021-09-23得票数 0
我们正在尝试将数据从oracle迁移到postgres。我们正在从oracle中提取avro格式的数据并写入postgres。目前，我们正在将avro转换为CSV并写入postgres，但是当数据是blob格式时，问题就来了。 我们使用psql copy来写入数据。有没有办法可以使用psql或任何其他工具直接将avro文件写入postgres？我们可以提取AVRO或CSV格式的数据。
浏览 23提问于2019-12-07得票数 0
回答已采纳
标题怎么说，有一种方法可以设置Kafka JDBC Source连接器从数据库读取的记录的主键吗？这是来自connect-file-source.properties的配置 name=jdbc_source_postgres_foobar_01
connector.class=io.confluent.connect.jdbc.JdbcSourceConnectorkey.converter=org.apache.<
浏览 22提问于2020-10-16得票数 0
1回答
我有两个容器运行在主机上，两个容器通过网络进行通信，例如--network=kafka-sink-connect和容器通信按预期进行，但是当我试图使用下面的config创建连接器实例时 "name": "jdbc-sink-connector",
"connector.class": "io.confluent.connect.jd
浏览 4提问于2022-07-10得票数 0
我有一个关于Avro-serialized value的Kafka主题。 我正在尝试设置JDBC( postgres )接收器连接器，以便将这些消息转储到postgres表中。"org.apache.kafka.common.config.ConfigException: Invalid value io.confluent.connect.avro.AvroConverter我的Sink.json是 {"name": &
浏览 30提问于2020-01-29得票数 0
= 'id');create stream user_final with (value_format = 'AVRO') as select * from我正在使用卡夫卡的JdbcSinkConnector将数据放入已经存在的Postgres表中。", "connector.class": "io.
浏览 5提问于2020-05-18得票数 1
回答已采纳
云服务器
ICP备案
即时通信 IM
对象存储
云直播
腾讯云开发者
