通过Kafka Connect连接Rsyslog到Kafka
Kafka Connect是Apache Kafka的一个组件，用于连接外部系统和Kafka，实现数据的可靠传输和流式处理。Rsyslog是一个开源的系统日志收集器，用于收集和传输系统日志。
通过Kafka Connect连接Rsyslog到Kafka的过程如下：
- 安装和配置Kafka Connect：首先，需要安装并配置Kafka Connect，以便与Kafka集群进行通信。可以使用腾讯云的消息队列 CKafka 作为 Kafka 集群，具体安装和配置步骤可参考腾讯云CKafka文档（链接地址：https://cloud.tencent.com/document/product/597）。
- 安装和配置Rsyslog：接下来，需要在要收集日志的服务器上安装和配置Rsyslog。Rsyslog提供了多种输入和输出插件，可以将日志数据发送到Kafka。具体安装和配置步骤可参考Rsyslog官方文档（链接地址：https://www.rsyslog.com/doc/）。
- 配置Kafka Connect的Rsyslog连接器：在Kafka Connect的配置文件中，需要添加一个Rsyslog连接器的配置。该配置指定了Rsyslog的输入插件和Kafka的输出插件，以及相关的参数，如Kafka集群的地址、主题名称等。可以使用腾讯云的消息队列 CKafka 作为 Kafka 集群，具体配置步骤可参考腾讯云CKafka文档（链接地址：https://cloud.tencent.com/document/product/597）。
- 启动Kafka Connect和Rsyslog：配置完成后，启动Kafka Connect和Rsyslog服务。Kafka Connect会根据配置文件中的信息，从Rsyslog接收日志数据，并将其发送到Kafka集群中的指定主题。
通过以上步骤，就可以实现通过Kafka Connect连接Rsyslog到Kafka，实现日志数据的收集和传输。这种方式可以实现实时的日志处理和分析，适用于大规模分布式系统的日志管理和监控。
腾讯云相关产品推荐：
- 腾讯云CKafka：腾讯云提供的高可靠、高吞吐量的消息队列服务，可作为Kafka集群使用。CKafka支持自动扩缩容、消息持久化、数据备份等功能，适用于大规模数据流处理和实时分析。了解更多请访问腾讯云CKafka产品介绍（链接地址：https://cloud.tencent.com/product/ckafka）。
请注意，以上答案仅供参考，具体的配置和使用方法可能因环境和需求而异。建议在实际操作中参考官方文档和相关资源，并根据实际情况进行调整和优化。
相关·内容
我试图使用omkafka模块在远程机器上发布从rsyslog到kafka的消息。
My omkafka action is configured as:
if $HOSTNAME == 'localhost' then {
action(type="omkafka"
name="log_kafka"
broker="192.168.100.50:9092"
topic="rsyslog_kafka"
errorfile="/var/log/omkafka/log_ka
浏览 6提问于2017-02-17得票数 1
回答已采纳
我有两个配置文件，用来创建从rsyslog到Kafka主题的流，配置如下: worker.propertiese
bootstrap.servers=localhost:9092
key.converter=org.apache.kafka.connect.json.JsonConverter
value.converter=org.apache.kafka.connect.json.JsonConverter
key.converter.schemas.enable=false
value.converter.schemas.enable=false
offset.storage.file.
浏览 31提问于2020-03-07得票数 0
2回答
我需要帮助来理解这个问题:所以我使用ansible，基本上我有一个包含3vvariable的vault文件，在我的角色中，我有这个部分，它应该将vault的每个变量复制到3个不同的文件中：
- name: copy needed certificate
shell: echo {{ client_kafka_rsyslog_cer }} >> {{ dest_cert_file }}
shell: echo {{ client_kafka_rsyslog_key }} >> {{ dest_key_file }}
shell: echo {{ client_
浏览 18提问于2021-05-17得票数 0
回答已采纳
2回答
我正在使用带有strimzi操作符的Kafka，我创建了一个Kafka集群，并使用yml文件部署了Kafka连接。但在这之后，我完全不知道下一步该做什么。我了解到Kafka connect用于将数据从源复制到Kafka集群，或者从Kafka集群复制到另一个目标。我想使用Kafka connect将文件中的数据复制到Kafka集群的any主题。谁能帮助我，我怎么做，我正在分享的yml文件，我用来创建我的Kafka连接集群。
apiVersion: kafka.strimzi.io/v1beta1
kind: KafkaConnect
metadata:
name: my-connect
浏览 4提问于2020-11-20得票数 2
有兴趣将数据从kafka转移到elasticsearch。所以我设置了。
尽管我查看了所有文档和，但我仍然找到了如何配置连接器，以便将数据从kafka移动到elasticsearch (接近于实时)。
也就是说，让连接器每秒使用来自( kafka )主题的消息，并将它们写入elasticsearch，模拟从kafka流到elasticsearch的消息流。
这是连接器的当前配置：
{
"name": "elasticsearch-sink",
"config": {
"connector.class": "
浏览 1提问于2020-02-18得票数 0
kafka connect是否在kafka connect流程中启动新的连接器及其任务？否则将派生一个新的JVM进程。
如果它在kafka连接过程中启动插件，那么我需要通过KAFKA_CONNECT_JVM_HEAP_OPT设置kafka connect JVM堆的大小(使用confluent docker镜像)。然后，问题是，如果我启动了许多任务或连接器，它们将共享JVM堆，因此很难决定kafka connect的堆大小。
如果对于每个连接器，kafka connect在新的JVM进程中启动它们，我如何为它们设置堆大小？
浏览 4提问于2018-05-31得票数 4
我是rsyslog和kafka的新手，在尝试运行以下日志流时遇到了一些麻烦。
nginx log -> rsyslog-imudp -> rsyslog-omkafka -> kafka
下面是nginx conf
log_format jsonlog '{'
'"host": "$host",'
'"server_addr": "$server_addr",'
'"http_x_forwarded_for":
浏览 5提问于2016-10-12得票数 1
我通过发出"./bin/confluent“命令启动了。然后我使用kafka连接将kafka数据汇到mysql中。
通过执行以下命令，我可以在独立模式下很好地运行kafka connect：
/bin/connect-独立的./etc/schema-registry/connect-avro-standalone.properties ./etc/kafka-connect-jdbc/adstats-jdbc-sink.properties
然后我关闭上面的命令并通过命令切换到分布式模式：
./bin/connect分布式./etc/schema-registry/conne
浏览 0提问于2018-08-09得票数 1
1回答
我使用rsyslog将数据从nginx发送到kafka。管道如下所示：
nginx -> unix_socket -> rsyslog -> omkafka module -> kafka
用于rsyslog的Omkafka模块使用tcp传输消息，因此我可以轻松地计数发送给kafka的数据流字节和tcp数据包的数量，但这些指标对我来说还不够有代表性。似乎我应该使用一些应用程序级的解决方案来精确计算消息。
我知道“impstats”模块能够计数rsyslog消息，但它不支持omkafka模块。
为我的案子寻找统计数据的建议。谢谢!
浏览 0提问于2016-09-27得票数 0
回答已采纳
2回答
描述
I有一个卡夫卡连接分布式模式的pubSubSource连接器，它只是简单地从PubSub订阅中读取并写入一个Kafka主题。问题是，即使我要向GCP PubSub发布一条消息，我也要在我的Kafka主题中写两次这个消息。。
如何繁殖
部署Kafka和Kafka连接
创建具有以下pubSubSource配置的连接器：
内容类型: application/json“-d”{“名称”："pubSubSource"，"config"：{ "org.apache.kafka.connect.json.JsonConverter"，"key.c
浏览 1提问于2021-02-24得票数 1
回答已采纳
我试图运行卡夫卡连接在EC2和发送数据从MSK到弹性搜索。这就是我要做的。
sudo yum install java-1.8.0
wget https://archive.apache.org/dist/kafka/2.2.1/kafka_2.12-2.2.1.tgz
tar -xzf kafka_2.12-2.2.1.tgz
卡夫卡连接装置
wget /usr/local http://packages.confluent.io/archive/5.2/confluent-5.2.0-2.11.tar.gz -P ~/Downloads/
tar -zxvf ~/Downloads/con
浏览 0提问于2019-12-30得票数 0
回答已采纳
1回答
我有一条管道: Webserver+rsyslog->Kafka->Logstash->ElasticSearch->Kibana
我找到了这些工具来帮助测试管道：
通过使用EC2旋压实例来生成with服务器负载
在Kafka上生成负载并使用帮助图形吞吐量
我想知道是否有人对测试组件或端到端测试有其他建议？谢谢。
浏览 0提问于2016-05-12得票数 1
回答已采纳
我当前的设置包含Kafka、HDFS、Kafka Connect和Schema注册表，它们都位于网络对接容器中。
Kafka主题包含没有模式的简单JSON数据：
{
"repo_name": "ironbee/ironbee"
}
Schema注册表包含一个JSON模式，描述Kafka主题中的数据：
{"$schema": "https://json-schema.org/draft/2019-09/schema",
"$id": "http://example.com/example.json&#
浏览 15提问于2022-11-28得票数 0
回答已采纳
我正在使用Azure事件集线器(kafka surface已启用)实现更改数据捕获场景，以从postgresql捕获数据。数据库是Postgresql，并使用debizum连接器()。我还使用了azure数据库(单服务器-逻辑复制)。kafka连接在本地的对接器上运行，并且可以在蔚蓝事件中心中创建主题(所附的对接者撰写文件)。另外，一旦我向kafka连接发送rest请求，它就会显示连接器已经启动并运行。但是，当我在postgres表中插入数据时，它不能在其后创建主题，而且我也无法找出原因？
连接器的状态：
localhost:8083/connectors/postgres-connecto
浏览 9提问于2022-09-22得票数 0
我有rsyslogd 8.2001.0.de755a2f982d (也就是2020.01)
在Ubuntu服务器中：
描述: Ubuntu 16.04.5 LTS版本: 16.04代号: xenial
我已经安装了rsyslog-kafka包
server:/etc/rsyslog.d# apt-get install rsyslog-kafka
Reading package lists... Done
Building dependency tree
Reading state information... Done
rsyslog-kafka is already the newest
浏览 187提问于2019-11-15得票数 0
我跟随配置卡桑德拉水槽卡夫卡连接。
在博客文章中，我们首先启动了。接下来，我们将我们的CassandraSink配置发布到Kafka。
java -jar kafka-connect-cli-0.5-all.jar create cassandra-sink-orders < cassandra-sink-distributed-orders.properties
cassandra-sink-orders**:** 连接器
name=cassandra-sink-orders
connector.class=com.datamountaineer.streamreactor.conne
浏览 0提问于2018-04-26得票数 0
4回答
我一直在尝试使用kafka连接到elasticsearch - connect api.Kafka版本是0.11.000。以下是我遵循的步骤：
1.构建Elasticsearch连接器：
2.构建连接器
$ cd kafka-connect-elasticsearch
$ mvn clean package
3.最后运行脚本：
$ bin/connect-standalone.sh config/connect-standalone.properties config/elasticsearch-connect.properties
它抛出以下异常：
Exception in thread
浏览 0提问于2017-09-04得票数 4
我有一个依赖于kafka服务的应用程序。
使用Kafka，我在运行卡夫卡连接库的Linux上尝试curl localhost:8083时会出错。
curl -v localhost:8083给出：
重新构建URL到: localhost:8083/
尝试127.0.0.1..。
连接到127.0.0.1端口8083失败:连接被拒绝
未能连接到本地主机端口8083:连接被拒绝
关闭连接0 curl：(7)未能连接到本地主机端口8083:连接被拒绝
我的kubernetes命名空间的kubectl get po -o wide提供：
当我使用sudo lsof
浏览 9提问于2021-06-25得票数 1
回答已采纳
我们已经使用jdbc独立连接器成功地使用了MySQL - kafka数据摄取，但现在在分布式模式(作为kafka connect服务)中使用同样的连接器时遇到了问题。
用于工作正常的独立连接器的命令-
/usr/bin/connect-standalone /etc/kafka/connect-standalone.properties /etc/kafka-connect-jdbc/source-quickstart-mysql.properties
现在我们已经停止了这个服务，并在分布式模式下启动了kafka连接服务，如下所示-
systemctl status confluent-kaf
浏览 1提问于2018-11-15得票数 2
1回答
Kafka连接分离测井
、、、
目前，我们正在使用两个定制的connetor插件，用于我们合流的kafka连接分布式工作集群。长期以来困扰我的一件事是，kafka connectors将从所有已部署的连接器写入一个文件/流的所有日志。这使得调试成为一个绝对的噩梦。是否有办法让kafka将连接器连接到不同的文件/流中？
通过connect-log4j.properties，我能够让一个特定的类日志到一个不同的文件/流。但这意味着每增加一个连接器，我就必须调整connect-log4j.properties
谢谢
浏览 0提问于2018-09-06得票数 1
回答已采纳
我有一个奇怪的问题卡夫卡-> elasticsearch连接器。当我第一次开始这一切的时候，我收到了elasticsearch中的一个新数据，并通过kibana仪表板检查了它，但是当我使用同一个生产者应用程序向kafka生成了新的数据，并试图再次启动连接器时，我没有在elasticsearch中获得任何新数据。现在我收到了这样的错误：
[2018-02-04 21:38:04,987] ERROR WorkerSinkTask{id=log-platform-elastic-0} Commit of offsets threw an unexpected exception for se
浏览 0提问于2018-02-04得票数 4
卡夫卡连接连接器：
我手动安装到卡夫卡连接码头形象的/opt/kafka/plugins。我的目的是使用卡夫卡连接写阿夫罗记录从卡夫卡主题到S3。
在运行时，使用Kafka Connect，我得到了错误：
ERROR Stopping due to error (org.apache.kafka.connect.cli.ConnectDistributed) [main]
org.apache.kafka.common.config.ConfigException: Invalid value io.confluent.connect.avro.AvroConverter for confi
浏览 9提问于2022-05-31得票数 0
回答已采纳
我在让Kafka Connect向Graphite发送指标：kafka.consumer:*和kafka.connect:*时遇到了麻烦。列表在这里：
到目前为止，我在/usr/share/java/kafka-graphite-clients-0.10.2.jar中构建并添加了这个JAR
并通过将以下内容发布到连接rest api来更新worker配置：
{
"metric.reporters": "org.apache.kafka.common.metrics.GraphiteReporter",
"kafka.graphite.
浏览 6提问于2019-07-18得票数 0
2回答
我试着用Debezium和卡夫卡连接，我跟踪，所有连接都很好。然而，问题是，我不能再从码头集装箱以外的卡夫卡。
我使用以下命令启动容器：
docker run -it --rm --name zookeeper -p 2181:2181 -p 2888:2888 -p 3888:3888 debezium/zookeeper:2.0.0.Beta1
docker run -it --rm --name kafka -p 9092:9092 --link zookeeper:zookeeper debezium/kafka:2.0.0.Beta1
docker run -it --rm --
浏览 3提问于2022-08-14得票数 0
回答已采纳
要在本地mac中运行cps3连接以使用kafka主题，我做了如下操作
1. Installed Confluent Kafka connector and ran the kafka connect-standalone.sh
ML-C02Z605SLVDQ:kafka_2.12-2.5.0 e192270$ confluent-hub install confluentinc/kafka-connect-s3:latest --component-dir /usr/local/share/java --worker-configs config/connect-distributed
浏览 3提问于2020-05-23得票数 1
我是第一次使用Kafka Connect。
场景:我们希望在Kafka中导出存储在多个主题(好的数字> 400)中的数据，并将这些数据转储到Elastic Search Indexes中。我们公司的Kafka是融合的Kafka，它是Kerberized的。我能够通过Kafka API编写生产者和消费者，因为我们知道代理和密钥表文件。
建议使用Kafka-Connect，但由于它是多租户集群，Ops团队可能无法提供直接访问，甚至无法运行插件安装命令。我们有自己的托管虚拟机，可以在其中部署应用程序实例。
Ques -有没有可能通过在我们的VM上安装连接器插件而不是在Confluent Kaf
浏览 5提问于2020-06-18得票数 0
我正在尝试编写一个kafka连接器，将kafka主题中的数据移动到mongodb(接收器)中。因为我已经在连接-json-Standalone.properties文件中添加了所需的配置，而且还在kafka文件夹中的connec-mongo-sink.properties文件中添加了所需的配置。在此过程中，在启动连接器时，我将获得以下异常
[2019-07-23 18:07:17,274] INFO Started o.e.j.s.ServletContextHandler@76e3b45b{/,null,AVAILABLE} (org.eclipse.jetty.server.handler
浏览 1提问于2019-07-23得票数 0
回答已采纳
我试图创建一个卡夫卡连接连接器，从一个AVRO主题到一个文件。
然后使用kafka-connect将该文件还原到另一个主题。
水槽工作正常，我可以看到接收器文件正在增长，并读取数据。但是当我试图恢复到一个新的主题时，新的主题仍然没有数据。
我没有错误，我已经重置了偏移量，我创建了一个新的Kafka连接并尝试恢复，我创建了一个完整的新Kafka集群，并且始终是相同的，源连接器上没有错误，但是主题是空的。
在这里，源连接器配置的输出：
{
"name": "restored-exchange-rate-log",
"config": {
浏览 1提问于2019-02-08得票数 1
我们从Confluent 4.0.0升级到5.0.0，升级后我们无法列出kafka connect hdfs接收器连接器消费者lag。
$ /opt/kafka/bin/kafka-consumer-groups.sh --bootstrap-server <hostname>:9092 --list | grep scribe_log_backend
Note: This will not show information about old Zookeeper-based consumers.
connect-kconn_scribe_log_backend
$ /opt/ka
浏览 0提问于2018-09-17得票数 0
我试着用坞-撰写运行一个本地的kafka连接集群。我需要在远程数据库上连接，我还使用远程kafka和模式注册表。我已经启用了从我的机器访问这些远程资源的权限。
要启动集群，在我的Ubuntu WSL2终端的项目文件夹上，我正在运行
docker build -t my-connect:1.0.0
docker-compose up
应用程序成功运行，但当我尝试创建一个新连接器时，返回带有超时的错误500。
我的Dockerfile
FROM confluentinc/cp-kafka-connect-base:5.5.0
RUN cat /etc/confluent/docker/log4j
浏览 3提问于2021-07-01得票数 5
回答已采纳
我使用的是confluent kafka连接器。我想将数据插入到接收器连接器中的特定表TB_TEST_KAFKA中。我已经创建了这个表。 auto.create=false。 我不知道接收器连接器的属性、表名、键。我正在尝试插入到特定表TB_TEST_KAFKA中， connector.class=io.confluent.connect.jdbc.JdbcSinkConnector
errors.log.include.messages=true
dialect.name=SqlServerDatabaseDialect
connection.password=####
tasks.m
浏览 51提问于2021-08-10得票数 0
2回答
我下载了，并在kafka目录中构建了相同的jar manually.Placed，并在connect-standalone.properties中提到了插件路径。但是，当我运行连接时，它会抛出错误，说“找不到实现连接器的类，哪个名称与io.aiven.connect.jdbc.JdbcSourceConnector匹配”
我的配置中缺少什么？
connect-standalone.properties
bootstrap.servers=*******:9092
key.converter=org.apache.kafka.connect.json.JsonConverter
value.co
浏览 6提问于2021-08-18得票数 0
我正在尝试添加键，使用SMT函数将其用作ES文档的文档id，但它不起作用。我正在使用汇流es连接器。下面的配置文件：connect-standalone.properties
bootstrap.servers=localhost:9092
key.converter=org.apache.kafka.connect.json.JsonConverter
value.converter=org.apache.kafka.connect.json.JsonConverter
key.converter.schemas.enable=false
value.converter.schemas.en
浏览 3提问于2017-10-15得票数 5
有一个用于iothub的kafka连接连接器。这可以从confluent网站(https://www.confluent.io/hub/microsoft/kafka-connect-iothub)获得。但是，kafka connect中的iothub连接器是存档的(参见https://github.com/Azure/toketi-kafka-connect-iothub)，最后一次提交的日期是2018年3月19日。 在此期间，插件不能与当前版本一起工作，需要更新。 是否有可用的替代回购。微软是否停止了对此的支持？有什么计划吗？
浏览 21提问于2021-04-02得票数 0
如何获取、设置或重置Kafka Connect连接器/任务/接收器的偏移量？
我可以使用运行kafka.admin.ConsumerGroupCommand的/usr/bin/kafka-consumer-groups工具来查看我所有常规Kafka消费者组的偏移量。但是，Kafka Connect任务和组不会显示在此工具中。
类似地，我可以使用zookeeper-shell连接到Zookeeper，我可以看到常规Kafka消费者组的zookeeper条目，但不能看到Kafka connect接收器的zookeeper条目。
浏览 1提问于2016-06-09得票数 16
回答已采纳
我正在使用从kafka到mongo的mongokafka接收器连接器，连接器jar是mongo-kafka-connec-1.7.0-all.jar，我在连接集群的插件路径中也添加了4.5.0.jar。我用的是卡夫卡和连环画。在kafka中，我可以成功地发送消息，但在连接器中，我可以看到错误。
curl -X POST \
-H "Content-Type: application/json" \
--data '
{"name": "mongo-sink",
"config":
浏览 6提问于2022-03-08得票数 0
我遵循卡夫卡快速入门指南。我被困在第6步，作为事件流导入/导出您的数据。
错误表明卡夫卡找不到连接器。我已经以多种方式将其添加到connect-standalone.properties文件中。这是我目前的情况。
plugin.path=/home/ben/kafka/kafka_2.12-3.2.0/lib/connect-file-3.2.0.jar
我还试着只指向libs文件夹。
我停止了服务和服务器，并根据指南的指示重新启动它们。然后，我尝试启动两个连接器，这两个连接器读和写的文件。
bin/connect-standalone.sh config/connect-standalon
浏览 6提问于2022-06-18得票数 0
我在试着让一个简单的卡夫卡连接容器运行。我确实尝试了，但设置略有不同(没有停靠机，没有模式注册表)。
目前，我正在与一个码头组成的设置，包括动物园管理员和卡夫卡。
version: '3.1'
services:
zookeeper:
image: confluentinc/cp-zookeeper
ports:
- 2181
environment:
- ZOOKEEPER_CLIENT_PORT=2181
- ZOOKEEPER_TICK_TIME=2000
- ZOOKEEPER_SYNC_LIM
浏览 0提问于2020-03-11得票数 0
回答已采纳
我在EC2上设置了一个汇合(4.0)连接器，它从kafka读取并写入S3。
独立尝试进行得很好：
bin/connect独立的etc/standalone/example-connect-worker.properties etc/standalone/example-connect-s3-sink.properties
但是，分布式版本始终失败。
[2018-01-30 21:26:05,860] ERROR Unexpected exception in Thread[KafkaBasedLog Work Thread - connect-configs,5,main] (org.ap
浏览 1提问于2018-01-30得票数 1
回答已采纳
我正在尝试为mysql数据库连接多个Debezium连接器，我的配置如下。
sudo docker run -it --name zookeeper -p 2181:2181 -p 2888:2888 -p 3888:3888 debezium/zookeeper:1.5 &
sudo docker run -it --name kafka -p 9092:9092 --link zookeeper:zookeeper debezium/kafka:1.5 &
sudo docker run -it --name connect -p 8083:8083 -e GROUP
浏览 1提问于2021-06-07得票数 0
1回答
我正在尝试连接到Oracle数据库，它位于docker容器之外。我是新来的码头工人，不知道如何实现同样的目标。在我的本地机器上，我可以通过提供主机、服务名称和端口，或者仅仅通过引用tnsnames.ora文件中提到的条目来连接到特定的数据库。我已经在我的Windows 10机器上安装了Docker。我的最终目标是使用ksqlDB提供关于kafka主题的表格。但是，第一步是连接到我的oracle数据库。我不确定需要哪些修改或设置才能从Docker连接到任何外部数据库源。我尝试了下面的连接器配置，但这是行不通的。
连接器配置:
CREATE SOURCE CONNECTOR jdbc_source
浏览 3提问于2020-03-02得票数 2
我了解到Kafka connect可以在集群模式下部署。并且工作人员在数据源和kafka主题之间移动数据。我想知道的是，如果工作人员在数据源之间移动数据到kafka主题时失败，会不会有数据丢失？如果发生数据丢失，我们如何从连接器获取数据，或者kafka connect会自动处理它吗？
浏览 33提问于2021-01-22得票数 0
回答已采纳
我试图通过MySql将我的source-connector数据库更改外包给卡夫卡主题，这是可行的。现在我想把这些数据发送到弹性搜索实例。
为了做到这一点，我跟踪了这个和这个。
对于mysql到kafka的CDC，我可以看到我在mysql中所做的更改，并阅读它创建源-连接器，但是当我创建另一个连接器elasticsearch-sink连接器时，source-connectr task.state显示了Failed！因此，数据库更改不会进入ES，尽管在es-config.properties文件中作为安装程序在那里创建索引。
我已经将jar/s放在kafka中，为源-连接器的库工作(以避免关于类路
浏览 1提问于2020-02-19得票数 0
回答已采纳
我使用的是confluent的kafka连接器docker image confluentinc/cp-kafka-connect:5.4.0-beta1。
我想按照本文中描述的方式设置RabbitMQ源连接器：
，
但是，我不使用本地的kafka代理，而是使用我在账户中设置的代理
在docker-compose.yml中，我通过以下设置成功地建立了从连接器容器到cloudkarafka代理的连接：
kafka-connect-01:
image: confluentinc/cp-kafka-connect:5.4.0-beta1
container_name: kafka-c
浏览 10提问于2020-05-20得票数 0
回答已采纳
我最近开始使用Kafka，我尝试创建一个Kafka连接来连接到oracle，但是我做不到。我找到的信息是关于confluent的，但这在Windows中不起作用...如何使用java配置或创建一个？
我为我的测试使用独立连接:cmd.\windows\connect-Standalone.bat .\config\connect-standalone.properties .\config\connect-bbdd.properties ->
name=jdbc-conector
connector.class=io.confluent.connect.jdbc.JdbcSourceC
浏览 142提问于2019-07-19得票数 2
我让Kafka Connect JDBC接收器连接器写入不同的数据库，我想限制到一个数据库的流量。Kafka quotas功能可以为客户端ID设置consumer_byte_rate配额，但Kafka Connect客户端ID看起来像consumer-1234，并动态分配给连接器。因此，如果我的接收器连接器被重新平衡，它将被分配所有新的客户端ID。我尝试使用我的接收器连接器使用者组ID作为客户端ID来设置配额，但不起作用。有没有办法给Kafka Connect消费群设置配额？
浏览 16提问于2019-12-18得票数 0
我正在尝试设置Kafka连接接收器连接器。Kafka connect是Kafka connect worker (confluent-3.2.0)的一部分。我在机器A上启动并运行了一个Kafka代理(confluent-3.2.0)。我想在另一台机器B上设置Kafka-connect-sink连接器，以使用自定义的Kafka-connect-sink连接器jar消费消息。假设机器A上的Kafka broker和Zoo keeper端口对机器B开放。
那么，我是否应该通过将classpath设置为Kafka- Connect -sink连接器jar并运行以下命令来在机器B上安装/设置conflu
浏览 1提问于2017-06-09得票数 0
无法找到或加载主类org.apache.kafka.connect.cli.ConnectStandalone当我尝试在kafka中运行connect-standalone时出现此错误。
首先，我意识到libexec中没有这个文件所在的连接文件夹，于是我下载了它。仍然是同样的错误。
所以我尝试单独编译ConnectStandalone.java文件，我发现我的kafka文件夹中缺少很多包。在org/apache/kafka中应该有一些包的连接和公共文件夹，但是没有。包org.slf4j也丢失了。
我试着手动下载了几个，但如果有人能告诉我在哪里可以找到正确的文件夹。
我想做的就是创建一个简单的k
浏览 45提问于2016-09-08得票数 0
回答已采纳
这是我们用来托管docker-connect和插件的docker镜像 FROM confluentinc/cp-kafka-connect:5.3.1
ENV CONNECT_PLUGIN_PATH=/usr/share/java
# JDBC-MariaDB
RUN wget -nv -P /usr/share/java/kafka-connect-jdbc/ https://downloads.mariadb.com/Connectors/java/connector-java-2.4.4/mariadb-java-client-2.4.4.jar
# SNMP Source
RU
浏览 28提问于2019-12-20得票数 2
回答已采纳
我使用Confluent的Kafka连接器将数据从Kafka汇到一个MinIO桶中。我在Kubernetes环境中使用io.confluent.connect.s3.S3SinkConnector。这是我当前的S3 Sink配置：
kafkaConnectSpec:
class: io.confluent.connect.s3.S3SinkConnector
config:
tasks.max: 1
topics: topic-name
s3.bucket.name: bucket
flush.size: 1
store.url: ht
浏览 10提问于2021-03-19得票数 0
回答已采纳
云服务器
ICP备案
实时音视频
对象存储
即时通信 IM
腾讯云开发者
