如何通过kafka连接器将avro文件移动到kafka？
通过Kafka连接器将Avro文件移动到Kafka可以通过以下步骤完成：
- 确保已安装并配置好Kafka和Kafka Connect。Kafka Connect是Kafka的一个组件，用于连接外部系统和Kafka。
- 创建一个配置文件，指定Kafka Connect的配置信息。配置文件可以是JSON或者properties格式。配置文件中需要指定Kafka Connect的工作模式、Kafka集群的地址、连接器的类名等信息。
- 在配置文件中配置Avro文件的源和Kafka的目标。指定Avro文件的路径、格式、schema等信息，并指定Kafka的topic和其他相关配置。
- 启动Kafka Connect，并指定配置文件的路径。Kafka Connect会读取配置文件并根据配置信息启动相应的连接器。
- Kafka Connect会监控Avro文件的变化，并将文件中的数据写入到指定的Kafka topic中。如果Avro文件发生变化，Kafka Connect会自动将新的数据写入到Kafka中。
推荐的腾讯云相关产品是腾讯云消息队列 CKafka。CKafka是腾讯云提供的分布式消息队列服务，基于Kafka架构，具有高可靠、高吞吐、低延迟等特点。您可以使用CKafka作为Kafka集群，通过CKafka连接器将Avro文件移动到CKafka中。
更多关于腾讯云消息队列 CKafka的信息和产品介绍，请访问腾讯云官方网站：CKafka产品介绍。
相关·内容
我正在使用最新版本的S3 Sink连接器(v10.0.5)，并启用了kafka.keys和kafka.headers，但只创建了值文件。下面是我们配置的副本：
connector.class=io.confluent.connect.s3.S3SinkConnector
format.class=io.confluent.connect.s3.format.avro.AvroFormat
errors.log.include.messages=true
s3.region=eu-west-1
flush.size=1
tasks.max=1
errors.log.enable=true
s3.
浏览 8提问于2022-03-04得票数 1
回答已采纳
我找到了CSV Source Connector，它可以监控目录中的文件，并将它们作为CSV读取。是否有适用于Avro文件的avro源连接器？如果不是，有什么建议通过Kafka连接读取AVRO文件到Kafka吗？
浏览 15提问于2019-08-22得票数 1
回答已采纳
1回答
我们正在编写一个自定义接收器连接器，用于将带有avro消息的主题的内容写入CEPH存储。
为此，我们提供了一个SinkRecords，它有一个Kafka模式，它是我们的avro模式的映射版本。因为我们想要将Avro写到CEPH，所以我们使用connect API方法将Connect模式转换回avro。我们为什么要这么做？引入Kafka连接模式和不使用更常用的Avro模式有什么好处？
FYI:我这么问是因为我们和Avro工会有一些问题。它们对卡夫卡连接模式的映射仍然存在一些问题，例如
浏览 2提问于2017-09-19得票数 5
回答已采纳
我有以下kafka连接器配置：
{
"name": "some-topic-connector",
"config": {
"connector.class": "io.confluent.connect.hdfs.HdfsSinkConnector",
"tasks.max": "1",
"topics": "some-topic",
"hdfs.url": "hdfs://hadoop
浏览 0提问于2020-09-04得票数 0
我们正在努力将Apache Storm与Kafka的Confluent框架集成在一起。我们正在使用名为"Pyleus“的storm的python包装器
我们设置了一个Confluent-Kafka JDBC连接器来监视数据库表，每当DB中发生变化时，新记录就会以Avro格式作为Kafka消息发送。
在Pyleus bolt中，我们能够获得Kafka消息，但是，我们不能将其反序列化为JSON。
我们使用了两个名为"avro_json_serializer“和"avro”的python-Avro模块。当我尝试反序列化我放在一起的简单Avro文件时，它们会起作用。
Kafka
浏览 1提问于2016-03-01得票数 0
我想使用kafka FileStreamSourceConnector将本地的avro文件写成一个主题。
我的连接器配置如下所示：
curl -i -X PUT -H "Content-Type:application/json" http://localhost:8083/connectors/file_source_connector/config \
-d '{
"connector.class": "org.apache.kafka.connect.file.FileStreamSourc
浏览 5提问于2021-03-26得票数 2
1回答
我已经使用kafka- s3 s3接收器连接器将一些avro消息从主题上传到亚马逊连接桶(假设s3-bucket )。接收器连接器的配置如下： {
"connector.class": "io.confluent.connect.s3.S3SinkConnector",
"key.converter": "org.apache.kafka.connect.converters.LongConverter",
"value.converter": "io.co
浏览 52提问于2020-07-05得票数 2
我需要将MySQL数据库复制到PostgreSQL数据库。我选择了：
Debezium连接
Avro格式
合流模式注册表
卡夫卡
数据正在被复制，但是，我正在丢失一些模式信息。例如，在Postgres中将具有mysql格式的datetime格式的列复制为bigint，没有创建外键，也没有保留列的顺序(这很好)，等等。
PostgreSQL接收器连接器：
{
"name": "jdbc-sink-dbt",
"config": {
"connector.class": "
浏览 1提问于2022-01-14得票数 0
回答已采纳
我尝试使用最新的kafka (汇合平台-2.11)连接Json到s3。我在format.class=io.confluent.connect.s3.format.json.JsonFormat文件中设置了quickstart-s3.properties
和负载连接器：
~$ confluent load s3-sink { "name": "s3-sink", "config": {
"connector.class": "io.confluent.connect.s3.S3SinkConnector&#
浏览 1提问于2018-01-14得票数 1
回答已采纳
我正在尝试生成Confluent的Kafka虚拟数据生成器消息给Elasticsearch：
datagen (从获取的avro文件)的初始化：
./bin/ksql-datagen schema=~/impressions.avro bootstrap-server=host009:9092 format=json key=impressionid topic=impressions2 maxInterval=1000
连接器的初始化
./bin/connect-standalone ./etc/schema-registry/connect-avro-standalone.properti
浏览 0提问于2018-11-01得票数 0
回答已采纳
1回答
我需要将消息接收到我的BigQuery表，我想知道使用这些消息的最佳方式是什么。我在AWS的Kafka服务器会生成AVRO消息，根据我所看到的，Dataflow需要接收JSON格式的消息。因此，我搜索并找到了一篇文章，解释了如何向PubSub接收消息，但在PubSub上，我只看到在这种体系结构中，他们在GCP上创建了一个Kafka来生成消息。我需要知道的是：
可以从外部的Kafka服务器在PubSub上接收AVRO消息，然后使用messages反序列化消息，将其发送到Dataflow，并最终将其发送到BigQuery表？
还是我需要创建一个Kafka并使用它来使用来自外部服务器
浏览 1提问于2021-04-27得票数 3
回答已采纳
我使用的是带有查询模式的jdbc源连接器，似乎没有指定表名的情况下，在模式注册表中为记录键和记录值注册的模式具有空的模式名称，并被分配了默认名称"ConnectDefault“，如Confluent的AvroData类中所定义的那样
当使用生成的avro源代码和SpecificAvroSerde运行Kafka Streams应用程序时，我收到以下错误：
Exception in thread "streams-app-6e39ebfd-db14-49bc-834f-afaf108a6d25-StreamThread-1" org.apache.kafka.streams
浏览 4提问于2017-11-03得票数 2
为了测试目的，我们需要从Kafka主题导出生产数据:数据是用Avro编写的，模式被放在schema注册表中。
我们尝试了以下策略：
将kafka-console-consumer与StringDeserializer或BinaryDeserializer结合使用。我们无法获得一个可以用Java解析的文件:解析它时总是会有异常，这表明文件格式错误。
使用kafka-avro-console-consumer：它生成一个json，其中也包含一些字节，例如在反序列化BigDecimal时。我们甚至不知道要选择哪个解析选项(不是avro，不是json)
其他不适当的战略：
部署一个
浏览 0提问于2018-03-03得票数 1
我正在使用SAP HANA源连接器"connector.class":"com.sap.kafka.connect.source.hana.HANASourceConnector"将数据导入kafka主题。 我想为连接器创建的avro模式提供服装名称/命名空间。因此，我使用了SetSchemaMetadata函数来转换模式名称。 下面是我的连接器配置示例： "key.converter.schemas.enable": true,
"key.converter": "io.confluent.connect.avro
浏览 11提问于2020-12-16得票数 1
回答已采纳
我设置了一个Kafka接收器来将事件发送到PostgreSQL。我编写了这个简单的生成器，它向主题发送带有模式(avro)数据的JSON，如下所示：
producer.py (kafka-python)
biometrics = {
"heartbeat": self.pulse, # integer
"oxygen": self.oxygen,# integer
"temprature": self.temprature, # float
"time": time
浏览 2提问于2021-02-14得票数 0
回答已采纳
1回答
汇合式HDFS连接器
、、、、
我想把kafka日志文件移到hadoop日志文件。所以我按照HDFS连接器的配置
/quickstart-hdfs.properties
name=hdfs-sink
connector.class=io.confluent.connect.hdfs.HdfsSinkConnector
tasks.max=1
topics=kafka_log_test
hdfs.url=hdfs://10.100.216.60:9000
flush.size=100000
hive.integration=true
hive.metastore.uris=thrift://localhos
浏览 1提问于2017-06-10得票数 1
我已经在AWS上建立了一个合流平台。我的源是MySql，我使用debezium连接器将其连接到Kafka connect。来自源的数据格式为JSON。现在在KSQL中，我已经创建了一个派生主题，并将JSON主题转换为AVRO，以便可以使用JDBC连接器将数据转换到MYSQL。我使用了以下查询：
CREATE STREAM json_stream (userId int, auth_id varchar, email varchar) WITH (KAFKA_TOPIC='test', VALUE_FORMAT='JSON');
派生主题：
create TABL
浏览 26提问于2019-07-10得票数 0
我正在尝试使用Kafka Connect和kafka-connect-twitter在Github的jcustenborder中将Twitter推文引入Kafka。说明书上写着： mvn clean package
export CLASSPATH="$(find target/ -type f -name '*.jar'| grep '\-package' | tr '\n' ':')"
$CONFLUENT_HOME/bin/connect-standalone connect/connect-avro-do
浏览 47提问于2021-11-12得票数 0
回答已采纳
1回答
我有一个系统将Avro数据推入到多个Kafka主题中。
我想把这些数据推给HDFS。我遇到了合流，但不知道如何在不启动kafka-avro-console-producer的情况下将数据发送到HDFS。
我执行的步骤：
我有自己的Kafka和ZooKeeper运行，所以我只是启动模式注册汇合。
在更改主题名称之后，我启动了kafka-connect-hdfs。这一步骤也是成功的。它能够连接到HDFS。
在此之后，我开始将数据推送给Kafka，但是消息并没有被推送到HDFS。
请帮帮忙。我刚开始合流。
浏览 2提问于2017-01-20得票数 1
1回答
我使用汇合JDBC连接器连接到postgres数据库，以检索更改并将它们放在kafka主题中。现在，我想使用spring引导使用者来使用这些消息。这些消息都是AVRO格式的。我从连接器中获得了模式，并使用avro maven插件为它生成了一个POJO类。
但是，当侦听器启动时，只有以下错误
java.lang.IllegalStateException: This error handler cannot process 'SerializationException's directly; please consider configuring an 'Erro
浏览 1提问于2021-06-18得票数 1
回答已采纳
我目前有两个单独的模式注册表链接 1) https://schema.dev/subjects/session-value/versions (original)
2) https://schema.dev/subjects/reservation-io.models.avro.Reservation/versions (new) 我有两个工作者和连接器，我部署了两个工作者，因为数据库中使用了不同的主题。 我读到，如果需要，我们可以使用value.converter.value.subject.name.strategy=io.confluent.kafka.serializers.subj
浏览 39提问于2021-10-29得票数 1
1回答
我有一个应用程序，它周期性地用原始JSON生成一系列消息。我可以用Avro工具把它转换成avro。我这样做是因为由于Kafka接收器的限制，我需要消息包含模式。我可以在notepad++上打开这个文件，并看到它包括模式和几行数据。
现在，我想将它发送给我的中心Kafka代理，然后使用Kafka接收器将数据放入数据库。我很难理解我应该如何将这些阿夫罗文件发送给我的卡夫卡经纪人。我是否需要一个模式注册表来实现我的目的？我相信Kafkacat不支持Avro，所以我想我必须坚持卡夫卡-生产者. so的卡夫卡安装(请纠正我，如果我错了)。
问题是:能否有人分享步骤，以生产我的Avro文件给一个卡夫卡经纪
浏览 3提问于2021-03-31得票数 0
回答已采纳
我对Kafka完全陌生，并且一直在尝试使用一些基本的用例。
我想要实现什么？将数据从Oracle中的表加载到Kafka主题中。(使用基于查询的CDC)
目标:当我从主题中读取数据时，获得正确的日期格式。
date列的数据将作为纪元传入。我在连接器配置中包含了时间戳转换步骤，以便将其转换为dd-MM-yyyy hh:mm:ss格式，但无法使其正常工作。
下面是我在连接器配置中的配置。我尝试了几种格式的组合，将目标类型更改为字符串，但我仍然看到了纪元的值。
"incrementing.column.name": "MD_LOAD_NUMBER"
浏览 1提问于2020-06-08得票数 1
我试图使用Kafka连接MongoDB连接器向MongoDB编写一些文档。我成功地设置了所需的所有组件并启动了连接器，但是当我使用Kafka -avro-控制台-生产者向Kafka发送消息时，Kafka connector给了我以下错误：
org.apache.kafka.connect.errors.DataException: Error: `operationType` field is doc is missing.
我尝试将这个字段添加到消息中，但是kafka要求我包含一个documentKey字段。看起来，除了在我的模式中定义的有效负载之外，我还需要包括一些额外的字段，但是我找不到
浏览 7提问于2022-09-02得票数 0
我有一个名称空间为"ca.gms.api-event-log“的Avro模式。我已经使用此模式将消息序列化为Kafka，成功地向Kafka模式注册表注册了该模式，并使用Kafka连接器将数据以.avro文件的形式发送到亚马逊S3。到目前为止，没有任何问题。 我现在正在尝试使用Azure数据工厂将数据从亚马逊网络服务S3复制到Azure，但它抱怨以下问题： 无法反序列化Avro源文件'topics/api-event-log/partition=0/api-event-log+0+0000000000.avro'.这可能是由无效的Avro数据引起的。请检查数据，然后重试
浏览 15提问于2019-12-31得票数 1
1回答
我试图使用Kafka从DB2读取数据，然后将其写入HDFS。我使用分布式汇流平台和标准的JDBC和HDFS连接器。由于HDFS连接器需要知道模式，所以它需要avro数据作为输入。因此，我必须为输入到Kafka的数据指定以下avro转换器(in etc/kafka/connect Distributed.properties)：
key.converter=io.confluent.connect.avro.AvroConverter
key.converter.schema.registry.url=http://localhost:8081
value.converter=io.conflu
浏览 0提问于2018-09-27得票数 0
1回答
我已经创建了一个连接器来处理Avro数据。我能够将数据发布到一个主题中。但我不会将数据输入到输出主题中。我已经检查了连接器和rest代理的日志，没有显示错误。
{
"name": "sink-elastic_avro_2_topic",
"config": {
"connector.class": "io.confluent.connect.http.HttpSinkConnector",
"headers": "Content-Type:ap
浏览 7提问于2022-04-01得票数 0
我想消费来自Kafka的事件，这是在Protobuf，并写到GCS与Apache Camel Kafka连接器。我使用Protobuf转换器，因此事件同时具有值和模式。
我是否有可能以Avro格式(带有模式的GenericDatumWriter)将这些事件写入Google？
我还想将事件分批到更大的文件中。
我无法找到在Avro中编写文件的例子，任何指导都将不胜感激！
干杯!
浏览 5提问于2021-12-10得票数 1
创建Kafka JdbcSinkConnector时出错(我的任务是将数据从Kafka主题传输到Postgres表)：
导致: org.apache.kafka.common.errors.SerializationException:错误反序列化id -1的Avro消息
身份证是什么意思？
连接器设置：
{
"name": "MVM Test",
"connector.class": "io.confluent.connect.jdbc.JdbcSinkConnector",
"key.convert
浏览 3提问于2020-01-21得票数 0
回答已采纳
1回答
我正在学习关于kafka连接的教程，我想知道是否有可能接收某种类的消息。
教程：
与本教程中提供的表一样，模式如下所示：
{
"namespace": "avro",
"type": "record",
"name": "Audit",
"fields": [
{"name": "c1", "type": "int"},
{"name": "c2&#
浏览 4提问于2019-12-16得票数 1
1回答
我将avro模式与模式一起使用 {
"namespace": "me.escoffier.quarkus",
"type": "record",
"name": "Footballer",
"fields": [
{
"name": "id",
"type": ["null", "string"],
"default":
浏览 22提问于2021-07-14得票数 1
我们使用Kafka从Oracle数据源中摄取数据，并以AVRO格式写入HDFS。在Kafka模式注册表中，其中一个数据源的模式如下所示：
{
"type": "record",
"name": "ConnectDefault",
"namespace": "io.confluent.connect.avro",
"fields": [
{
"name": "ID",
"type": [
浏览 4提问于2019-10-23得票数 0
我有一个环境，我使用了一个Kafka工作人员，它消耗了一些来自甲骨文DataBase的数据，然后在Avro格式上以Kafka格式推送它。
现在，我需要创建一个Kafka来使用这条AVRO消息，将它转换为Json，然后在Redis DataBase上编写它。
到目前为止，我只能在Redis上写我从主题中使用的AVRO消息。我试过使用转换器，但我可能误解了它的用法。
下垂我的配置工人和水槽。
{
"name": "SOURCE",
"config": {
"connector.class": "
浏览 5提问于2021-06-24得票数 0
回答已采纳
当我们通过KSQL创建AVRO消息并尝试使用Kafka来使用它们时，会发生一些奇怪的事情。有一点背景：
源数据第三方提供商正在我们的一个卡夫卡集群上生成数据，作为JSON (到目前为止，非常好)。我们确实看到数据进来了。
Data transforms 由于我们的内部系统需要用AVRO编码数据，我们创建了一个KSQL集群，通过在KSQL中创建以下流将传入的数据转换为AVRO：
{
"ksql": "
CREATE STREAM src_stream (browser_name VARCHAR)
WITH (KAFKA_TOPIC=
浏览 1提问于2019-10-31得票数 0
回答已采纳
1回答
在尝试使用主题中的Avro消息并将它们转储到postgres时，我得到了反序列化avro消息的错误。
下面是我的生产者配置：
启动服务器: localhost:9092键序列化程序: io.confluent.kafka.serializers.KafkaAvroSerializer值-序列化程序: io.confluent.kafka.serializers.KafkaAvroSerializer属性: schema.registry.url：
接收器-连接器配置：
"io.confluent.connect.jdbc.JdbcSinkConnector"，{ {
浏览 3提问于2020-01-16得票数 1
我想将发送到主题的数据发送到postgresql-数据库。因此，我遵循并配置了这样的属性-文件：
name=transaction-sink
connector.class=io.confluent.connect.jdbc.JdbcSinkConnector
tasks.max=1
topics=transactions
connection.url=jdbc:postgresql://localhost:5432/db
connection.user=db-user
connection.password=
auto.create=true
insert.mode=insert
table
浏览 0提问于2019-07-04得票数 0
回答已采纳
1回答
我是apache环境的新手，它有一些让我很好奇的东西。我的kafka是通过ambari安装的。所以一切都可以通过ambari的GUI启动。当kafka通过ambari安装时，它包含kafka-connect。但是如果没有包含我需要的连接器怎么办？下面是一些包含的连接器。 /etc/kafka-connect-activemq
/etc/kafka-connect-elasticsearch
/etc/kafka-connect-ibmmq
/etc/kafka-connect-jdbc
/etc/kafka-connect-jms
/etc/kafka-connect-replicator
浏览 13提问于2020-06-12得票数 0
回答已采纳
1回答
是否可以将Kafka的HDFS连接器配置为将几个单独的主题写入一个文件中？
这些主题将包含具有相同avro模式的消息，我希望KafkaConnect充当这些Kafka主题和HDFS之间的中介。在最坏的情况下，主题内容可以在编写到HDFS之后结合起来，但是我觉得使用HDFS连接器应该是一种更干净、更快捷的方法。
浏览 3提问于2016-08-31得票数 1
回答已采纳
我已经使用汇合HDFS连接器将数据从Kafka主题移动到HDFS日志文件。但是当我运行这些命令时：
./bin/connect独立的etc/schema-registry/connect-avro-standalone.properties \ etc/kafka-connect-hdfs/quickstart-hdfs.properties
我要跟着错误走。我怎样才能解决这个问题。原因是什么？
由: org.apache.kafka.common.errors.SerializationException:错误反序列化id -1的Avro消息引起的: org.apache.kafk
浏览 3提问于2017-06-03得票数 1
回答已采纳
VoltDB的Kafka连接器支持读取avro消息吗?下面是我配置连接器的尝试吗？
{
"name":"KafkaSinkConnector",
"config":{
"connector.class":"org.voltdb.connect.kafka.KafkaSinkConnector",
"tasks.max":"1",
"voltdb.servers":"node1:21212,node2:21212,
浏览 1提问于2018-10-02得票数 0
卡夫卡连接连接器：
我手动安装到卡夫卡连接码头形象的/opt/kafka/plugins。我的目的是使用卡夫卡连接写阿夫罗记录从卡夫卡主题到S3。
在运行时，使用Kafka Connect，我得到了错误：
ERROR Stopping due to error (org.apache.kafka.connect.cli.ConnectDistributed) [main]
org.apache.kafka.common.config.ConfigException: Invalid value io.confluent.connect.avro.AvroConverter for confi
浏览 9提问于2022-05-31得票数 0
回答已采纳
我们使用连接到Kafka的S3接收器连接器，并将数据加载到S3 buckets.Now --我希望使用Copy命令将数据从S3存储桶加载到are，因为我正在创建自己的自定义connector.Use情况--我希望以同步方式加载通过S3创建的数据到Redshift，下一次S3连接器应该替换现有文件，并再次将数据加载到S3。我如何才能使用融合卡夫卡连接，或我的其他更好的方法来完成同样的任务？提前谢谢！
浏览 0提问于2018-08-17得票数 0
回答已采纳
from kafka import KafkaConsumer
import json
import io
if __name__ == '__main__':
# consumer = KafkaConsumer(
# 'ldt_lm_mytable',
# bootstrap_servers = 'localhost:9092',
# auto_offset_reset = 'earliest',
# group_id = 'consumer_group_a&#
浏览 39提问于2021-01-27得票数 0
回答已采纳
我已经开始研究apache，很少有关于apache的模式的查询。我想了解apache如何处理具有AVRO模式的Kafka主题(模式包括嵌套对象、对象数组等)因为我没有找到任何资源或例子，说明我们如何使用带有avro模式的Kafka注入数据。
根据我的理解，apache必须为嵌套的Json对象提供平面模式或其他选项，我们可以使用transform函数。有什么卡夫卡连接的皮诺做数据注入吗？
Avro模式
{
"namespace" : "my.avro.ns",
"name": "MyRecord",
"type&
浏览 1提问于2021-05-21得票数 0
我正在尝试窗口一个数据流，对于每个窗口，我需要该窗口中的值列表，并为此创建了一个自定义的avro，其中包含一个字段records，它是一个Input列表。聚合函数有Materialized部分，因为我有问题。
KStream<String, Input> windowedStream = timestampFilteredStream
.groupByKey()
.windowedBy(TimeWindows.of(Duration.ofSeconds(10)).grace(Duration.ofSeconds(5)))
浏览 0提问于2019-04-16得票数 0
回答已采纳
1回答
我正在使用一个Kafka连接器，它从Kafka主题中读取数据，并将数据放入目标数据库(在我的示例中是Neo4j实例)中，.The消息需要严格按顺序处理，因为它们不是幂等的。我的问题是，如果由于某种原因出现异常，例如: 1.数据库关闭，2.数据库连接丢失，3.模式解析失败，我们如何重新处理消息？
据我所知，我们可以使用error.tolerance=none配置运行，并将失败消息重定向到死信队列。但我的问题是，我们有什么办法可以再次处理选定的信息吗？此外，是否有任何审核机制来跟踪处理了多少消息，从给定的偏移量中寻找消息(没有手动偏移复位)。
下面是我的连接器配置。还建议，除了kafka连接器之外
浏览 8提问于2022-07-11得票数 3
我的目标是我有春季引导应用程序kafka生产者和 Avro 序列化属性，并且我排除了以下消息:通过汇合Sink连接器访问并插入到mysql/Oracle数据库表中的相应主题，能够生成Avro序列化和spring引导使用者可以反序列化，但我的Sink连接器无法工作，我无法捕捉到接收器连接器正在例外的是什么类型，以及应该如何使用spring引导生成器来推送消息，这样连接器就可以与该属性一起使用cop。
(预先谢谢:)
这是spring引导应用程序中的application.yml。
server:
port: 9000
spring.kafka:
bootstrap-se
浏览 0提问于2019-04-24得票数 0
这就是我的码头撰写yaml的样子：
---
version: '2'
services:
zookeeper:
image: confluentinc/cp-zookeeper:6.1.0
container_name: zookeeper
environment:
ZOOKEEPER_CLIENT_PORT: 2181
ZOOKEEPER_TICK_TIME: 2000
broker:
image: confluentinc/cp-kafka:6.1.0
container_name: broker
浏览 9提问于2022-08-15得票数 1
I有一些数据存储在postgres表中。每行都有使用Avro序列化的数据。，我已经创建了一个卡夫卡连接源连接器，它读取行并将它们发送到具有相同Avro架构的主题。这个主题的confluent_value_schema_validation是正确的，这个操作很好，但是如果我在postgres表中插入一条毒丸消息，那么连接器就会拒绝向前移动。一种解决方案是手动干预以向前移动偏移量，从而跳过坏消息。另一种解决方案是将confluent_value_schema_validation设置为false，以便可以将任何消息添加到我的主题中。我尝试了下面的内容，但什么也没有发生。
"errors.t
浏览 3提问于2021-01-14得票数 1
回答已采纳
2回答
我正在编写一个Kafka连接器，以便从Github上的多个来源下载一些数据(文本和yaml文件)，并将它们转换为某个类的对象，这些对象是从avsc文件自动生成的： {
"type": "record",
"name": "MatomoRecord",
"fields": [
{"name": "name", "type": "string"},
{"name": "type", "t
浏览 11提问于2019-06-04得票数 1
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM活动推荐
腾讯云开发者
