我使用kafka-connect镜像confluentinc/cp-kafka-connect已经有一段时间了。然而,我尝试将confluentinc/cp-kafka-connect更新到最新的v6.0.1,现在我得到了错误。: confluentinc/cp-kafka-connect:5.4.1 #using old version because of breaking change
hostname: <em
(ElasticsearchSinkTask.java:126) at org.apache.kafka.connect.runtime.WorkerSinkTask$HandleRebalance.onPartitionsAssigned(at org.apache.kafka.connect.runtime.Wor
我在Kafka中有主题是以Avro格式存储的。我想消费整个主题(在收到时不会更改任何消息),并将其转换为Parquet,直接保存在S3上。我目前是这样做的,但它要求我一次使用一个来自Kafka的消息,并在本地机器上进行处理,将它们转换为拼图文件,一旦使用完整个主题并完全写入拼图文件,就关闭编写过程,然后启动一个S3多部分文件上传。或者简称为| Avro in Kafka -> convert to parquet on local -> copy file to S3 |。我想要做的是| Avro in Kafka</e