1回答
我已经使用kafka- s3 s3接收器连接器将一些avro消息从主题上传到亚马逊连接桶(假设s3-bucket )。接收器连接器的配置如下： { "key.converterio.confluent.connect.storage.partitioner.Defau
浏览 52提问于2020-07-05得票数 2
2回答
基于并行度管理的Kafka流容错
、、、、
KafkaStream将使用这些事件作为终端操作，并将事件集中在一起，比如1000个事件，并将其写入AWS S3。问题 :：我需要一种机制，这样我就可以确定在事件成功写入S3文件之前最后的偏移量是什
浏览 4提问于2020-11-23得票数 0
2回答
卡夫卡S3源连接器
、、、
我有一个要求，在应用程序之外的源将把一个文件放在一个S3桶中，我们必须在一个kafka主题中加载该文件。我正在查看Confluent的S3源连接器，目前正在定义用于在我们的环境中设置连接器的配置。但是，有几篇文章指出，只有在使用S3 Sink连接器将文件放到S3中时，才能使用S3源连接器。
上面说的是真的吗？在配置中使用哪个属性来定义输出主题？当
浏览 2提问于2020-11-13得票数 2
回答已采纳
现在我正在尝试从mqtt消息连接到kafka (实际上是kafka中的spark streaming )和Spark-2.1.0，Kafka - 0.10.1.1
如下所示的Spark
浏览 18提问于2017-02-11得票数 0
回答已采纳
我正在努力建立一个卡夫卡连接分布式模式应用程序，这将是一个卡夫卡到S3管道。根据文档，offset.storage.topic配置将是分布式模式应用程序用于存储偏移信息的位置。考虑到卡夫卡如何在“新”卡夫卡中存储消费者补偿，这是有意义的。这与我所期望的连接器的工作和行为一样。此外，当我停止连接器并启动连接器时，应用程序会记住主题中的状态，并且没有数据复制。topic connect-offsets --from-beginningPro
浏览 9提问于2017-01-05得票数 2
我认为这个连接器会轮询s3的文件列表--但是它是否保持状态，说明它处理了哪些文件，哪些文件是新的？如果它存储状态，那么状态存储在哪里？
浏览 2提问于2021-04-06得票数 1
回答已采纳
我使用Kafka连接器作为源连接器。该文档提供了一种使用REST API管理的方法。
如果kafka-connector已经启动并运行，并且我们尝试创建一个新的连接器(实例)，那么这是可行的。是否可以使用kafka- FileConfigProvider提供的连接，或者通过外部化configProvider？
浏览 0提问于2020-06-16得票数 0
我已经在windows的docker上安装了kafka，它的运行方式如下面的截图所示，我已经使用这个链接安装了“亚马逊S3源连接器”。我的问题是：ii)如何检查S3源连接器是否已安装属性(我指的是位置或CLI.)
iii)和link还指定创建和使用“quickstart-s3soure.properties
浏览 1提问于2021-04-24得票数 0
我正在开发一个Kafka-连接器，它订阅一个主题，转换消息，将转换后的消息推回另一个主题。我相信这是一个常见的用例，连接器既是源也是接收器。
浏览 4提问于2016-11-14得票数 0
回答已采纳
我正在将Kafka连接器从ECS集群迁移到运行在Kubernetes上的新集群。通过删除Postgres源连接器并在精确的复制槽上重新创建它们，我成功地迁移了Postgres源连接器。旧集群中的S3连接器继续读取这些数据，并将记录写入S3。一切照常运作。
但是现在要移动AWS s3接收器连接器，我首先在新集群中创建了一个非关键的s3连接器，其名称与旧集群中的名称相同。令我惊讶的是，
浏览 8提问于2022-05-16得票数 0
回答已采纳
我有一个安装了多个连接器的分布式Kafka Connect (6.x)集群。键和值转换器设置为org.apache.kafka.connect.json.JsonConverter。对于其中一个连接器( S3接收器)，我需要在没有模式的情况下使用事件，因此在集群配置中将schemas.enable属性设置为false：key.converter.schemas.enable=False对于其他的(Debezium MySql源连接器)，我需要在事件中添加模式，因此属性应该为真。我知道it
浏览 62提问于2021-01-20得票数 0
回答已采纳
据我所知，S3源连接器只适用于与S3接收器连接器一起上传的对象。我还知道有一个假脱机连接器可以从本地目录读取.csv文件。
但是，如何从.csv桶中读取S3文件呢？还是说这不现实？
浏览 7提问于2020-08-07得票数 0
我正试图使用AWS AppFlow来吞食谷歌广告、和AWS S3。虽然我已经成功地使用GoogleAds连接器创建了连接，但我无法将数据摄取到S3。步骤2:配置源和目标。最近创建的Google连接被选择为源，AWS S3桶作为目的地。流触发器设置为“按需运行”( )我遵循了来自的所有步骤
在与连接器通信时检索字段错误时发生错误:请求失败，因为ServiceS
浏览 16提问于2022-08-03得票数 1
回答已采纳
1回答
我已经用3台EC2机器创建了kafka连接集群，并在每台机器上启动了3个连接器( debezium-postgres源)，从postgres源读取不同的表集。在其中一台机器中，我也启动了s3接收器连接器。因此，来自postgres的更改数据通过源连接器(3)被移动到kafka broker (3)，S3接收器连接器使用这些消息并将它们推送到S3桶中。集群运行良好，连接器也是如此。当
浏览 13提问于2022-02-21得票数 0
我通过包共享安装了AEM的S3连接器(COM.ADOBE.GRANITE.OAK.S3CONNECTOR)，现在我的AEM实例被块化了。
浏览 0提问于2017-04-06得票数 2
回答已采纳
1回答
我选择了Kafka作为消息传递的媒介，并考虑将Kafka- MQ -Connects用于MQ集成。
专业人士。-可以扩展到新的后端，而无需接触现有的连接器。
专业人士。-几乎没有需要维护的主题和连接器
浏览 0提问于2019-07-19得票数 2
Kafka S3源连接器在读取S3桶时抛出以下异常：我运行卡夫卡连接出这个图像：confluentinc/cp-kafka-connect-base我的源连接器配置如下： &q
浏览 18提问于2022-06-20得票数 0
我刚刚通过参考合流中的步骤配置了一个Kafka独立连接器。卡夫卡连接器的工作是同步文件- test.txt的数据.如果我更新test.txt中的任何内容，它不会被自动推送到主题连接测试，而如果我重新启动连接器，来自test.txt的更新消息将被检测到并被推送到主题连接测试中因此，我的疑问是，我是否必须安排这个连接器来检测更改，还是它在内部根据某个时间间隔自动完成这项工作。
浏览 0提问于2019-03-10得票数 1
回答已采纳
1回答
我查看了文档并验证了h设置是相同的，但仍然面临着问题。
无法连接到kafka-连接javax。配置错误的主题=_confluent-度量配置=min.insync.replicas值=2预期=1
浏览 0提问于2019-09-04得票数 1
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
