2回答
我们有一个运行在AWS上的Kafka服务，并计划使用Athena/S3对我们的分析数据进行长期存储。是否可以将Kafka与AWS Glue服务一起使用，以便从Kafka中读取并存储在s3中？
浏览 1提问于2018-03-12得票数 1
对于我的当前项目，我正在使用Kafka (python)，并想知道是否有任何方法可以将流式Kafka数据发送到AWS S3桶(而不使用汇流)。我从Reddit API获得我的源数据。我甚至想知道Kafka+s3是否是一个很好的组合，用于存储数据，这些数据将使用pyspark进行处理，或者我应该跳过s3步骤，直接从</em
浏览 5提问于2022-08-28得票数 0
1回答
我知道Kafka是用来摄取数据的，但是用它来摄取AWS S3中的数据有意义吗？ 有没有其他方法可以做到这一点，或者在这种情况下使用Kafka会带来什么情况？
浏览 37提问于2020-09-24得票数 0
主要的事情是我想使用CDC方法将Azur SQL连接到confluent kafka，然后我想把数据放到s3中。
浏览 9提问于2019-09-05得票数 0
我有一个名称空间为"ca.gms.api-event-log“的Avro模式。我已经使用此模式将消息序列化为Kafka，成功地向Kafka模式注册表注册了该模式，并使用Kafka连接器将数据以.avro文件的形式发送到亚马逊S3。到目前为止，没有任何问题。我现在正在尝试使用Azure数据工厂将数据从亚马逊网络服务<em
浏览 15提问于2019-12-31得票数 1
1回答
我们在s3桶中有记录(通过作业每天更新)。我们需要听一个卡夫卡流/主题，当一个新事件出现在这个卡夫卡流中时，我们需要更新s3中的特定记录。这个是可能的吗？据我所知，我们需要将s3的数据转储(通过scala代码或其他什么方式)并写入其中。海事组织，这不是一种实用的方法。有什么有效的方法吗？
浏览 8提问于2022-08-22得票数 0
我想使用Kafka将数据从本地流式传输到云(S3)。为此，我需要在源机和云上安装kafka。但我不想把它放在云端。我需要一些S3连接器，通过它我可以与kafka连接，并将数据从本地传输到云。
浏览 1提问于2017-03-29得票数 2
2回答
我使用的是confluent-Kafka和python。我想将Kafka连接到Hdfs，并将一些特定的数据直接存储在Hdfs中。或者有什么替代方法可以将消息直接从Kafka存储到Hdfs？
浏览 1提问于2020-06-08得票数 0
1回答
我是一个卡夫卡初学者，我只是想确认一下我想要实现的潜在管道：
如果我有一个生成JSON数据的web应用程序，我是否需要设置一个序列化器(在应用逻辑本身中)将JSON数据序列化为字节，这样我就可以通过Kafka集群以Kafka流的形式发送它了吗？然后，我希望从流中使用它，将其转换回JSON并将其上传到AWS S3。这是在卡夫卡连接(S3接收器)级别上完成的吗？那么接收器如何将JSON传递给S3呢？它是
浏览 1提问于2021-04-23得票数 0
回答已采纳
1回答
我是Flink的新手，我需要从Kafka读取数据，通过使用一些API并写入S3，有条件地丰富这些数据(如果记录属于X类的话)。但是，我用来丰富的API没有100%的正常运行时间SLA，所以我需要设计一些带有重试逻辑的东西。以下是我找到的选择，选项2)使用另一个主题(称为主题失败)，并在API关闭时将其发布到。我还
浏览 1提问于2020-03-05得票数 0
回答已采纳
目前还不清楚你是否可以像在Flume中那样在Kafka中进行扇出(复制)。
我想让Kafka将数据保存到HDFS或S3，并将该数据的副本发送到Storm进行实时处理。Storm聚合/分析的输出将存储在Cassandra中。我看到一些实现将所有数据从Kafka流向Storm，然后从Storm输出两个数据。但是，我希望消除Storm对原始数据存储的依赖。另外
浏览 2提问于2013-06-23得票数 3
回答已采纳
2回答
在我的应用程序中，我从Kafka队列中获得了一个帐户流(使用Spark streaming和kafka)
我需要从S3获取与这些帐户相关的属性，因此我计划缓存S3结果数据帧，因为S3数据目前至少一天不会更新，它可能很快会更改为1小时或10分钟.So问题是如何在不停止进程的情况下定期刷新缓存的数据帧。**更新:每当S3中有更新时，我计划将事件发布到kafka中，<e
浏览 18提问于2017-07-24得票数 3
我使用将数据从apache复制到AWS S3。对于我们的用例，我们希望将数据从Kafka复制到多个S3桶。一个具有这样的分区策略的S3桶-partitioner.class=io.confluent.connect.storage.partitioner.TimeBasedPartitionerWallclock
loc
浏览 4提问于2020-03-03得票数 0
我使用将数据从apache复制到AWS S3。
问题是，我有AVRO格式的Kafka数据，它没有使用合流模式注册表的Avro序列化程序，而且我不能更改Kafka生产者。因此，我需要从Kafka反序列化现有的Avro数据，然后在AWS S3中以拼花格式保存相同的数据。value.converter=io.confluent.connect.avro.AvroConv
浏览 1提问于2020-01-14得票数 1
回答已采纳
因此，当浏览集群时，我发现S3是一种数据存储设备。EC2是一种计算服务，但无法理解它的真正用途。我的HDFS会在S3中提供吗？如果是的话，当我学习hive时，我遇到了将数据从HDFS移动到S3的情况，这是一个归档逻辑。hadoop distcp /data/log_messages/2011/12/02 s3n://ourbucket/logs/2011/12/
浏览 4提问于2015-05-08得票数 0
回答已采纳
任何人都可以帮助我消耗连续数据中的数据，这些数据正在被流式传输。在snowflake连接器中应该为主题提供什么？
因为我能够使用所需的主题名称通过单个表数据填充数据。但我有捕获连续数据流到表中的要求。
浏览 0提问于2021-10-07得票数 5
当一个文件被写入到MS SQL Server中的表中时，我希望通过Kafka s3连接器将其写入/传输到Minio bucket。可以通过Kafka实现吗？
浏览 2提问于2020-05-15得票数 0
云服务器
ICP备案
实时音视频
对象存储
即时通信 IM
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号