我有来自不同生产者的数据进入Kinesis streams。根据数据的类型，需要将数据转换为几个不同的表。我正在尝试从Kinesis Streams中读取Lambda，将数据转换到不同的表中，然后使用Kinesis Firehose批量和复制到Redshift中。但是，由于Firehose一次只能发送到一个Redhsift表，因此我需要运行多个Firehose实例，使其与我的Redshift方案中的表数相等。我看到每个区域有20个<e
浏览 3提问于2017-09-15得票数 2
Kinesis Firehose以及Kinesis Streams用于根据AWS博客中提到的详细信息加载流数据。在Firehose的情况下，没有分片或维护的概念。在这种情况下，Kinesis Firehose是Kinesis Streams的替代品吗？
浏览 0提问于2017-10-15得票数 3
我的要求是，我需要自动将AWS cloudwatch日志发送到AWS redshift。可以通过Lambda脚本实现吗？有没有其他可用的选项？
浏览 2提问于2018-01-18得票数 1
我给s3和redshift发了个火龙带传送流。虽然我想继续将数据放到s3，但我想暂时停止向redshift发送数据。其中一个技巧是更改数据库表名。但这并不是很复杂，因为仍在发出请求。我想知道是否有其他方法可以停止向redshift发送数据。
浏览 11提问于2017-12-20得票数 0
回答已采纳
我正在使用Scala雪地收集器收集数据并将其路由到Amazon Kinesis。stored in the good stream/topic # enabled = stdout
region= us-east-1
#
浏览 10提问于2018-01-17得票数 3
回答已采纳
1回答
从下面这个问题开始，我创建了一个DynamoDB表(购买销售)，并添加了DynamoDB流。然后，我配置了Lambda函数以拾取DynamoDB流。我的问题是如何配置Kinesis来获取Lambda函数源？我知道如何配置Lambda转换，但是我想作为源代码来选择。不确定如何配置下面的Direct源代码。
浏览 1提问于2018-06-11得票数 0
回答已采纳
2回答
我正在尝试建立AWS Aurora和Redshift之间的同步。实现这种同步的最佳方法是什么？同步的可能方法可以是：-
为了查找表中的更改(因为我只做插入，更新并不重要)，将这些更改导出到S3桶中的平面文件中，并使用Redshift copy命令插入到Redshift中。使用和Boto3将更改发布到一个Kinesis流中，然后在Firehose中使用这个流，在那里我可以直接复制到Redshift。使用Kinesis检测binlog中的更改(是否可以使用Kin
浏览 8提问于2017-06-16得票数 6
回答已采纳
我们正在使用Kinesis Firehose将数据推送到s3和Redshift。我们在s3中推送整个对象，并且只将字段的一个子集推送到红移。下面是我们当前正在推送到Firehose的对象的一个示例。，但我们也希望将arr字段推送到红移。我们考虑的第一个选择是使用新的超级类型，但我没有找到任何关于如何将超级类型对象从firehose推送到redshift的文档。第二种选择(在我们的例子中是首选的)是在
浏览 24提问于2021-04-29得票数 1
我正在尝试创建一个Lambda函数，它将连接到RedShift：var conString = 'postgresql://username:Passwordpg.Client(conString); console.log('could not connect to redshift
浏览 3提问于2016-05-25得票数 4
1回答
我有带有多个嵌套json (UDTs)的记录，基于这些记录，Redshift中有多个表:1用于主JSON，其他用于嵌套json。现在，这些输入记录需要从Kinesis Firehose保存到Redshift。当将Redshift配置为目的时，只有一个选项可以通过AWS控制台提供一个表。是否有任何方法可以将多个Redshift表配置为Kinesis的目的地？
浏览 1提问于2020-09-18得票数 3
回答已采纳
我不确定何时需要在使用Kinesis Firehose之前使用Kinesis数据流。在文档中，它说Kinesis Firehose可以从Kinesis数据流获取数据，但用例并不清楚。https://aws.amazon.com/kinesis/data-firehose/faqs/?nc=sn&loc=5
浏览 26提问于2020-06-08得票数 1
我们的Redshift集群通过Secrets Manger进行用户名/密码轮换。我们有一个以Redshift集群为目的地的Firehose流。在我们的Redshift目标配置中是用户名/密码。
浏览 0提问于2019-11-23得票数 0
1回答
动态代理不向流发送记录
、、、、
我已经构建了一个流来将数据推送到红移，并且正在尝试使用Kinesis从EC2实例中推送数据。[ERROR] AsyncPublisher[kinesis:csvtoredshiftstream:/tmp/redshift.log*]:RecordBuffer
(id=2,r
浏览 10提问于2017-03-02得票数 0
回答已采纳
为什么kinesis firehose需要先将数据放入s3存储桶中，然后再使用copy命令将数据放入Redshift？
浏览 11提问于2019-02-27得票数 0
2回答
我正在使用Lambda通过Firehose向Redshift发送批量消息。根据，如果有一些传递问题(有毒的消息，端点关闭等)，Firehose将继续尝试24小时并删除该消息。最好的方法是什么，最好不交叉检查目标Redshift数据库？
浏览 0提问于2016-02-16得票数 3
1回答
我们通过API> Kinesis > Lambda > FireHose > Redshift表使用所有分析提要。AWS是我们的转换足迹，它接受Kinesis记录，根据上下文更改分析事件&将其删除到FireHouse，以保存到Redshift DB。
浏览 2提问于2016-11-18得票数 4
我的目标是将通过SNS订阅收到的数据存储在Amazon Redshift中。我已经成功地使用lambda函数存储数据，只需创建一个Redshift连接并调用一个准备好的insert语句即可。虽然我知道亚马逊网络服务文档和许多在线论坛推荐firehose是因为它的可扩展性，但我的首要任务之一是降低成本，而firehose似乎非常昂贵( firehose的价格+中间s3桶的成本)。有没有人有过通过编程方式存储在Redshift/其他数据库中来绕过firehose的
浏览 0提问于2019-07-16得票数 2
我有一个触发器，它为在Kinesis上接收到的每个事务执行lambda函数。生产者通过PutRecordsRequest()方法发送多个事务。Lambda函数如下；var firehose = new AWS.Firehose();
var fhStreamName = "transactionsfired to Kinesis in the future...for(var i=0; i<event.Records.leng
浏览 8提问于2017-03-24得票数 3
回答已采纳
2回答
我想写流数据从S3桶到红移通过火龙带，因为数据是实时的(每分钟600个文件)，我不想任何形式的数据损失。
浏览 4提问于2017-08-14得票数 1
云服务器
ICP备案
实时音视频
对象存储
即时通信 IM
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号