腾讯云
开发者社区
文档
建议反馈
控制台
登录/注册
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9515)
视频
沙龙
2
回答
AWS是否严格按照顺序处理DynamoDB
流
事件?
、
、
、
我正在编写
Lambda
函数,该函数处理来自DynamoDB
流
的项。 对于基于
流
的事件源(和DynamoDB
流
),AWS轮询您的
流
并调用您的
Lambda
函数。因此,如果
Lambda
函数失败,AWS
Lambda
将尝试处理错误的一
批
记录,直到数据过期时
浏览 0
提问于2018-04-24
得票数 8
回答已采纳
1
回答
为什么我重新创建的DynamoDB触发器不再触发
lambda
函数?
、
、
我不清楚为什么我刚刚在我的DynamoDB流上重新创建的基于
lambda
的触发器已经停止运行。根据,我知道我的单个DynamoDB实例上的
流
同步地发送有效负载,在上一
批
完成之前不会调用后续
批
。禁用以前的dynamodb
流
; 重新创建绑定到同一个
lambda
的触发器(批处理大小为5000)。无论是轮询
流
并将这些批发送到我的
lambda
的
lambda
不是轮询,或者
浏览 1
提问于2017-02-09
得票数 1
1
回答
使用dynamoDB
流
触发器理解同步调用的
Lambda
函数
、
、
我使用
Lambda
函数从dyanmoDB streams中读取数据。
Lambda
从
流
读取项,并为每个批处理调用一次
lambda
函数。
Lambda
使用事件源映射同步调用
lambda
函数。我从aws文档中了解到的是,
Lambda
为
流
中的每个批处理调用一个
lambda
函数。假设
流
中有1000个项目,我将
lambda
函数配置为批量读取100个项目。那么它会同时调用10个
lambda
函数来处
浏览 13
提问于2019-11-14
得票数 0
1
回答
PyFlink性能与Scala的比较
、
、
、
我们的目标是建立冷和热层的
Lambda
架构。冷(
批
)层将用Apache (PySpark)实现。但是对于热(
流
)层有不同的选择:火花
流
或Flink。因此,Apache是纯
流
的,而不是Spark的微
批
,我倾向于选择Apache。但我唯一关心的是PyFlink的性能。PySpark
流
的延迟会更少吗?它比Scala编写的Flink代码慢吗?
浏览 3
提问于2021-11-05
得票数 1
回答已采纳
1
回答
相同
Lambda
函数使用的同一表中的多个DynamoDB
流
、
、
、
我有一个
Lambda
函数,它将DynamoDB
流
消息推送到SNS。如果我将批处理大小设为10,它能组合两种不同
流
的记录吗?如果我将批处理大小设为10,那么
lambda
将创建2个
批
(每个
流
一个),或者将两个
流
的对象组合在一起,并将它们放在单个批处理下。假设这两条溪流同时撞击
Lambda
。
浏览 4
提问于2020-09-10
得票数 0
回答已采纳
1
回答
如何保证在使用paralleization时对动态事件流进行串行处理?
、
当创建
Lambda
时,每个碎片的并发
批
数被设置为10。当
流
数据出现尖峰时,并发数将增加到10。这意味着我们将有10个lambdas并行工作。在这种情况下,我的问题是,我们如何保证能够顺其自然地处理事件
流
?在我看来,这样做是不可能的,因为我们无法控制并发货币。有人能想到这个主意吗?我的头转不开了。
浏览 6
提问于2022-06-28
得票数 0
回答已采纳
1
回答
在基于事件的DynamoDB调用期间,AWS是否在超时之后退出?
、
、
我有一个
lambda
函数,它从DynamoDB的事件
流
中提取数据。在
lambda
函数中,我对一个内部API端点进行REST调用。
Lambda
当前的超时设置为60秒。问题:日志中的我注意到,
Lambda
偶尔会抛出一个超时异常。这可能是因为我的API没有在60秒内处理请求。问题:我想了解的是,如果
lambda
超时,那么发送到内部/ REST调用的事件和调用会发生什么情况。这些调用/事件会被重新尝试并再次发送到API吗?
浏览 6
提问于2022-03-08
得票数 0
回答已采纳
2
回答
能保证交货吗?
、
、
我正在搜索Kinesis数据
流
的文档,但找不到明确的语句,比如 从生产者端,我期望发送的消息从消费者端传播到多个节点(类似于Kafka的ack=all) --我期待的是在用户成功处理时
浏览 3
提问于2021-01-07
得票数 2
回答已采纳
1
回答
为什么DynamoDBStream不并行触发
lambda
函数?
、
、
我有这个装置以下是我想做的事: DynamoDBStream触发
Lambda
2。批次大小是100。因此,根本原因似乎DynamoDBStream没有并行地触发
Lam
浏览 3
提问于2017-09-24
得票数 1
回答已采纳
2
回答
AWS动态,具有保证排序的并发
Lambda
处理
、
、
、
我有一个
Lambda
,它的事件源指向KinaseStream使用者(有任意数量的碎片)1,2,1,3,4,1,2,1谢谢
浏览 7
提问于2020-08-19
得票数 1
回答已采纳
1
回答
如果兰达死了会怎么样?
、
假设我有一个带有JSON数据的Kinesis
流
(假设每隔几分钟就会插入几千条消息)。现在有一个
Lambda
函数,每次将一个新的msg插入到Kinesis中时都会调用它,它读取msg,并在插入Redshift之前进行一些处理。那么,如果出现一些错误,而
Lambda
函数在处理过程中崩溃,并且需要几分钟甚至几个小时(我不知道这是否可能),那么会发生什么呢?
浏览 0
提问于2018-12-12
得票数 2
1
回答
事务写入操作的DynamoDB
流
排序
、
、
然后将记录传递到DynamoDB
流
和
lambda
进行处理。然而,有些时候,
lambda
收到的事件是不正常的。我理解这种行为,因为从DynamoDB的角度来看,所有3个事件都是同时编写的。但是,如果这些事件是同一
批
的一部分,那么在处理之前,我总是可以在
lambda
中重新排序它们。 然而,这正是问题所在。尽管这些记录是在单个事务中编写的,但在
lambda
中,它们并不总是一起出现在同一
批
中。有时,我收到C作为唯一的事件,然后A,B到达一
批
稍后。我认为这种行为
浏览 3
提问于2020-07-16
得票数 0
回答已采纳
1
回答
DynamoDB流到
Lambda
慢/无法治愈
、
我已经通过
流
将
lambda
连接到DyDB表。当记录写入表时,它会触发
lambda
。交通非常繁忙,所以暂时什么也不会发生,然后我会写几千张唱片。我看到的是一些
lambda
实例将被触发,但不足以处理突发事件。然后,在随机时间,
lambda
实例的数量将跳升一个或两个数量级(从2到90或更多),并将迎头赶上。我试过的东西 批次写入表(一
批</
浏览 1
提问于2018-10-16
得票数 3
1
回答
aws
lambda
+ SQS -以并发为
一体
的
批
消息传递
、
、
我在
lambda
中设置了一个sqs触发器将SQS队列设置为 sqs_client = boto3.client(running") 'sta
浏览 2
提问于2021-02-15
得票数 2
回答已采纳
3
回答
在Kinesis EventSourceMapping上禁用λ重试
、
、
我想简单地禁用
lambda
重试,当它是由一个动能触发器启动。如果
lambda
失败或退出,我不希望它重试。
浏览 4
提问于2018-12-06
得票数 0
1
回答
如何使用AWS
Lambda
将运动事件写成批处理?
、
、
、
目前,我有一个带有一个碎片的Kinesis数据
流
,它消耗了来自外部源的记录
流
。谢谢!
浏览 15
提问于2022-05-12
得票数 0
1
回答
队列
、
、
我们使用AMAZON队列来处理我们的应用程序的预约服务。一旦消息进入队列,它就会触发Amazon函数来管理预订过程。因为它是一个FIFO队列,我们确保如果两个人请求相同的时隙,这个时隙将被分配给第一个请求者。我的问题是:有没有一种方法(可能是在SQS队列中设置?)这可以确保一条消息在上一条消息完成执行之前不会触发Amazon函数。我只是试图避免需要编写额外的逻辑(某种类型的插槽锁定系统),以确保在第一次完成“预订”过程之前,相同的时隙不会被2条背对背消息瞄准。谢谢。
浏览 1
提问于2018-11-07
得票数 2
1
回答
运动分析目的地指南:
Lambda
与到
Lambda
的动态
流
、
、
AWS目前提供3种目的地选择: 如果将记录作为连续查询或滑动窗口发送到数据分析应用程序中的应用程序中的目标
浏览 0
提问于2018-03-28
得票数 3
1
回答
当从SNS调用时,AWS
Lambda
似乎没有很高的可用性。
、
、
、
通过以异步方式提交~5k sns请求,我正在以批量方式调用数据处理
lambda
。这将导致所有请求在很短的时间内访问sns。我注意到的是,我的
lambda
似乎有确切的5k错误,然后似乎“醒来”,并处理负载。
浏览 0
提问于2018-10-16
得票数 1
回答已采纳
1
回答
小批量触发
lambda
、
、
我有一个
Lambda
,它被配置为Kinesis数据
流
的使用者,批处理大小为10,000 (最大)。
lambda
解析给定的记录并将它们插入Aurora (使用INSERT命令)。不知怎么的,我发现大部分时间都是使用相对较少的记录(少于200条)调用
lambda
,尽管“IteratorAge”一直很高(大约60秒)。记录以随机分区键(生成为uuid4)和大小放入流中。我认为,如果使用更大的
批
调用
Lambda
,则可以防止延迟。 注意:也有一个作为消费者配置的KinsisFire软管(似乎没有任
浏览 1
提问于2018-12-05
得票数 1
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
Flink on Hive构建流批一体数仓
Flink1.11+Hive批流一体数仓
Java 流之Stream,Lambda以及日期
基于Flink+Hive构建流批一体准实时数仓
数据编织Data Fabric:批流一体的数据智能融合平台
热门
标签
更多标签
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM
活动推荐
运营活动
广告
关闭
领券