我有一个Lambda函数，它将DynamoDB流消息推送到SNS。如果我将批处理大小设为10，它能组合两种不同流的记录吗？
例如: Stream1有一个由2个对象组成的数组，而Stream2也有一个由2个对象组成的数组。如果我将批处理大小设为10，那么lambda将创建2个批(每个流一个)，或者将两个流的对象组合在一起，并将它们放在单个批处理下。假设这两条溪流同时撞击Lambda。
浏览 4提问于2020-09-10得票数 0
回答已采纳
2回答
能保证交货吗？
、、
我正在搜索Kinesis数据流的文档，但找不到明确的语句，比如
动力保证至少一次交货
从生产者端，我期望发送的消息从消费者端传播到多个节点(类似于Kafka的ack=all) --我期待的是在用户成功处理时，类似于Kafka提交偏移的东西，或者类似Google的Pub/Sub消息确认。
是否有提交消息的动作保证？是否有对Kinesis的处理保证(如果已处理并确认已处理，则将消息标记为只读)
浏览 3提问于2021-01-07得票数 2
回答已采纳
当创建Lambda时，每个碎片的并发批数被设置为10。当流数据出现尖峰时，并发数将增加到10。这意味着我们将有10个lambdas并行工作。在这种情况下，我的问题是，我们如何保证能够顺其自然地处理事件流？在我看来，这样做是不可能的，因为我们无法控制并发货币。有人能想到这个主意吗？我的头转不开了。
浏览 6提问于2022-06-28得票数 0
回答已采纳
通过以异步方式提交~5k sns请求，我正在以批量方式调用数据处理lambda。这将导致所有请求在很短的时间内访问sns。我注意到的是，我的lambda似乎有确切的5k错误，然后似乎“醒来”，并处理负载。
我在这里做的事情很大程度上不同于一般的用例吗？有办法对付这件事吗？
浏览 0提问于2018-10-16得票数 1
回答已采纳
我有一个AWS函数，它订阅了一个DynamoDB流并配置了一个。我可以看到在管理控制台中配置了正确的队列。此外，我还小心地在DLQ上为sqs:SendMessage提供了函数权限。
订阅可以工作，但是仍然“挂起”调用错误，好像没有配置DLQ一样。也就是说，如果有一条导致未处理异常的消息，则该函数将继续重试该消息，直到它从流中删除。我可以看到调用错误的数量增加了，函数的Cloudwatch仪表板中没有显示DLQ错误。SQS队列仍然是空的。
我想要的是，失败的消息被转发到我的DLQ，订阅继续到下一条消息。有什么想法吗？
编辑
正如乔纳森·塞德( Jonathan )下面所说的，DLQ目前不适用于基
浏览 0提问于2017-03-24得票数 16
回答已采纳
我使用Lambda函数从dyanmoDB streams中读取数据。Lambda从流读取项，并为每个批处理调用一次lambda函数。Lambda使用事件源映射同步调用lambda函数。
我从aws文档中了解到的是，Lambda为流中的每个批处理调用一个lambda函数。假设流中有1000个项目，我将lambda函数配置为批量读取100个项目。
那么它会同时调用10个lambda函数来处理10批100个项目吗？
我正在学习AWS。我的理解正确吗？如果是，那么同步调用是什么意思？
浏览 13提问于2019-11-14得票数 0
1回答
我有一个用例，在这个用例中，我将从上游获取特定batchID的记录，以及批处理前期的一些元数据。例如，我被告知batchID=的“ABC”将有2000年的记录。在我开始获取服务中的记录之后，我做了一些处理，并将其保存在DB中，状态=“处理”。因此，我的用例是，一旦我获得了batchID的所有2000条记录，我就必须创建一个包含此批中所有记录(2000)的CSV文件，并将其发送到其他服务。另外，我将状态更新为“已发送”。
方法1(朴素)：在batchID+status上运行复合GSI查询，并在每次请求时检查计数是否匹配。这个会很贵的。
方法2:使用DynamoDB的原子计数器，其中key = b
浏览 1提问于2020-10-04得票数 1
回答已采纳
1回答
我试图同时使用ProcessPoolExecutor使用Dynamodb流触发lambda。这是我收到的错误。
当一堆记录(如1000条记录)落入dynamodb(批处理大小为10)时，流触发lambda。我以前使用过ThreadPoolExecutor，它可以工作，但在批处理的10个进程中，只有5-8条记录被处理，其余的是left.Each记录，大约需要50秒才能完成。在ThreadPoolExecutor中跳过其他记录的是AWS的5分钟限制吗？同时，使用ProcessPoolExecutor也会帮助我解决ThreadPoolExecutor的问题？
[Errno 38] Funct
浏览 1提问于2018-02-06得票数 1
回答已采纳
我们有一个正在进行的批处理，如下所述。
Hive SQL用于每日批处理。
数据被从文件或RDMBS中摄取
数据是在Raw --> Staging -> Mart中摄取的，从暂存到mart是所有的业务转换，而对暂存的原始处理只是数据的清理和格式化。
现在，作为获取真实或接近实时数据的一部分，我正在评估Lambda体系结构，这是什么计划？
所有的源头系统都会落在卡夫卡身上。
同一批处理系统将消耗卡夫卡主题。
新的火花应用程序将消耗卡夫卡主题的流。
服务层将创建视图，这些视图将流和批处理的聚合数据结合在一起进行真实(接近真实的)时间处理。
的问
浏览 2提问于2018-09-18得票数 1
我们需要将DynamoDB表中的数据流式传输到Kinesis stream以进行事件监控。我们开始研究DynamoDB流，但问题是DynamoDB流没有加密，我们的解决方案中任何地方都不能有任何未加密的数据。在无服务器中将数据从DynamoDB流式传输到Kinesis的另一种方法是什么？我不想让服务器使用DynamoDB适配器。谢谢
浏览 1提问于2018-08-03得票数 1
1回答
我的流正在调用多个批处理过程。我想按顺序处理这批货。
批-1->批-2->批-3->.
<quartz:inbound-endpoint jobName="Fetch" repeatInterval="0" repeatCount="0" responseTimeout="10000" doc:name="Quartz" startDelay="5000">
<quartz:event-generator-job/>
</quartz:
浏览 3提问于2015-07-01得票数 0
回答已采纳
我有大量的文本数据存储在S3上的数百万个文件中。我想对其中的每一个文件执行一些操作，这是非常常见的，它只使用该文件并从中创建一个新文件。通常，我会使用我公司的DataBricks来完成这个任务，但是它太封闭了，所以很难在那里部署复杂的代码。
我一直在考虑使用带有Spot实例的AWS批处理作为其中一些作业的DataBricks的替代方案。我当然希望使用多个节点，因为最大的单个节点将无法在合理的时间框架内完成工作。当然，有些技术是为分布式计算而设计的，比如Apache Spark，但我(a)不相信我有能力建立自己的Spark集群，(b)不相信Spark对于这样一个简单的分布式计算任务是必要的。从根
浏览 0提问于2022-05-23得票数 0
1回答
我想知道是否有可能提供输入来激发来自StreamSets的流。我注意到在StreamSets连接器目的地中不支持火花流。
我将探讨是否有其他方法将它们连接到一个示例POC。
浏览 3提问于2016-07-06得票数 3
回答已采纳
我把我的灯弄坏了，已经修好了，因为我是"smrt“。然而，现在需要处理的积压消息已经达到了大约15,000条。
在调用AWS Lambda时，我一直得到"Firehose错误“，最大支持的函数超时是5分钟，因为我的lambda不能在5分钟内处理15k记录。
我怎么能让重试不同时发送这么多的记录呢？
浏览 2提问于2022-03-01得票数 0
1回答
我正在批量地从API中提取数据，并将其发送到SQS队列。我遇到问题的地方是处理消息，以便将数据发送到DynamoDB。数据集中应该有147,689条记录。但是，在运行代码时，有时少于147,689条记录将被放入DynamoDB，有时超过147,689条记录将被放入DynamoDB，有时147,689条记录将被放入DynamoDB。它没有一贯地将147 689项记录存入数据库。
我已经尝试了我能想到的一切来解决这个问题，包括(使用Fifo队列而不是标准队列，增加可见性超时，增加传递超时，使用uuid.uuid1()而不是uuid.uuid4())，我正在循环遍历"Record“列表，所以
浏览 3提问于2021-01-09得票数 1
回答已采纳
1回答
我创建了一个批处理流。从一批流，我调用另一批，从第二批，我调用简单的第三流。
在这个场景中，我遇到了问题，所有的流程都不能按顺序工作，我需要所有的流都按顺序工作。
例如，我有5条记录是批量开始的，在第2批中，10条记录正在开始，而从第2批开始，我调用了第3条流，这是一个简单的流程。
问题是第二批正在等待完成第三次流程执行，它连续执行到10次记录，
我需要第三次流动的选择应该是完整的，然后，只有2条记录应该来。
我怎样才能解决这个问题
请帮帮我
浏览 1提问于2017-04-05得票数 1
1回答
如果我有写到Dynamo的AWS lambda，它会在超时后回滚吗？
有两种情况：
I在事务中一次更新一个项目的dB？
I发送包装在事务中的批处理更新( 25条记录) ?
我认为，由于每个批处理更新和每个单个更新都是一个原子事务，所以不会回滚。
如果lambda在记录99中超时，我如何回滚100条记录的更新？
浏览 2提问于2022-06-22得票数 0
1回答
一旦notify Consumer将所有数据发布到Kafka topic，Producer是否有可能
有可能在多个分区中使用相同的数据(有一些唯一的字段)，因此我需要对数据进行分组并进行一些计算。
我曾想过要使用Sliding window，但问题仍然是，我们不知道生产者是否完成了发布数据？
消息的数量是around 50K，如果我们有配置更好的代理，卡夫卡能在几秒钟内处理50K messages[Single partition]吗？
目前，我们计划使用多个分区来基于Default Partitioner拆分数据。
有什么有效的方法来解决这个问题吗？
更新：
每隔十五分钟，生产者就会得到数据
浏览 0提问于2016-11-12得票数 2
回答已采纳
我有一个DynamoDB表，它与一个流链接，该流与一个处理它的lambda函数链接。
问题--如果一个事件到达流并在Lambda中被摄入，那么使用上述设置的，该事件是否仍然驻留在该流中，或者当它在Lambda中被摄入时，它就会像队列一样弹出？
问题2，，有人能告诉我data的内部工作以及它如何将数据传递给Lambda吗？就像流事件有什么状态吗？
A.S: AWS文档显示事件会持续24小时。
浏览 1提问于2020-03-27得票数 0
我需要使用用Java编写的AWS将数据批量放入消防水管。数据是一个字符串列表：“约翰”、“索尔”、“保罗”、“乔纳斯”。我知道如何在python中做到这一点，但是我在Java中挣扎着。
下面是我需要在Java中执行的步骤：
1)。建立一个消防水管客户。
2)。构建一批数据。(假设批大小为2)
3)。把数据放进消防水管里。
4)。在消防水管中获取响应，并提取记录未能传递的信息。
如何用Java为所有这些步骤编写代码？
浏览 2提问于2021-03-18得票数 1
回答已采纳
1回答
寻求任务管理框架的建议
、、、
我正在寻找一个支持以下任务管理功能的框架。这些是将由人工合同工人执行的任务。
所有的任务由不同的步骤组成，这些步骤将作为一个工作流。你不能跳过一步。这些任务中的步骤是在我们结束时用各种微服务实现的，我们希望将这个工具与我们的服务集成起来。
这些合同工本身也在一个层次结构中，我们可能会在他们之间进行一些任务管理隔离。
任务将分配给合同工人。
保持任务的历史记录。
我听说过各种工作流管理工具，比如apache airflow、spotify的Luigi等等，但我相信它们是用于数据管道工作流的，我的需求是操作管理工作流。
在这些情况下，市场上是否有任何开源产品可以帮助我们。
浏览 4提问于2020-02-11得票数 0
当我单独测试时，第二个lambda工作并将一个记录插入到dynamoDB中。
然后，我又有了另一个羔羊，它试图叫它，但似乎什么都没有发生。
Cloudwatch日志不显示任何问题，并在调用后显示puts语句。
但是dynamodb表没有插入任何记录。
这两个羔羊都有完全的λ进程。
Lambda 2- LamdaLamdaDynamodb
独立工作的第二批羔羊：
# lambda 'two'
require 'aws-sdk-lambda'
require 'aws-sdk-dynamodb'
require 'time'
requ
浏览 2提问于2019-10-27得票数 1
回答已采纳
1回答
动态数据流不是实时的吗？
、、、
获得了在动态流消息(serverless.yml)上触发的函数：
functions:
kinesis-handler:
handler: kinesis-handler.handle
events:
- stream:
type: kinesis
arn:
Fn::Join:
- ':'
- - arn
- aws
- kinesis
浏览 5提问于2019-09-25得票数 3
回答已采纳
我用熊猫组合一些csv文件。
我需要基于其中一行创建多个新列，在本例中是网络。目前，我可以看到大量的应用程序来创建列，这损害了性能，是否有一种方法只需一个应用程序就可以创建多个列，还是以一种更好的方式实现相同的结果？
dataReader = pd.read_csv('file.csv', usecols=['geoname_id' , 'country_iso_code','country_name','subdivision_1_name','subdivision_2_name','c
浏览 0提问于2018-06-11得票数 0
回答已采纳
我有一批形状为<code>D0</code>的张量。现在我想要从这一批中获得任何一个随机张量。生成的张量应该具有<code>D1</code>的形状，请注意，这应该在Keras中完成。你知道怎么完成这件事吗？
浏览 15提问于2020-03-15得票数 0
回答已采纳
我在lambda中设置了一个sqs触发器
batch size : 3
batch window : 300 seconds
concurrency: 1
将SQS队列设置为
visiblity timeout: 3 minutes
这里的想法是一次处理3个文件。
这就是lambda代码的样子。
def lambda_handler(event, context):
maximum_jobs = 3
sqs_client = boto3.client(
'sqs'
)
for i in range
浏览 2提问于2021-02-15得票数 2
回答已采纳
我有Community，所以我无法访问批处理过程，但我确实有一个疑问。
批执行是一种消息处理器，它将流引导到批处理过程。我们是否需要在批执行中放置任何特定的有效载荷以进行剩余的批处理？对于Java对象有效负载，还是通过分配器传递的有效负载，这很容易对批处理过程进行管理？
浏览 4提问于2015-10-30得票数 0
回答已采纳
1回答
让我们考虑一个有序的玩具数据集，它有两个特性：
value (例如1, 2, 3, 4, 5, 111, 222, 333, 444, 555)sequence_id )(例如0, 0, 0, 0, 0, 1, 1, 1, 1, 1)
该数据基本上由两个拼接的扁平序列组成，即1, 2, 3, 4, 5 (序列0)和111, 222, 333, 444, 555 (序列1)。
我想生成大小为t的序列(比如3)，由来自相同序列(sequence_id)的连续元素组成，我不希望一个序列中有属于不同sequence_id的元素。
例如，在没有任何混洗的情况下，我希望获得以下批次：
第一批次：1, 2,
浏览 94提问于2019-03-12得票数 1
回答已采纳
1回答
我对Kinesis的批量大小和Lambda感到困惑，假设我们的batchsSize是100，而Kinesis收到了200个通知。那么它会触发2个lambda线程吗？
浏览 0提问于2021-05-12得票数 0
我有两个Lambda函数和一个SQS队列。第一个Lambda将消息发送到队列。然后，第二个Lambda为这个队列设置了一个触发器，批处理大小为250，批处理窗口为65秒。
我预计第二个Lambda将在大约每65秒钟触发一次250条消息。在第二个Lambda中，我调用的第三方API限制在每分钟250个API调用(我每分钟得到250个令牌)。
我测试了这个设置，在队列中添加了32.000条消息，而第二个Lambda没有像预期的那样分批接收消息。最初，它对15k消息执行，然后没有足够的令牌，因此它没有处理这些消息。
第三方API基于令牌桶，填充速率为每分钟250个，最大容量为15.000。由于桶容量
浏览 6提问于2021-02-27得票数 3
回答已采纳
我有一个火花结构化流作业，它从cassandra和deltalake读取映射表，并加入流df。我想了解这里的确切机制。星火是否击中了这些数据来源(卡桑德拉和德尔塔雷克)的每一个周期的微批？如果是这样的话，我在spark中看到这些表只读取一次。请帮我理解一下。提前感谢
浏览 2提问于2020-12-02得票数 1
回答已采纳
以下批次格式存储在Kafka主题中：
Data generated --> B2E, T3, T2, T1, B2S | B1E, T3, T2, T1, B1S --> Data Consumed
这里，BS表示批处理开始，BE表示批处理结束，t1,t2,t3表示三个不同的数据。
这是扫描：
在将批处理结束记录B1E推到主题之前，经过一些验证，我们了解到B1批处理是无效的。
在这种情况下，B1批处理BS到BE的所有数据都应该转到特定的主题。
因此，在上面的示例中，b1批处理应该转到主题T1，b2批处理应该转到T2。
我怎么能用卡夫卡那样做呢？
浏览 5提问于2021-12-06得票数 5
1回答
流和静态数据集的合并是结构化流的一个很好的特点。但是每一批数据集都会从数据源中刷新。由于这些源并不总是动态的，因此在指定的时间段(或批数)缓存静态数据集将是一种性能增益。在指定的批处理期间/批数之后，数据集将从源重新加载，否则将从缓存中检索。
在星火流中，我使用缓存的数据集来管理它，并在指定数量的批处理运行后取消它的持久化，但是由于某种原因，这不再适用于结构化流。
有什么建议可以用结构化流来实现吗？
浏览 1提问于2017-12-13得票数 9
我有一个Spring作业，它在内部使用“splits”并行运行一系列步骤。
例如：
工作的第一步= "A“
"A“分为两个平行流动：
1) B1 -> B2 -> B3 -> B4
2) C1 -> C2 -> C3 -> C4
B1、B2、B3和B4是在一个弹簧批"flow“中运行的顺序步骤，而C1、C2、C3和C4是在另一个弹簧批"flow”中运行的另一组顺序步骤。
我只想在C3完成时才运行B3。有办法做到这一点吗？
浏览 3提问于2019-09-29得票数 0
我相信AWS CodeDeploy触发器只支持SNS通知(当前)。是否可以连接到事件(即DEPLOYMENT_FAILURE )来运行自定义bash/批/ps脚本？
动机是在我们的开发通道中提供关于成功/失败的松懈通知。
浏览 2提问于2016-04-26得票数 0
回答已采纳
我的数据库中有将近1000个条目。我必须对每个项目进行相同的操作。问题是，这是一个第三方服务，每个操作都有1秒的速率限制。直到现在，我才能在lambda函数中完成全部工作。现在它正接近15分钟(900秒)的超时限制。
我在想什么是最好的办法来分割这一切。我是否可以将每一项(或多批项)转储到SQS中，并让lambda函数按顺序处理它们？但据我所知，这不是建议的方法，因为我不能延迟足够长的调用时间。或者我不得不叫兰达在兰达，这也听起来很奇怪。
AWS Step函数是这里的方法吗？我还没有使用该服务，所以我想知道是否还有其他选择。如果有任何意义的话，我也会使用无服务器框架来完成这一任务。
浏览 1提问于2021-08-09得票数 0
回答已采纳
1回答
我有一个DynamoDB事务，它在使用transactWrite的单个DynamoDB表中随时追加>1条记录。例如，在单个事务中，我可以追加A、B和C记录。请注意，在我的示例中，操作总是只追加(只插入)。
然后将记录传递到DynamoDB流和lambda进行处理。然而，有些时候，lambda收到的事件是不正常的。我理解这种行为，因为从DynamoDB的角度来看，所有3个事件都是同时编写的。所以，这里没有订单。但是，如果这些事件是同一批的一部分，那么在处理之前，我总是可以在lambda中重新排序它们。
然而，这正是问题所在。尽管这些记录是在单个事务中编写的，但在lambda中，它们并不总是
浏览 3提问于2020-07-16得票数 0
回答已采纳
对于Windows和macOS上的跨平台应用程序，这是为两个平台使用相同的GoogleWeb2.0客户端ID，还是使用单独的ID？
Google声明，但是没有针对macOS和Windows的特定平台选择，只有“桌面”--而有一些特定的平台，比如iOS和安卓。这让我相信他们认为所有的桌面平台都是一体的。
浏览 5提问于2022-10-10得票数 0
回答已采纳
2回答
我已经为我的Lambda定义了一个SQS触发器。在Lambda内部，我调用了一个基于令牌的第三方api (每分钟250个令牌)。最初，我定义了250的批处理大小，65s的批处理窗口，但是发生的情况是，lambda使用concurrently来处理请求，令牌很快就耗尽了。
然后，在更改了批大小、窗口和并发性的各种值后，最终开始平稳地处理批大小10、批处理窗口10和保留并发7，但队列中只有3,00000个产品in。昨天，当我将400万个产品I推到队列中时，令牌再次开始很快耗尽。当我检查日志时，我发现Lambda正在以不同的间隔选择不同数量的消息，比如有时需要200条消息，有时需要400条。这个数字
浏览 2提问于2021-03-19得票数 4
回答已采纳
AWS允许通过SQS队列触发Lambda函数。对于documentation，Lambda轮询队列并使用一批消息同步调用该函数。 AWS在对Lambda函数收费时会考虑执行时间。轮询时间是否计入执行时间并收费？或者它是免费的？
浏览 7提问于2019-12-23得票数 4
回答已采纳
3回答
我创建了一个实时应用程序，在这个应用程序中，我使用flume从weblog中将数据流写入hdfs，然后使用火花流处理该数据。但是，尽管flume正在hdfs中编写和创建新文件，但spark流无法处理这些文件。如果我使用put命令将这些文件放到hdfs目录中，火花流就能够读取和处理这些文件。在同样的问题上有任何帮助都是很好的。
浏览 9提问于2015-06-09得票数 2
回答已采纳
1回答
我有这样的问题陈述：
我有大约40个服务器，我想在其中同时运行一个存储的proc，没有相互依赖关系。服务器信息存储在数据库中。为了实现这一点，我考虑采取以下方式：
lambda将从DB获取有关服务器的所有信息。让我们说这是"lambda1“。
将所有这些信息放入SQS中，将有一个lambda附加到SQS上，它将处理请求。让我们说"lambda2“。
我想知道"lambda2“的实例是否和SQS中的消息数量一样多。或者有比这更好的方法？
浏览 0提问于2020-05-25得票数 1
我有一个巨大的S3图像桶，手动编辑每个图像或编写脚本逐个剥离元数据是不切实际的，有没有其他方法可以从所有图像中剥离图像元数据？ 需要说明的是:我指的是图像元数据(Exif等)，而不是s3元数据。 谢谢!
浏览 11提问于2021-08-09得票数 0
我不清楚为什么我刚刚在我的DynamoDB流上重新创建的基于lambda的触发器已经停止运行。根据，我知道我的单个DynamoDB实例上的流同步地发送有效负载，在上一批完成之前不会调用后续批。
因为我想用更多批处理每个有效负载(从100到5000)重新创建触发器，所以我执行了以下步骤：
删除了扳机。
禁用以前的dynamodb流；
重新启用流(使用更新的时间戳创建新的ARN )；
重新创建绑定到同一个lambda的触发器(批处理大小为5000)。
无论是轮询流并将这些批发送到我的lambda的lambda不是轮询，或者通过执行上述步骤之一，我已经取消了流，并且它没有新的
浏览 1提问于2017-02-09得票数 1
1回答
根据标准在多个需求之间分配数量
、、、、
我正在创建一个循环计数表。表1将是用户输入的材料和数量将找到的地方。表2是清点时库存的快照。我想要在第二页的数量之间分配的材料的数量，直到第一页的数量用完为止。将最新批次(天码)的数量按顺序分配给最老的批(FIFO)也是有帮助的。
当一次只看一种材料时，我可以用最小最大函数来完成这个工作。我遇到的麻烦是当我增加标准的时候。我附上了一张所需结果的屏幕截图。正如您所看到的，在D11中有一个理想的公式，即在“第1页”上提供了30,000份P9919617，并通过“第2页”上的库存分配了该数量，直到30,000份用完为止，剩下的调整数为10,584到2278US9602批次。
我也附上了一个链接到
浏览 14提问于2022-11-09得票数 2
回答已采纳
让我们说，我刚刚推出了一个卡夫卡直接流+火花流应用程序。对于第一批，驱动程序中的流上下文连接到Kafka并获取startOffset和endOffset。然后，启动具有这些开始和结束偏移范围的火花作业，以便执行者从Kafka获取记录。我的问题从这里开始。当第二批的时间，流上下文连接到卡夫卡的开始和结束偏移范围。如果没有允许存储最后一次提交偏移值的使用者组(因为直接流没有考虑到group.id)，那么Kafka如何能够提供这些范围呢？
浏览 4提问于2020-02-27得票数 0
回答已采纳
我正在使用AWS (配置为Serverless框架)，我使用的是batchSize of 1。
processEvents:
handler: ...
events:
- stream:
type: kinesis
batchSize: 1
arn:
Fn::GetAtt: [KinesisStream, Arn]
例如，在读取下一批之前，是否有一种方法将超时设置为20秒？
我希望在每个lambda执行之前有一个时间延迟，基本上从流中提取一个记录。
谢谢!
浏览 1提问于2020-02-05得票数 1
1回答
我想构建一个实时应用程序，但我不知道我应该使用星火流还是星火结构化流。
我在网上读到，结构化流是实时应用程序的理想选择，但不清楚为什么.
有人能解释一下吗？
浏览 3提问于2020-04-27得票数 0
回答已采纳
我们已经配置了DynamoDB流来触发Lambda函数。超过1000万条唯一记录将在30分钟内插入到DynamoDB表中，Lambda将在通过流触发这些记录时处理这些记录。
根据DynamoDB流文档，流将在24小时后过期。
问题：
这是否意味着Lambda函数(多次并发执行)应该在24小时内完成所有1000万条记录的处理？
如果一些流事件在24小时后仍有待处理，它们会丢失吗？
浏览 1提问于2021-10-07得票数 2
我试图找出一种方法来要求签名(或某种授权)，然后才能将文件上传到sharepoint。
让我解释一下流程：
您可以将文件上载到sharepoint列表或页面：
您选择要上载的文件。
根据sharepoint列表，假设它是针对N°1的，打开或发送某种票证/邮件给N°1审批者，而这2个人需要在文件被填充到列表之前批准。
一旦两者都被批准，该文件将显示在sharepoint列表中。
我在这里问这个问题是因为我想知道是否已经存在这样的东西，还是作为内置的sharepoint特性存在，或者我是否需要对它进行编码和编码。
谢谢!
浏览 3提问于2014-01-08得票数 0
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
实时音视频活动推荐
腾讯云开发者
