2回答
场景如下:我有一个lambda函数，它执行http请求来获取今天和过去365天的数据，并将它们存储在DynamoDB中。该函数每天上午8点触发，因此最新数据始终保存在DynamoDB表中。现在，我的目标是每天自动将DynamoDB表导出到S3文件中，这样我就可以对数据使用QuickSight、雅典娜、预测等服务。如果可能并且易于实现，我希望只有一个S3文件添加当天最新的数据，因为每天额外的文件似乎有点贵。如果这是不可
浏览 26提问于2020-05-22得票数 0
我正在尝试将DynamoDB表作为JSON格式导出到S3，并从那里将其导入到BigQuery。重要的部分是将DynamoDB表以JSON格式导出到S3，因为我正在处理的表不是一个小表。该表包含560万条记录，每天插入大约15.000条新记录(在平静的一天)。我偶然看到一篇博客文章，其中建议使用Lambda (ref：<code>C0</
浏览 14提问于2020-11-18得票数 0
2回答
我正在研究如何使用Lambda函数备份DynamoDB。我的目标是：
我成功地完成了第一次使用boto3和create_backup()调用。我也研究过export_table_to_point_in_time()，但是这些导出不能用于从我所看到的恢复表。是否可以以任何方式从表中创建备份并将其存储在不同的帐户中，最好是使用Lambda函数？
浏览 3提问于2022-01-05得票数 -1
回答已采纳
我有一个百万条记录的DynamoDB表。我正在使用数据管道将DynamoDb表导出到S3。但是数据管道将表导出为一组DynamoDB json格式的原始JSON文件。有没有办法将DynamoDB表导出为CSV并增加Data Pipeline中的EMR超时配置？
浏览 16提问于2020-06-02得票数 0
我正在尝试从DynamoDB表导出最近15天的数据，但不幸的是，时间点恢复处于非活动状态。所以我不能使用新的DynamoDB导出到S3功能，因为它不具有追溯性。我曾尝试使用亚马逊网络服务数据管道将DynamoDB数据导出到S3，但它是否具有追溯性？Canced.在日志存储桶和数据管道控制台中都找不到任何东西，但只有以下内容 @failureReason Resource not healthy: Jobflow retired 如何知
浏览 81提问于2021-02-07得票数 3
我想将数据从一个Amazon dynamodb表复制到另一个amazon dynamodb表(相同区域)。1]我有一个名为MUSIC的表，它有20个项目2]我有另一个表MUSIC_ST (具有与表MUSIC相同的模式)。现在我想有选择地将音乐dynamodb表中的10项迁移到MUSIC_ST dynamodb表中。我浏览了亚马逊网络服务数据管道，这里首先需要将整个表</em
浏览 1提问于2016-06-04得票数 4
1回答
我是一个使用AWS的数据工程师，我们想要构建一个数据管道，以便在QuickSigth上可视化我们的Dynmaodb数据，正如你所知道的，不可能将发电机直接连接到快速.你必须经过S3。S3将成为我们的数据，问题是日期更新频繁(例如，名为“可以更改/客户状态的列”)
因此，我正在寻找一个批处理解决方案，以便始终从我的s3数据集上的发电机中获取最新的数据，并在快速乙级中将其可视化。
浏览 4提问于2021-12-16得票数 -1
回答已采纳
我正在尝试使用AWS Glue将我的DynamoDB表导出到S3。对于glue作业，我需要在glue数据目录中创建一个表。为了将我的DynamoDB表列在data catalog中，我需要运行一个爬虫(我想是为了确定表模式)。当运行爬虫程序时，它开始从DynamoDB读取超过我尝试提供的任何读取容量单位的大量数据。我认为，如果我可以更改爬虫程序以读取少量数据，或者手动为DynamoDB表指定模式，就可以解决我的问题。
浏览 14提问于2018-08-08得票数 0
回答已采纳
我们希望添加Kinesis和Kinesis来将数据从我们的DynamoDB操作数据存储迁移到S3。我的问题是，在启用Kinesis之前，DynamoDB中的数据。将数据迁移到S3的最佳方法是什么。我知道您可以从S3表中导出Dyn
浏览 5提问于2022-05-12得票数 0
回答已采纳
1回答
我有一个需要将70 TB数据从DynamoDB迁移到BigTable和扳手的使用案例。具有单个索引的表将转到BigTable，否则它们将转到扳手。通过将数据导出到S3 --> GCS -->扳手/大表，我可以轻松地处理历史加载。但具有挑战性的部分是处理同时在DynamoDB上发生的增量流负载。DynamoDB中有300个表。
浏览 1提问于2019-11-05得票数 4
我有几个CloudFormation堆栈，它们都是由包含几个DynamoDB表的同一个模板组成的。最近，我需要对DynamoDB表的LSI进行更改。LSI只能在创建表时创建，所以当堆栈更改LSI时，它必须删除和创建全新的资源，这些资源将删除当前表中的所有数据。
我们共享的dev环境已经包含了一些用于演示和测试的数据，我不想中断它。
浏览 9提问于2017-04-06得票数 4
回答已采纳
1回答
我将我的DynamoDB表导出到s3，作为一种备份方式(通过电子病历)。当我导出时，我将数据存储为lzo压缩文件。我的配置单元查询如下所示，但实际上我遵循了上的“使用数据压缩将亚马逊DynamoDB表导出到亚马逊S3存储桶”
现在我想做相反的事情--把我的LZO文件放回一个hive表中。您如何做到这一点？s3中的文件格式为: s3://mybu
浏览 5提问于2012-08-11得票数 2
我有一个存储1 1Gb数据的DynamoDB表。RCU和WCU各为1000。我设置了一个数据管道，将这1 GB的数据导出到s3。整个1 1GB的数据以分区的形式导出到s3。
浏览 32提问于2020-06-28得票数 0
回答已采纳
我看到有大量的示例和文档将数据从DynamoDB复制到Redshift，但我们正在研究的是一个增量复制过程，其中只将新行从DynamoDB复制到Redshift。我们每天都会运行这个复制过程，所以不需要每天删除整个红移表。有没有人对这个话题有什么经验或想法？
浏览 1提问于2014-01-08得票数 7
1回答
如何从Amazon DynamoDB帐户A上的表导出数据，并将它们导入到帐户B上的相同表(具有相同的partition key)。我想使用这里描述的一个新特性--
我能够编写PowerShell script (使用)并将数据从Amazon DynamoDb表导出到Amazon S3。Export-DDBTableToPointInTime -TableArn $dynamoDbTableArn -S3Bucket $s3Bucket -ExportFormat
浏览 0提问于2021-03-18得票数 2
1回答
我有一个蜂窝脚本，它可以将数据从dynamo导出到s3。很可能我需要内置蜂箱的功能。我搜索了web，找到了很多(String ) ->的例子，并且手动给出了日期，但是我应该自动输入它。EXTERNAL TABLE IF NOT EXISTS tracksTable (id bigint, json binary)
STORED BY 'org.apache.hadoop.hive.dynamodb.Dy
浏览 2提问于2013-11-20得票数 0
回答已采纳
我使用Java将dynamodb表导出到ExportTableToPointInTimeRequest中的S3。我只想在导出完成后才处理接下来的步骤，因为还有一个与胶水作业相关的任务，它将从s3导出中读取数据。在处理下一个步骤之前，我能做什么使代码等待一定的时间？.withTableArn(tableArn) .withExportFormat(ExportFormat.DYNAMODB_J
浏览 4提问于2022-06-09得票数 0
我们有一个lambda，它将在一些操作之后更新dynamodb表。任何有效的方法来做到这一点。我还发现了以下直接从dynamodb流式传输到s3的方法
但在上面，它将以json格式存储。并且找不到对10 do数据有效执行此操作的方法
浏览 0提问于2021-03-01得票数 0
是否有更快的方法将DynamoDB表导出到JSON，然后通过数据管道运行它并触发EMR实例？另一方面，是否有一种将相同数据导入不同表的快速方法？
浏览 4提问于2017-01-11得票数 0
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
腾讯会议
云直播
对象存储活动推荐
腾讯云开发者
