我们正试图从五旬节到Apache AIrflow进行ETL，并将所有数据进程集中在1工具下。我们使用Kettle每天从Postgres/Mysql数据库读取数据，并将数据移动到S3 -> Redshift。
做这件事最简单的方法是什么？我没有看到可以直接这样做的操作符；所以我应该使用MySQL/Postgres操作符将数据放到本地文件中，
浏览 8提问于2017-10-13得票数 5
回答已采纳
使用airflow，我从MySQL数据库中提取数据，使用python进行转换，并将其加载到Redshift集群中。编辑:这是一个关于气流的问题，是选择任务粒度以及如何在它们之间传递数据的最佳实践。这不是一个关于数据迁移或ETL的一般性问题。在本问题中，ETL仅用作气
浏览 36提问于2017-01-10得票数 13
数据实时插入到DynamoDB中。为了分析的目的，我们也需要相同的数据在Redshift中。因此，每15分钟我们需要同步Dynamodb表到Redshift表。企业只想在顶级红移集群上进行分析。为了在15分钟内从DynamoDB复制数据到红移，使用红移复制命令，我需要大约10000的读取容量单元。S3 => Lambda => DynamoDB (一旦文件登陆)每15分钟从</em
浏览 3提问于2019-09-22得票数 1
回答已采纳
我想将数据从Redshift db卸载到S3存储桶中，该存储桶稍后将用于复制到另一个数据库。我写了如下我的DAG： from airflow.operators import RedshiftToS3Transfer 'owner': 'me',
浏览 13提问于2019-08-28得票数 2
回答已采纳
我的要求是开发一个数据管道，如下所示：(2)从S3到redshift的文件
我已经使用了SFTPToS3OperatorS3ToRedshiftOperator来完成这个任务，当我为sftp_path和s3_key提供完整的文件名时，它可以很好地工作，但是如果我在sftp_path和s3_key中为文件名提供了通配符(airflow需要您对从SFT
浏览 8提问于2021-12-24得票数 2
2回答
在我们的公司中，我们将数据存储在S3中，因此我在s3中创建了一个桶，并创建了一个AWS爬虫来将这个表加载到Redshift表(我们在公司中通常这样做)，我在Redshift上成功地看到了这一点。根据我的研究，Glue爬虫应该在Glue数据目录中创建与我的数据相关的元数据，这也是我能够看到的。以下是我的问题:我的爬虫是如何工作的，它是否将S3数据加
浏览 2提问于2021-05-20得票数 2
回答已采纳
关于如何使用AirFlow (这两个数据库位于一个集群上)在两个RedShift数据库(从一个数据库到另一个数据库)之间复制数据，您能给我一些建议吗？ Thnx。
浏览 83提问于2021-08-06得票数 0
1回答
我有我的气流项目，结构如下 | | |----dag.py |----dbt-redshift|----models我在卷部分中包含了dbt-redshift目录，如 -./dbt-redshift:/opt/airflow/dbt-redshift
我试图使用
浏览 14提问于2022-05-24得票数 0
回答已采纳
3回答
我正在尝试将postgres数据库中的表数据卸载到亚马逊s3中。我知道redshift有一个卸载到s3的选项--因为redshift是postgres数据库，所以我试着在postgres数据库中使用同样的命令，但没有成功。有人能帮我定期从postgres中下载表数据到s3吗？
浏览 5提问于2017-03-10得票数 6
我尝试将通过连接4-5个数据集创建的Hive表传输到Redshift。这个过程应该如何实现？
我们在边缘节点上有R可用。蜂窝表必须先传输到S3，然后再从s3传输到红移。这是唯一的方法吗？是否可以使用R，即使用RHive包将我的数据集从HDFS移动到R，然后将此数据集从R移动到Redshift？
浏览 1提问于2015-03-05得票数 2
3回答
我想将存储在S3存储桶中的数据加载到Redshift中。我知道它可以手动完成。但是，是否可以使用S3批处理作业，并定期安排将S3数据加载到Redshift中的任务？
浏览 0提问于2019-07-31得票数 1
我正在将60多个表的数据从s3加载到Redshift。s3中的数据并不干净，所以我使用MAXERROR "Err_count“将数据加载到Redshift中。虽然我的数据正在加载，但是一些记录丢失了，并且我得到如下信息:警告:加载到表'xyz‘已完成，无法加载N条记录。Redshift是否维
浏览 1提问于2018-01-24得票数 0
我们目前正计划将一个50 TB Oracle数据仓库迁移到Amazon。
来自不同OLTP数据源的数据首先在Oracle暂存数据库中进行分级，然后当前加载到数据仓库中。目前，数据已使用大量PL/SQL存储过程在暂存数据库中进行转换，并加载到数据仓库中。OLTP数据源1-> JMS (MQ)实时-> Oracle数据库->
浏览 1提问于2017-03-13得票数 0
1回答
有没有一种将JSON数据转换成包含多个表的关系数据库的标准方法？我们需要从MongoDB实例中导出数据，并将其导入到Redshift集群中。唯一的问题是一些MongoDB字段包含对象和数组。Redshift集群接受CSV，所以我认为每个新表的输出至少是一个CSV文件。
我不需要具体的实现。我只想知道如何有效地将JSON/NoSQL数据转换为关系格式的概念。
浏览 0提问于2014-07-22得票数 3
可以不通过亚马逊S3 (使用Talend)直接将数据上传到亚马逊Redshift吗？
浏览 0提问于2018-02-16得票数 0
1回答
自动从S3加载数据到红移
、、、
我希望将数据从S3加载到Redshift。以每秒大约5MB{近似大小}的速度进入S3的数据。
文件夹S3数据在文件夹结构中。5MB
S3</
浏览 9提问于2020-09-10得票数 1
回答已采纳
2回答
我正在尝试使用S3将数据从Redshift卸载到iam_role。只要我将数据卸载到与Redshift集群相同的帐户所拥有的S3桶中，卸载命令就能正常工作。但是，如果我试图将数据卸载到另一个帐户拥有的S3桶中，则无法工作。
浏览 5提问于2017-08-03得票数 0
回答已采纳
1回答
我正在探索使用Sqoop将数据从s3导出到红移的选项。原来，insert没有提供“-批处理”选项，而是记录在案。有人能帮我如何执行批处理插入到红移。
谢谢你，施华洛普
浏览 0提问于2014-10-15得票数 0
我有一大堆数据想要存储和分析。根据定价和数据关系，Redshift似乎是正确的选择。然而，我一直在文档和最佳实践中看到一些东西，我应该使用S3并将我的数据批量复制到Redshift中。如果我使用S3和Redshift，我基本上要付双倍的费用，而且我有更多的代码要写。为什么(在财务上)我不能直接使用JDBC将数据插入到Redshift中？
浏览 1提问于2016-05-27得票数 1
1回答
我创建了s3.zsh，如下所示#!/bin/zshfrom 's3://mybucket/test.txt's3.zsh:3: number expected如果有人有意见，请让
浏览 3提问于2021-07-06得票数 0
云服务器
ICP备案
云直播
实时音视频
即时通信 IM
腾讯云开发者
