从拼图S3复制到红移和decimal与int类型

文章/答案/技术大牛

发布

1回答

amazon-redshift、parquet

在尝试将数据从S3中的Parquet复制到Redshift时，我遇到了这个错误：has an incompatible Parquet schema for column 's3://table_name/.column_nameColumn type: INT, Parquet schema: optional

浏览 4提问于2019-03-07得票数 1

回答已采纳

1回答

我正在尝试写一个拼图文件到s3来运行一个副本到红移/拼图文件是正确写入，但我得到一个错误时，尝试复制：Column type: DECIMAL(10,2), Parquet schema: optional错误消息非常清楚，但我不确定如何将列强制为Decimal类型。有可能做到吗？在写拼花时保持列value为十进制？"age": 35, ] df = pd.DataFrame.from_d

浏览 29提问于2019-06-27得票数 3

3回答

S3到红移复制命令

python、amazon-s3、amazon-redshift、parquet

我正在尝试使用copy命令将一些数据从S3存储桶复制到红移表中。该文件的格式为PARQUET。当我运行执行复制命令查询时，我得到InternalError_：频谱扫描错误。如果对此有解决方案，请帮助我。我在python中使用boto3。

浏览 3提问于2020-03-30得票数 5

回答已采纳

1回答

AWS红移谱十进制读法

pandas、amazon-redshift、parquet

我有由Pandas(Pandas)编写的带有双类型字段的拼图文件。optional binary country; optional binary country_code (STRING); optional double visits;} 问题:我使用红移谱来创建外部表来读取那

浏览 0提问于2019-05-10得票数 4

回答已采纳

1回答

来自S3的AWS Redshift复制命令筛选出分区

amazon-redshift

我正在尝试将拼图文件从S3分区复制到红移，有没有方法可以过滤出文件夹下的分区，而不是循环遍历分区，逐个执行并过滤掉不需要的分区。如果我需要复制整个分区S3/01-01-2021，只过滤掉Mon分区，有什么方法吗？S3/01-01-2021/Mon S3/01-01-2021/Tue S3/01-01-2021/Wed S3

浏览 11提问于2021-01-09得票数 0

1回答

亚马逊网络服务红移拷贝自S3

hive、amazon-redshift

我正在尝试将蜂窝创建的序列文件从S3复制到红移。我需要添加什么作为“选项”让Redshift正确识别文件类型？谢谢!

浏览 0提问于2014-10-18得票数 1

1回答

如何在红移光谱中创建嵌套拼花类型的外部表

amazon-web-services、parquet、amazon-redshift-spectrum

我知道红移和红移光谱不支持嵌套类型，但我想知道有什么技巧可以绕过这个限制，用红移光谱在S3中查询我们的嵌套数据？在这个中，他展示了如何对JSON文件执行此操作，但对Parquet则不同。我们有没有其他技巧可以应用在拼图文件上？org.apache.hadoop.hive.ql.io.parquet.MapredParquetInputFormat' 'org.ap

浏览 8提问于2018-02-06得票数 0

1回答

如何从SQL脚本执行亚马逊S3到红移复制命令？

amazon-web-services、amazon-s3、amazon-redshift、amazon-data-pipeline

我正在尝试使用copy命令将一些文件从S3复制到红移。我通过SQL工作台使用了下面的命令，它工作得很好，它将数据复制到红移表中。copy <Redshift table name> iam_role 'arn:aws:iam::<IAM

浏览 0提问于2017-09-12得票数 0

2回答

拼花数据类型问题

scala、apache-spark、apache-spark-sql、parquet

列类型:十进制(5，2)，Parquet模式:可选的int32 final_apr i:4d:1r:0。我已经在scala中使用spark进行了上述操作，即我能够读取拼图文件并将其存储为黑帕拉表，并且还能够以编程方式发出"select * from但是，我试图手动从黑斑羚壳进行查询，但遇到了上面所示的相同错误。没有手动更新列来更改所有INT64非固定长度字节数组的数据类型，有什么

浏览 0提问于2018-05-17得票数 1

2回答

是“插入选择”，不受红移中的竞赛条件影响。

database、concurrency、data-warehouse、amazon-redshift

我们有一个数据仓库系统，需要将s3上以csv格式显示的数据加载到红移表中。唯一的限制是只有唯一的记录被插入红移。创建一个临时表。将S3文件复制到TEMOPRARY表中。开始交易结束交易 select子查询中使

浏览 2提问于2016-05-09得票数 0

1回答

将两个分区文件夹合并到一个表中

amazon-redshift、presto、amazon-athena

我使用拼图文件格式从2个红移表中导出数据。unload ('select * from some_table')credentials 'aws_access_key_id=xxx;aws_secret_access_key=xxxx'PARTITION BY (senderid) include; 数据是按senderid分区

浏览 27提问于2020-12-15得票数 0

回答已采纳

1回答

具有Snappy压缩功能的Parquet格式的红移复制命令

amazon-s3、compression、amazon-redshift、parquet、snappy

或者，我将拼图格式转换为纯文本，并使用Pig脚本将snappy编解码器更改为gzip。目前有没有一种方法可以直接将数据从地块文件加载到Redshift？

浏览 2提问于2016-03-10得票数 5

回答已采纳

2回答

将拼图文件加载到Redshift中

amazon-web-services、amazon-ec2、amazon-redshift、parquet、amazon-redshift-spectrum

我在S3上有一堆拼图文件，我想以最优的方式将它们加载到红移中。感谢您的帮助！我正在考虑所有的AWS工具，如Glue，Lambda等，以最优的方式做到这一点(在性能，安全性和</e

浏览 2提问于2018-09-06得票数 6

2回答

如何修复AWS Glue ETL Job中调用HeadObject操作时出现的错误:禁止

amazon-web-services、jdbc、amazon-redshift、etl、aws-glue

我正在我的AWS Dashboard中设置一个简单的AWS Glue ETL作业，它将位于AWS S3存储桶中的拼图文件中的数据映射到Redshift数据库中。如果我将Redshift JDBC连接设置为我的ETL作业的要求，它将立即失败，并显示以下消息：“调用HeadObject操作时出现错误(403)：禁止”，如果我将其从作业的要求中删除，它将在一段时间后面临连接超时我已经尝试过检查S3区域和红移区域是否相同。(虽然S3存储桶属于全局)我甚至有其他

浏览 26提问于2018-12-24得票数 1

回答已采纳

1回答

如何执行AWS emr和红移脚本？

amazon-web-services、amazon-ec2、amazon-s3、emr

我在S3 folder中有文件，在那里我必须使用来自EMR的PiG scripts进行转换，然后加载回s3。我想知道如何从unix调用猪脚本？除了sqlworkbench之外，我如何执行红移脚本？我怎样才能按顺序运行它们？

浏览 0提问于2015-04-01得票数 0

回答已采纳

1回答

无效的数字，值'\\'，位置0，类型: Amazon红移复制命令中的长错误

amazon-web-services、amazon-s3、amazon-redshift

我正在尝试从亚马逊红移表中卸载数据，然后使用以下命令将数据从s3文件复制到红移表。unload ('select * from abx.xuz where src =\'vpc\'') to 's3://load/2017/' credentials 'aws_access_key_id=******;aws_secret_a

浏览 1提问于2017-01-10得票数 2

2回答

尝试将glue中的表格复制到红移时，出现“awaitResult中抛出异常：”错误

python、apache-spark、pyspark、aws-glue

我一直在尝试将一个表从glue复制到redshift中。", "index", "int"), ("`itemdetails.val.calculatedweight`", "double", "calculated_weight", "double"),", "quantity", "int"), ("`itemdetails.val

浏览 3提问于2020-07-25得票数 2

1回答

将2.3214E7之类的数据保存到postgresql中

postgresql、amazon-redshift

我是postgresql的新手(红移)我正在将CSV文件从S3复制到RedShift，尝试将2.35555E7数字保存到numeric | 18, 0列时出现错误。此数据的正确数据类型是什么？

浏览 3提问于2013-06-26得票数 2

回答已采纳

1回答

过滤加载到Redshift中的数据

amazon-web-services、amazon-redshift

我们有原始数据存储在S3中作为拼图。我要把这些数据的一个子集加载到Redshift。明确地说，Redshift数据将是原始数据的查询(连接、过滤器、聚合)的结果。Glue ETL作业需要S3或RDS源-不接受来自雅典娜的视图。(也无法爬网视图)。下一个解决方案是使用Athena CTAS功能，将视图的结果写入S3，然后加载到RedShift中。

浏览 17提问于2019-07-11得票数 0

回答已采纳

1回答

AWS在红移中没有插入数据

mysql、amazon-web-services、amazon-s3、amazon-redshift、amazon-kinesis-firehose

我有一个Boto3脚本来将MySQL表复制到。然后，在另一端，有一个KCL节点JS脚本，用于从读取流并写入S3。到目前一切尚好。然后，我设置了一个Redshift表，其中包含MySQL表中的所有列。有些数据类型不受Redshift的支持，因此我使用了不同的数据

浏览 3提问于2017-05-23得票数 1

回答已采纳

点击加载更多