使用火花-redshift连接器将火花连接到红移时发出问题
使用火花-redshift连接器将火花连接到红移时发出问题
提问于 2019-06-06 16:02:40
我需要连接到红移实例来生成数据。我使用星火1.6与Scala2.10。使用了兼容的jdbc连接器和火花红移连接器.但是我面临着一个奇怪的问题，那就是:我使用的是电火花
df=sqlContext.read\
.format("com.databricks.spark.redshift")\
.option("query","select top 10 * from fact_table")\
.option("url","jdbc:redshift://redshift_host:5439/events?user=usernmae&password=pass")\
.option("tempdir","s3a://redshift-archive/").load()当我做df.show()时，它会给我错误的权限，拒绝在我的桶。这很奇怪，因为我可以看到在我的桶中创建的文件，但是它们可以被读取。
PS .I也设置了访问密钥和秘密访问密钥。
PS。我还混淆了s3a和s3n文件系统。连接器：https://github.com/databricks/spark-redshift/tree/branch-1.x
回答 1
Stack Overflow用户
回答已采纳
发布于 2019-06-19 04:03:58
似乎没有为Redshift设置访问S3文件的权限。请按照以下步骤
- 向该存储桶中添加允许Redshift帐户的桶策略
- access在Redshift帐户中创建一个IAM角色，redshift可以使用该角色
- 假设授予访问新创建角色的S3桶的权限，将角色与红移群集关联起来
- 运行复制语句
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://stackoverflow.com/questions/56481295
复制相关文章
相似问题
腾讯云开发者
