腾讯云
开发者社区
文档
建议反馈
控制台
登录/注册
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
2
回答
“
EMR
服务角色在创建
EMR
群集时无效”
、
、
在创建了Amazon,my_bucket之后,我通过cli创建了一个弹性地图减少
集群
: 创建-
集群
-名为"Hive测试“--ami-version 3.3 --应用程序Name=Hive --使用默认角色--实例类型m3.xlarge -实例-count 3-steps Type=Hive,Name="Hive Program",Args=-d,
emr
=s3://my_bucket/input,d.OUTPUT生成S3和
EMR
群集后,我将
登录
浏览 0
提问于2015-01-14
得票数 11
回答已采纳
1
回答
在AMAZON上运行纱线应用程序
、
、
我想在亚马逊的
EMR
上运行yahoo`s的项目。在
EMR
上,主管本地目录无法创建。我想可能是连接问题还是未经许可。你能给我一些建议吗?谢谢你的帮助。
浏览 1
提问于2017-03-04
得票数 0
2
回答
AWS
EMR
中的Hadoop :关闭终端会杀死hadoop的工作吗?
、
、
我正在通过Amazon的上的
集群
运行Hadoop作业。我的终端打开了,在那里我可以进入我的主节点。当我试图关闭我的终端时,我会收到一个警告,所有的进程都会被关闭。这也会毁掉我的Hadoop工作吗?
浏览 2
提问于2014-03-14
得票数 1
回答已采纳
1
回答
使用Lambda打开和拆卸
集群
、
、
我正在尝试使用一个预定的lambda函数来周期性地打开和拆卸
EMR
集群
。我正在考虑通过CloudFormation来实现这一点,也许可以使用lambda来启动一个
EMR
集群
。
浏览 0
提问于2017-02-27
得票数 1
2
回答
AWS
EMR
-如何将文件复制到所有节点?
有没有办法通过
EMR
命令行将文件复制到
EMR
集群
中的所有节点?我正在与presto工作,并已创建了我的自定义插件。问题是我必须在所有的节点上安装这个插件。我不想
登录
到所有节点并复制它。
浏览 0
提问于2020-10-20
得票数 0
2
回答
在Amazon
EMR
中设置配置单元属性?
、
、
、
、
我正在尝试使用Amazon
EMR
运行配置单元查询,并尝试让Apache Tez使用它,根据我的理解,这需要根据将hive.execution.engine属性设置为tez谢谢!
浏览 4
提问于2015-08-01
得票数 0
1
回答
如何在Oozie中的非HA
集群
上提交工作流作业
在E-MapReduce
集群
中,Oozie用户在阿里云ECS中默认安装了sharelib。我很感谢大家对我的帮助。
浏览 2
提问于2018-11-01
得票数 0
1
回答
是否有可能等到
EMR
集群
被终止?
、
、
、
、
我正在尝试编写一个组件,它将启动一个
EMR
集群
,在该
集群
上运行一个Spark管道,然后在管道完成后关闭该
集群
。我有两个具体问题: 对
emr
.runJobFlow的调用在提交结果后立即返回。有什么方法可以让它阻塞直到
集群
被
浏览 0
提问于2019-06-13
得票数 2
回答已采纳
2
回答
在引导操作中找不到Hadoop命令
、
、
我有一个
EMR
集群
,它作为引导操作使用来自我的script.sh的s3。其中包括一些hadoop dfs -distcp和hadoop dfs -copyToLocal命令。如果我
登录
到构建好的
EMR
集群
并运行命令,这是绝对好的,但如果我尝试作为引导操作的一部分,它将失败。我要做的操作链是启动
EMR
集群
,从s3自动获取数据,执行分析,生成输出,将输出复制回s3,关闭
集群
谢谢!
浏览 6
提问于2016-04-15
得票数 1
回答已采纳
1
回答
EMR
_EC2_DefaultRole和
EMR
_DefaultRole有什么不同?
、
在aws
emr
启动后,我注意到它有一个ec2实例配置文件
EMR
_EC2_DefaultRole和一个
emr
角色
EMR
_DefaultRole,它们具有类似的权限,那么
EMR
_EC2_DefaultRole和
EMR
_DefaultRole之间有什么不同呢?
浏览 0
提问于2019-01-10
得票数 11
回答已采纳
1
回答
在将状态设置为启动后,我的
emr
群集将因错误而终止。
、
、
嗨,当我创建
EMR
集群
时。状态说明它正在创建,但是58分钟后,它抛出错误,表示Master - 1: Error provisioning instances。我正在跟踪AWS关于如何创建
EMR
集群
的文档。https://docs.aws.amazon.com/
emr
/latest/ManagementGuide/
emr
-gs.html我哪里出错了?我想成
浏览 0
提问于2022-01-15
得票数 0
回答已采纳
3
回答
使用Airflow dag创建
EMR
群集运行,一旦任务完成,
EMR
将终止
、
、
、
我有Airflow作业,它们在
EMR
集群
上运行得很好。我需要的是,假设我有4个airflow作业,需要
EMR
集群
20分钟才能完成任务。为什么不呢?我们可以在DAG运行时创建一个
EMR
集群
,一旦作业完成,它将终止创建的
EMR
集群
。
浏览 4
提问于2019-03-19
得票数 2
1
回答
连接到电子病历导入自定义SageMaker模块的Python笔记本
、
、
我有一个SageMaker笔记本实例,打开了一个连接到AWS
EMR
集群
的SparkMagic Pyspark笔记本。
浏览 9
提问于2019-11-28
得票数 2
1
回答
由HBase支持的
EMR
读取副本无法通过Java连接
、
、
、
、
我正在尝试将Geomesa与HBase只读
集群
连接起来。当通过AWS服务(使用HBase Java代码)连接到
EMR
集群
时,我得到了以下错误:备注 我能够成功地连接读写
集群
.问题只是只读的 Cluster.Hbase和Geomesa正在正常工作。我可以通过shell获取数据。问题只存在于HBase或Geomesa
浏览 2
提问于2020-03-27
得票数 2
1
回答
是否有方法在另一个电子病历作业中调用
EMR
集群
的JobFlowId?
、
、
、
我正在执行亚马逊SWF在
EMR
上的工作。我想在另一个
EMR
集群
中使用这个
EMR
集群
JobFlowID。当前,要将jar步骤添加到我正在使用的
EMR
集群
中如何在另一个工作流中使用此步骤并调用上一个
集群
的作业流
浏览 2
提问于2014-10-01
得票数 0
回答已采纳
1
回答
如何设置支持Impala的
EMR
集群
?
、
、
、
、
其中一份aws文档声明
EMR
集群
支持impala。但我在创建
EMR
集群
时看不到impala选项。如何在
EMR
集群
中安装impala-shell? 提前谢谢..
浏览 22
提问于2020-06-05
得票数 1
回答已采纳
1
回答
在第一个amazon-
emr
集群
完成时启动另一个amazon-
emr
集群
、
我有一个主
emr
集群
在做一系列的步骤工作,我必须再添加8个步骤。 我面临的问题是,第一个
EMR
集群
对于这8个步骤来说太强大了。因此,我想知道是否有一种简单的方法可以在第一个
集群
完成时自动旋转另一个
集群
(它将从r4.8xlarge降级到r4.xlarge,8到10个实例)。无论硬件是什么,这些步骤都需要4小时,这就是为什么我的目标是降低
集群
的成本。
浏览 0
提问于2019-09-12
得票数 0
1
回答
能否使用数据管道创建具有自动缩放功能的
EMR
集群
、
、
、
我已经通过AWS控制台使用自动缩放策略创建了一个
EMR
集群
。我还创建了一个数据管道,它可以使用这个
集群
来执行这些活动。 我还能够通过数据管道动态创建
EMR
集群
。但是,在这样做时,我无法将自动缩放规则分配给
EMR
集群
。是否有办法通过数据管道将自动缩放角色和其他必需的配置配置到
EMR
集群
?
浏览 1
提问于2017-07-31
得票数 3
1
回答
如何将VPC子网中的
EMR
连接到EC2-经典的红移实例?
、
、
我们有一个红移
集群
,不是在VPC中的,我一直试图从VPC中的
EMR
集群
(连接互联网网关)连接到它,到目前为止没有运气。我想知道是否有可能做到这一点。注意-我已经尝试在VPC公共子网中启动一个新的红移群集,并且能够从同一个子网中的
EMR
连接到它。
浏览 0
提问于2020-08-05
得票数 0
回答已采纳
2
回答
AWS阶跃函数中的Pass变量
、
、
、
"Cause": "PreStep unsuccessful" "Spin Up Cluster": { }, "Comment": "Update the environment variables in the
EMR
&
浏览 0
提问于2019-10-14
得票数 3
回答已采纳
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
自建Hadoop集群迁移到EMR之数据迁移篇
什么是瞬态集群?解读火山引擎EMR Stateless 的创新理念以及应用
EMR 实战心得浅谈
EMR系统,这些你了解吗?
朴朴基于AWS EMR的数据沙盒平台演变
热门
标签
更多标签
云服务器
ICP备案
实时音视频
对象存储
云直播
活动推荐
运营活动
广告
关闭
领券