腾讯云
开发者社区
文档
建议反馈
控制台
登录/注册
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
在Sagemaker笔记本中的PySpark内核中安装python包
、
、
有人想出了如何在AWS Sagemaker Notebook实例上安装
软件
包,以便在PySpark内核中可用吗?我现在做了几次尝试,包括生命周期脚本,但似乎就是错过了正确的python env。
浏览 12
提问于2019-12-23
得票数 3
2
回答
AWS RDS作为AWS
EMR
的外部
配置
单元元存储
、
、
、
我已经创建了一个MySQL类型的AWS RDS实例,并希望将此实例用作
EMR
的外部
配置
单元元存储。我正在创建一个
EMR
,并在“编辑
软件
设置”中为外部
配置
单元元存储设置属性,但收到一些错误,如“terminating bootstrap failure”。请提前帮助我,谢谢。
浏览 14
提问于2018-01-10
得票数 0
3
回答
AWS
EMR
Hadoop管理
、
、
我们计划迁移到AWS
EMR
。我正在尝试了解AWS
EMR
Hadoop的内部工作原理(不是如何使用它),我主要对Hadoop管理步骤以及主从如何通信以及各种
配置
配置
感兴趣。我已经检查了AWS
EMR
文档,但没有看到详细的比较。 有人能推荐我一个从Apache Hadoop迁移到AWS
EMR
的链接/教程吗?
浏览 2
提问于2015-05-26
得票数 0
1
回答
禁用
EMR
上的多部分上载
、
、
、
、
说在创建
EMR
集群时,在编辑
软件
设置中输入classification=core-site,properties=[fs.s3.multipart.uploads.enabled=false]。我的问题是: 我们可以修改,现有的
EMR
集群的
配置
吗?如果是的话,怎么做?我们能否通过将sparkSession.sparkContext.hadoopConfiguration.set("fs.s3.multipart.uploads.enabled","false")放在要在
浏览 3
提问于2017-11-29
得票数 0
回答已采纳
2
回答
我应该使用AWS胶水还是
EMR
上的星火来处理二进制数据到拼板格式?
、
、
、
用于处理引擎我很困惑如何在AWS
EMR
和AWS Glue.之间进行选择请张贴您的建议,在AWS电子
EMR
或AWS胶之间选择。
浏览 16
提问于2022-02-07
得票数 -1
3
回答
获取
emr
-ddb-hadoop.jar以连接DynamoDB和
EMR
Spark
、
、
、
我有一个DynamoDB表,需要连接到
EMR
Spark SQL才能在该表上运行查询。我得到了
EMR
Spark Cluster,上面有版本标签
emr
-4.6.0和Spark 1.6.1。我指的是文档:spark-shell --jars /usr/share/aws/
emr
/ddb/lib/
emr
-ddb-hadoop.jarWarning: Local jar /us
浏览 3
提问于2016-05-06
得票数 5
1
回答
如何在Oozie中的非HA集群上提交工作流作业
在E-MapReduce集群中,Oozie用户在阿里云ECS中默认安装了sharelib。我很感谢大家对我的帮助。
浏览 2
提问于2018-11-01
得票数 0
2
回答
AWS
EMR
集群在主服务器关闭时终止
、
、
、
目前,当
EMR
集群主机停止(关机行为:停止而不是终止)时,我们会丢失集群,因为
EMR
的架构考虑到一旦主机关闭,集群就会终止。我们所处的世界中,硬件故障非常常见,将来
EMR
主机可能会出现故障,那么我们如何恢复存储在
EMR
集群上的数据呢?类似地,如果核心节点关闭并尝试硬重新启动(停止并启动);终止核心节点,则
配置
的核心节点将启动以满足所需的核心容量,并且我们将丢失终止核心节点的所有数据(HDD) (数据损坏)。
浏览 4
提问于2017-01-18
得票数 1
1
回答
在创建AWS
EMR
之后,将更多的Python包/库安装到每个集群
、
、
、
我知道在创建
EMR
之前,我可以将引导程序设置为在每个集群中设置环境,比如Python包/库。但是,如果我已经启动了
EMR
,那么如何在不重新启动
EMR
的情况下安装更多的Python包/库?spark.pyspark.virtualenv.enabled is set to true当我想在集群中安装更多的包/库时,当我已
浏览 12
提问于2020-05-22
得票数 4
1
回答
在AWS
EMR
上运行的spark应用程序的应用程序属性文件的放置位置
、
、
我正在向
EMR
提交一个spark应用程序作业jar,它使用了一些属性文件。
浏览 0
提问于2018-12-11
得票数 1
1
回答
在安装相同版本的windows安装程序
软件
时,第二次不是静默安装,而是显示错误消息。
我第一次安装了
软件
,并且安装得很好。如果我手动从控制面板卸载
软件
->添加/删除程序,那么它正在安装而没有显示任何错误信息。CurrentVersion\Uninstall\Test" DeleteRegKey HKLM "SOFTWARE\Test\
EMR
" DeleteRegKey H
浏览 0
提问于2019-01-01
得票数 0
回答已采纳
1
回答
在
EMR
笔记本电脑上通过电火花访问三角洲湖泊
、
、
我有一个关于使用外部库的查询,比如在AWS
EMR
笔记本上使用delta。目前还没有通过pypi包安装增量核心库的机制。可用的选项包括。用- packages选项发布pyspark内核另一个选项是通过os
配置
更改python脚本中的包选项,但我看不到它能够下载
软件
包,而且在导入delta.tables库上仍然会出现导入错误。第三个选项是手动下载JAR,但似乎在
EMR
笔记本上没有任何选项。 以前有人试过这个吗?
浏览 0
提问于2020-06-25
得票数 0
3
回答
AWS
EMR
火花1.0
、
、
有没有办法强迫亚马逊
EMR
使用Spark1.0.1?当前可选择的版本停留在1.4.1。
浏览 5
提问于2016-03-28
得票数 0
回答已采纳
1
回答
如何为EmrCreateJobFlowOperator指定
配置
文件?
、
、
、
我正在使用EmrCreateJobFlowOperator创建一个
EMR
集群,但是我需要为它指定一个
配置
文件来查找角色"
EMR
_EC2_DefaultRole“。如果我将"~/.aws/config“中的
配置
文件
配置
设置为默认
配置
文件,下面的代码可以使用"aws_default”,但这是我不希望做的事情,因为我有许多不同的
配置
文件,并且默认
配置
文件应该是干净的。为我的
配置
文件
配
浏览 10
提问于2021-07-20
得票数 0
回答已采纳
1
回答
在
emr
集群上安装com.databricks.spark.xml
、
、
、
、
有人知道如何在
EMR
集群上安装com.databricks.spark.xml包吗? 我成功地连接到了主
emr
,但不知道如何在
emr
集群上安装
软件
包。
浏览 2
提问于2020-02-19
得票数 1
2
回答
来自Boto3的AWS Boto3
EMR
软件
设置
配置
、
、
当您通过AWS管理控制台创建新的AWS
EMR
集群时,您可以提供JSON
软件
配置
。您可以将JSON文件放入S3桶中,并通过以下字段将
软件
配置
指向S3桶,我需要通过Boto3库来完成这个任务,但是在示例中的可用字段中,我不知道在哪里可以这样做, 'ADDomainJoinUser': 'string', 'ADDomainJoi
浏览 1
提问于2018-06-21
得票数 0
回答已采纳
1
回答
vpc子网更改不会让我启动
emr
集群
当群集启动时,它将失败: TerminatingService角色
EMR
_DefaultRole没有足够的ec2权限。
浏览 0
提问于2017-12-14
得票数 0
回答已采纳
2
回答
Amazon Yum更新引导在从服务器上失败
、
、
我的问题如下:但是,如果SSH进入从节点并手动执行sudo yum -y update,则操作在5.5.0
EMR
我无法进一步调试为什么会发生这种情况,因为尽管据我所知,
EMR
正确地
配置
了它,但它不会将任何日志复制到S3 (日志复制最多是零星的),而且CloudWatch也不
浏览 1
提问于2017-05-15
得票数 1
回答已采纳
2
回答
使用python MRJob在电子病历上引导库
、
、
、
、
我想知道什么是引导
EMR
节点的最佳方法,以便这些方法和包可用。代码在我的本地机器上运行良好。我的示例mrjob.conf文件:
emr
: aws_secret_access_keykey_pair_file: mykey.pem pool_wait_minutes: 2
浏览 3
提问于2014-05-03
得票数 1
回答已采纳
2
回答
EMR
的实例
配置
文件角色出错吗?
、
、
IAM_
EMR
_for_EC2是我为集群中的EC2创建的实例
配置
文件角色。发生1次错误: is测试集群: ValidationException:实例
配置
文件‘arn:arn:IAM:角色/IAM_
EMR
_for_ec2
浏览 1
提问于2018-05-29
得票数 4
回答已采纳
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
EMR 实战心得浅谈
EMR系统,这些你了解吗?
五、软件配置管理与软件测试-SVN
什么是软件配置管理
朴朴基于AWS EMR的数据沙盒平台演变
热门
标签
更多标签
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM
活动推荐
运营活动
广告
关闭
领券