如何在EMR 5.x中的pyspark shell / pyspark脚本中运行"s3-dist-cp“命令
在EMR 5.x中的pyspark shell / pyspark脚本中运行"s3-dist-cp"命令，可以通过以下步骤实现：
- 首先，确保你已经创建了一个EMR集群，并且集群已经处于运行状态。
- 在EMR集群的主节点上，打开终端或SSH连接到主节点。
- 确保你已经安装了pyspark。如果没有安装，可以通过以下命令安装：
sudo pip install pyspark
- 在pyspark shell中，导入必要的模块：
from pyspark.sql import SparkSession
- 创建一个SparkSession对象：
spark = SparkSession.builder.appName("s3-dist-cp").getOrCreate()
- 使用SparkSession对象执行"s3-dist-cp"命令。在命令中，指定源S3路径和目标S3路径：
command = "s3-dist-cp --src s3://source-bucket/path --dest s3://destination-bucket/path"
result = spark._jvm.org.apache.hadoop.util.ToolRunner.run(spark._jvm.org.apache.hadoop.tools.DistCp().getDistCp(), command.split())
这将在EMR集群上执行"s3-dist-cp"命令，并将源S3路径的内容复制到目标S3路径。
注意：在执行命令之前，确保你的EMR集群具有足够的权限来访问源和目标S3桶。
以上是在EMR 5.x中的pyspark shell / pyspark脚本中运行"s3-dist-cp"命令的步骤。这个命令可以用于在EMR集群中进行S3数据复制和迁移。
相关·内容
我在我的pyspark脚本中运行s3-dist-cp“命令时有一些问题，因为我需要一些数据从s3移动到hdfs以提高性能。所以我在这里分享这一点。
浏览 9提问于2017-01-23得票数 1
3回答
我在emr-5.0.0版本中遇到了s3-dist-cp命令的问题。在我的应用程序中，我需要将一些文件从hdfs推送到S3。我使用s3-dist-cp命令来实现这一点。它在emr-4.2.0中运行良好。但它在emr-5.0.0中不起作用。如果我手动运行该命令，它工作得很好。但它在我的应用程序中失败了。我没有在我的应用程序中做任何更改来在emr-5上运行它。
如果我需要使用emr-5，我需要做任何更改吗？我们在emr-5中使用s3-dist-cp命令的方式有什么变化吗？
我正在使用以下命令：
s3-dist-cp --src /user/hive/warehouse/abc.text --dest
浏览 2提问于2016-10-02得票数 4
1回答
当查看AWS EMR上的Step类型时：
，我们可以指定一个UNIX .sh脚本作为选项吗？，我们也可以运行shell吗?还是总是一个JAR需要运行火花提交？
浏览 1提问于2021-06-27得票数 0
回答已采纳
1回答
我必须使用pyspark在EMR实例上运行python脚本来查询dynamoDB。我可以通过查询pyspark上的dynamodb来做到这一点，它是通过在下面的command中包含jars来执行的。 `pyspark --jars /usr/share/aws/emr/ddb/lib/emr-ddb-hive.jar,/usr/share/aws/emr/ddb/lib/emr-ddb-hadoop.jar` 我运行了下面的python3脚本，使用pyspark python模块查询数据。 import time
from pyspark import SparkContext, Spark
浏览 16提问于2019-02-08得票数 2
回答已采纳
2回答
我很难在AWS集群中找到一种使用S3DistCp的方法。
一些老的示例演示了如何将s3distcp添加为EMR步骤，使用不再使用的elastic-mapreduce命令。
其他一些来源建议使用s3-dist-cp命令，这在当前的电子病历集群中是找不到的。甚至官方文档(和Even指南，2016pdf)也提供了这样一个例子：
aws emr add-steps --cluster-id j-3GYXXXXXX9IOK --steps Type=CUSTOM_JAR,Name="S3DistCp step",Jar=/home/hadoop/lib/emr-s3distcp-1.0.
浏览 3提问于2016-09-08得票数 6
回答已采纳
1回答
我想为emr步骤创建JSON数组。我已经为单个json字符串创建了数组。这是我的bash代码- export source="s3a://sourcebucket"
export destination="s3a://destinationbucket"
EMR_DISTCP_STEPS=$( jq -n \
--arg source "$source" \
--arg destination "$destination" \
浏览 26提问于2019-09-23得票数 1
回答已采纳
我在AWS EMR集群上运行带有pyspark3内核的Jupyterhub。正如我们可能知道的那样，EMR上的Jupyterhub pyspark3使用Livy session在AWS EMR YARN调度器上运行工作负载。我的问题是关于spark的配置:执行器内存/内核，驱动内存/内核等。
Jupyter的config.json文件中已经有一个默认配置：
...
"session_configs":{
"executorMemory":"4096M",
"executorCores":2,
浏览 24提问于2021-05-17得票数 1
2回答
目前，我使用EC2s集群使用预配置的./ec2目录自动化了Apache脚本。出于自动化和调度的目的，我想使用Boto EMR模块向集群发送脚本。
我能够引导并在EMR集群上安装Spark。我还可以在EMR上启动一个脚本，方法是使用本地机器的火花放电版本，并像这样设置主程序：
$: MASTER=spark://<insert EMR master node of cluster here> ./bin/pyspark <myscriptname.py>
但是，这需要我在本地运行该脚本，因此我无法充分利用Boto的能力来启动集群2)添加脚本步骤和3)停止集群。我已经找到了
浏览 4提问于2014-04-25得票数 25
1回答
我在S3上有一个很大的.tar.gz文件，我想把它移动到EMR HDFS (或临时S3存储桶)并解压缩，这样我就可以读取里面的一些小文件了。
我现在正在做的是有一个外壳脚本将文件从S3下载到本地(使用AWS CLI)，并让scala/spark作业在未压缩的下载文件上运行以生成一些结果。
我想要做的是在一个Scala/Spark作业中做所有的工作，它应该将文件从S3移动到EMR (或另一个S3临时位置)解压缩并处理文件。
我知道我们有可以在S3和EMR之间移动文件的，但是我如何在Scala代码中使用它(目前我只能在EMR shell中运行S3DistCp )？我们是否有任何库来使用该命令？
另
浏览 1提问于2018-02-21得票数 1
1回答
目前，我正在与其他人一起进行Python3.6项目。我们使用一个requirements.txt文件来存储我们的依赖项，这些依赖项将与pip或conda一起安装。
我添加了pyspark >= 2.2.0，它将运行pip install pyspark。我们利用蟒蛇。安装没有任何错误，我可以在本地Anaconda site-packages目录中找到pyspark目录。
当我运行我的python脚本时，脚本中包含一些火花代码。我得到了错误：Failed to find Spark jars directory。在进行了一些研究之后，我发现我需要构建吡火花代码，因为它在使用pip时并不是预
浏览 3提问于2017-12-12得票数 0
我在aws emr上使用了脚本运行程序，并且考虑到它看起来可能是非常基本的(可能是stuid)问题，但是我阅读了许多文档，没有人回答我们为什么需要emr中的脚本运行程序，而它所做的就是在主节点中执行脚本。不能使用bash运行相同的脚本吗？
浏览 4提问于2015-12-28得票数 1
回答已采纳
使用AWS控制台，我正在尝试启动一个EMR集群(包括。使用一个启动脚本，从HBase下载11 to的数据，然后将该文件放入HDFS。我有一个shell脚本，其中包括行
aws s3 cp s3://path/to/eleven/gb/of/data local/ --recursive
hdfs dfs -put local/ /
脚本在s3上，当我启动集群时，我包含一个引导操作，指向s3上的shell脚本。
但是，群集未能启动，并给出了以下错误：
终止错误:在主实例(i-036fb1c03d99115a8)上，引导操作1返回一个非零返回代码。
当我进入日志时，我在stderr输出中看
浏览 3提问于2020-11-02得票数 1
回答已采纳
我正在尝试在cloudera VM上的Pyspark中运行Python脚本
首先我运行pyspark
$ which pyspark
$ pyspark
在启动spark之后，我尝试了：
$ spark-submit /home/cloudera/test.py
告诉我“没有定义'spark‘的名字”
$ ./bin/spark-submit /home/cloudera/test.py
提示"SyntaxError:无效语法“
我知道网上有很多类似的问题，但我还是想不通。有人能帮帮忙吗？
浏览 0提问于2017-02-24得票数 0
1回答
我正在提交在电子病历上并行运行的步骤。我这样做是通过在s3路径上使用pyspark代码保存python脚本。然后，我使用下面的boto代码提交与emr并行的步骤。这些步骤运行我在脚本文件中保存到s3的代码。相反，我想创建一个函数，如下面的"read_write“示例函数，以执行我在保存的python脚本中所做的相同操作。这样，我就不必在我试图并行运行的每一步中都将一个python脚本文件保存到s3。是否有一种方法可以将我想在步骤中运行的代码提交到下面的boto代码中，而不必将其保存到s3脚本文件中？我提供了类似于当前提交步骤以并行运行的示例代码。我还提供了与我想要做的类似的代码，在与b
浏览 5提问于2022-08-24得票数 0
3回答
我使用的是spark-shell，无法获取外部jars。我在电子病历中运行spark。
我运行以下命令：
spark-shell --jars s3://play/emr/release/1.0/code.jar
我得到以下错误：
OpenJDK 64位服务器VM警告:忽略选项MaxPermSize=512M；8.0警告中删除了支持:跳过远程jar s3://play/emr/release/1.0/code.jar
提前谢谢。
浏览 6提问于2016-02-25得票数 6
我在Amazon EMR群集上对HDFS的设置进行了一些更改。我想重新启动namenode和datanode以使更改生效。我在namenode(master)和datanodes上都找不到任何这样做的启动和停止脚本。重启集群的方式应该是什么？
浏览 4提问于2015-08-25得票数 2
我正在尝试设置一个触发python脚本的oozie作业。请注意，这不是一个pyspark应用程序，而是一个普通的python脚本。
我希望这个作业只在主节点上运行(因为我已经在主节点上单独安装了所需的依赖库)。
有没有办法通过oozie调度在master上运行这个作业？
非常感谢你的回答！
我已经在主节点上安装了依赖库，并手动运行了python脚本，它可以正常工作。我现在所做的就是从oozie中安排它。
浏览 0提问于2019-09-05得票数 0
3回答
我想使用GrameFrames包，如果我要在本地运行pyspark，我会使用以下命令：
~/hadoop/spark-2.3.1-bin-hadoop2.7/bin/pyspark --packages graphframes:graphframes:0.6.0-spark2.3-s_2.11
但是，我如何使用此程序包运行AWS Glue脚本？我在文档里什么也没找到...
浏览 3提问于2018-11-20得票数 3
1回答
我需要通过堡垒进入一台机器。因此，该命令对于以下内容来说相当长： ssh -i <pemfile location> -A -o 'proxycommand ssh -i <pemfile location> ec2-user@<bastion ip address> -W %h:%p' hadoop@<machine ip> 这个命令相当长。因此，我尝试编写一个python脚本，它将ip地址和pemfile位置作为输入并执行ssh。 #!/usr/local/bin/python3
import argparse
impor
浏览 13提问于2020-01-31得票数 0
回答已采纳
3回答
我创建了一个Amazon EMR集群，其中已经包含Spark。当我从终端运行pyspark时，当我ssh进入我的集群时，它进入pyspark终端。
我使用scp上传了一个文件，当我尝试使用python FileName.py运行它时，我得到了一个导入错误：
from pyspark import SparkContext
ImportError: No module named pyspark
我该如何解决这个问题？
浏览 0提问于2015-08-13得票数 11
我正在使用AWS数据管道中的EMR活动。此EMR活动正在EMR群集中运行一个单元脚本。它以dynamo作为输入，并将数据存储在S3中。
这是EMR活动中使用的EMR步骤。
s3://elasticmapreduce/libs/script-runner/script-runner.jar,s3://elasticmapreduce/libs/hive/hive-script,--run-hive-script,--hive-versions,latest,--args,-f,s3://my-s3-bucket/hive/my_hive_script.q,-d,DYNAMODB_INPUT_TA
浏览 4提问于2017-03-18得票数 12
回答已采纳
1回答
我正在旋转一个EMR集群，我已经创建了指定的存储桶，但是我应该如何上传数据并从中读取呢？在我的火花提交步骤中，我说使用s3://myclusterbucket/scripts/script.py的脚本名不是自动上传到s3的吗？依赖关系是如何处理的？我尝试使用指向s3桶中的依赖项压缩的pyfile，但是继续返回“未找到的文件”
浏览 0提问于2017-11-09得票数 3
回答已采纳
我已经成功地使用terraform创建了一个电子病历集群，根据terraform文档，它指定了如何将步骤作为jar 提交到电子病历
step {
action_on_failure = "TERMINATE_CLUSTER"
name = "Setup Hadoop Debugging"
hadoop_jar_step {
jar = "command-runner.jar"
args = ["state-pusher-script"]
}
浏览 1提问于2020-06-07得票数 1
我是新的PySpark和AWS EMR。 对于Pyspark.py脚本，它很简单，如下： 我想检查一下从123xxxx开始加载的s3文件内容。 from __future__ import print_function
from pyspark import SparkContext
import sys
if __name__ == "__main__":
if len(sys.argv) != 3:
print("Usage: wordcount ", file=sys.stderr)
exit(-1)
s
浏览 15提问于2021-04-02得票数 0
回答已采纳
3回答
在EMR上，我很难使用Hue/Zeppelin中的pySpark访问Glue数据目录中的表。我试过emr-5.13.0和emr-5.12.1。
我试着遵循，但是当试图导入GlueContext时，会出错，并声明为No module named awsglue.context.
另一个注意事项是，在执行spark.sql("SHOW TABLES").show()时，它对于Hue/Zeppelin来说是空的，但是当使用主节点上的pyspark时，我能够从Glue数据目录中看到和查询该表。
任何帮助都是非常感谢的，谢谢！
浏览 1提问于2018-04-16得票数 2
回答已采纳
在使用Python 3.6的Amazon EMR集群(1个主服务器，2个节点)上运行Spark 2.4.2
我正在读取亚马逊s3中的对象，以拼图格式压缩它们，并将它们添加(附加)到现有的拼图数据存储中。当我在pyspark shell中运行我的代码时，我能够读取/压缩对象并将新的拼图文件添加到现有的拼图文件中，并且，当我对拼图数据运行查询时，它显示所有数据都在拼图文件夹中。但是，当我在EMR集群上的某个步骤中运行代码时，现有的拼图文件会被新文件覆盖。相同的查询将显示只有新数据在那里，而包含地块数据的s3文件夹只有新数据。
以下是该步骤的关键代码：
spark = SparkSessio
浏览 17提问于2019-07-10得票数 1
回答已采纳
2回答
我在一个木星笔记本上运行了一个本地Python脚本，它在我的机器上运行我的本地Spark集群上的作业：
sc = pyspark.SparkContext(appName="test")
sqlCtx = pyspark.SQLContext(sc)
如何将此更改为连接字符串，以便在AWS中运行我的EMR集群上的作业？
这是可能的，还是当SSH‘’ing进入远程集群时，我必须使用spark-submit函数？
浏览 0提问于2018-11-02得票数 0
回答已采纳
我正在使用一个安装了一些库的虚拟环境在aws上运行一些作业。我跟着这个，也是。但是当我运行作业时，我有一个错误：
Job execution failed, please check complete logs in configured logging destination. ExitCode: 1. Last few exceptions: Caused by: java.io.IOException: error=2, No such file or directory Exception in thread "main" java.io.IOException: Ca
浏览 44提问于2022-07-18得票数 1
回答已采纳
我尝试在aws emr中运行一个非常简单的pyspark脚本作为步骤，如下所示：
from pyspark.sql import SparkSession
sc = SparkContext()
df = sc.read.csv("s3://folder1/file.csv",header=True,inferSchema=True)
dd=df.select(df)
write_to = "s3://spark-workflow-test/"
dd.write.csv(write_to, sep = ";", header = True)
sc
浏览 2提问于2018-04-22得票数 0
陈述我的问题
1)我想将我们的cdh hadoop集群备份到s3
2)我们有一个正在运行的emr集群
3)我正在尝试从emr集群运行s3distcp，将src作为cdh远程集群的hdfs URL，将目标作为s3。
出现以下错误:由: org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.security.AccessControlException)：权限被拒绝: user=mapred，access=RE AD_EXECUTE，inode="/tmp/hadoop-mapred/mapred/staging“
以下是我在阅读此
浏览 4提问于2017-12-28得票数 0
2回答
我想要创建一个新的EMR集群，运行一个PySpark作业并销毁它。理想情况下，我希望通过在创建集群时添加一个步骤来做到这一点。在本地运行以启动作业的命令如下所示：
spark-submit calculate.py --input x.csv --output output
我不明白的是如何确保calculate.py已经在主节点上可用。我看到了从S3桶中读取python脚本的引用，但我无法做到这一点。
现在，我有了单独的命令来创建集群，将脚本放在主节点上并添加步骤。这方面的问题是，集群在作业步骤完成后继续运行。
浏览 2提问于2015-09-28得票数 6
回答已采纳
2回答
我已经准备好了一个临时的Emr集群，我想在emr笔记本上运行一个简单的pyspark脚本。
有没有办法通过terraform创建和修改电子病历笔记本？
提前谢谢。
浏览 1提问于2021-05-18得票数 0
我有一个运行pyspark应用程序(或在AWS EMR中称为steps )的aws emr集群。 我想为pyspark应用程序设置环境变量，并将其放入集群配置中(在googling搜索之后)： [
{
"Classification": "spark-defaults",
"Properties": {
"spark.executorEnv.MY_ENV": "some-value"
}
}
] 环境变量在pyspark进程中不可用。 我也试过了： [
{
浏览 14提问于2020-09-21得票数 0
回答已采纳
1回答
我想在PySpark中构建一个模型。和输入到此模型的表单impala.Is是否可以从PySpark连接？谢谢!
浏览 0提问于2017-06-03得票数 1
5回答
我想协调我的电子病历工作。所以我认为oozie会很适合。我在oozie工作流程上做了一些POC，但在本地模式下，它相当简单和伟大。
但是我不明白如何在EMR集群上使用oozie。通过一些搜索，我了解到aws并不附带oozie，所以我们明确地将其安装为引导程序操作。大多数人指向此链接
但由于我是aws(EMR)的新手，我仍然对如何使用它感到困惑。这将是伟大的，如果有人可以简化它为我提供一些步骤或什么。
谢谢
浏览 0提问于2014-03-12得票数 3
我使用的是亚马逊的弹性地图缩减。我正在进入hadoop主节点并执行类似的脚本。
$EMR_BIN/elastic-mapreduce --jobflow $JOBFLOW --ssh < hivescript.sh。它将我发送到主节点并运行hive脚本。蜂巢记录包含以下几行内容
hive add jar joda-time-1.6.jar; add jar EmrHiveUtils-1.2.jar;
和一些创建蜂巢表的命令。脚本运行良好，可以创建单元表和其他所有内容，但是从我运行脚本的位置返回到提示。如何让它在单元提示符下进入hadoop主节点。
浏览 1提问于2014-06-17得票数 1
回答已采纳
我正在尝试使用AWS CLI创建一个EMR集群，以运行python脚本(使用pyspark)，如下所示：
aws emr create-cluster --name "emr cluster for pyspark (test)"\
--applications Name=Spark Name=Hadoop --release-label emr-5.25.0 --use-default-roles \
--ec2-attributes KeyName=my-key --instance-groups \
InstanceGroupType=MASTER,Instance
浏览 0提问于2020-08-02得票数 2
我已使用以下AWS文档配置创建了EMR集群
{
"Classification": "livy-conf",
"Properties": {
"livy.spark.deploy-mode": "cluster",
"livy.impersonation.enabled": "true",
"livy.spark.yarn.appMasterEnv.PYSPARK_PYTHON": "/usr/bin/py
浏览 3提问于2018-10-16得票数 4
这是我的目标，在这里，我希望为list变量中的每个元素运行一个循环。问题是循环运行，但test变量值作为空传递。
list = mlflow emr
common=$(someDir)/common
.PHONY:build
build:
for var in $(list); do \
cd ${common}; \
test=$(git diff --name-only --diff-filter=AM master | grep ^$(var)/); \
if [ "$(test)" != "" ];
浏览 2提问于2020-12-07得票数 0
回答已采纳
1回答
我需要更新我的EMR集群中所有实例的/etc/hosts (EMRAm4.3)。
整个脚本只不过是：
#!/bin/bash
echo -e 'ip1 uri1' >> /etc/hosts
echo -e 'ip2 uri2' >> /etc/hosts
...
这个脚本需要以sudo的形式运行，否则就会失败。
出发地：
默认情况下，引导操作作为Hadoop用户执行。您可以使用sudo使用根权限执行引导操作。
好消息..。但我不知道该怎么做，也找不到一个例子。
我试过很多东西..。包括..。
以Hadoop的形式运行，并在脚
浏览 1提问于2018-08-29得票数 4
回答已采纳
2回答
我正在学习Spark基础知识，为了测试我的Pyspark应用程序，我在AWS上创建了一个使用Spark、Yarn、Hadoop和Oozie的EMR实例。我成功地使用spark-submit从驱动程序节点执行了一个简单的pyspark应用程序。我有使用Yarn Resource Manager的AWS创建的默认/etc/spark/conf/spark-default.conf文件。一切都运行得很好，我还可以监控跟踪URL。但我无法区分spark作业是在“客户端”模式下运行还是在“集群”模式下运行。我该如何确定呢？
摘录自/etc/spark/conf/spark-default.conf
sp
浏览 0提问于2020-01-27得票数 0
为了编写一个独立的脚本，我想直接从Python启动和配置一个Spark上下文。使用PySpark的脚本，我可以通过以下方式设置驱动程序的内存大小：
$ /opt/spark-1.6.1/bin/pyspark
... INFO MemoryStore: MemoryStore started with capacity 511.5 MB ...
$ /opt/spark-1.6.1/bin/pyspark --conf spark.driver.memory=10g
... INFO MemoryStore: MemoryStore started with capacity 7.0 GB .
浏览 6提问于2016-06-23得票数 7
回答已采纳
3回答
我使用的是PyCharm 2018.1，使用的是Python3.4，其中的Spark2.3是通过pip安装在一个虚拟环境中的。本地主机上没有安装hadoop，因此没有Spark安装(因此没有SPARK_HOME、HADOOP_HOME等)。
当我尝试这样做时：
from pyspark import SparkConf
from pyspark import SparkContext
conf = SparkConf()\
.setMaster("local")\
.setAppName("pyspark-unittests")\
.se
浏览 0提问于2018-05-05得票数 4
回答已采纳
我正在从运行在EMR上的吡火花写一个数据到外部的蜂巢表。这项工作包括从外部单元表中删除/截断数据，将数据的内容写入上述表，然后将数据从单元写入DynamoDB。我想写到EMR集群上的一个内部表，但现在我希望以后的集群可以使用蜂箱数据。我可以直接写信到Glue目录，强迫它注册，但这比我需要做的还要远。
所有组件都可以在给定的EMR集群上单独工作:我可以使用脚本或ssh和hive shell在EMR上创建外部单元表。这张桌子可以被雅典娜查询，也可以通过火星雨阅读。我可以创建一个dataframe并将数据插入到上述表中。然后，我可以使用hive将数据从hive表复制到DynamoDB表中。
我想把所
浏览 4提问于2020-10-22得票数 0
回答已采纳
我们使用一个引导脚本在EMR集群节点上安装python库，用于我们的Spark作业。该脚本如下所示：
sudo python3 -m pip install pandas==0.22.0 scikit-learn==0.21.0
一旦集群运行完毕，我们就使用气流的SparkSubmitHook将作业提交给EMR。我们使用配置来将pyspark绑定到python3。问题是，偶尔，当作业开始运行时，我们会得到ModuleNotFoundError: No module named 'sklearn'错误。这样的堆栈跟踪如下所示：
return self.loads(obj)
Fi
浏览 3提问于2019-08-13得票数 0
回答已采纳
1回答
从电火花EMR访问AWS RDS
、、、、
我正在尝试使用EMR中的Pyspark来访问RDS中的一些表。
我试着在/usr/share/java中安装JDBC驱动程序，但是看起来火花并没有启动驱动程序
from pyspark.sql import SparkSession
jdbc_url = "jdbc:mysql://{0}:{1}/{2}".format(hostname, jdbcPort, dbname)
hostname = "rds_host"
jdbcPort = 3306
dbname = 'demo'
username = 'user'
passw
浏览 3提问于2020-04-27得票数 1
回答已采纳
1回答
我正在尝试连接到由气流EMR操作员启动的EMR集群中的雪花，但我得到了以下错误
py4j.protocol.Py4JJavaError:调用o147.load时出错。：：java.lang.ClassNotFoundException:未能找到数据源: net.snowflake.spark.snowflake。请在找到包裹
以下是我要添加到EMRaddsteps操作符中以运行脚本load_updates.py的步骤，并在"Args“中描述我的雪花包。
STEPS = [
{
"Name" : "convo_facts",
浏览 6提问于2021-02-20得票数 0
回答已采纳
我正在尝试创建一个“步骤”，并将许多小文件收集到一个步骤中，这样我就可以将其分开几天。问题是我想要运行，而不是让我运行。
执行该命令对我来说效果很好：
hadoop distcp s3n://buket-name/output-files-hive/* s3n://buket-name/files-hive/test
但是如果我已经输入了命令"group by“或"srcPattern”，它不会使我成为任何东西。
在Amazon EMR控制台中创建“步骤”后，我一直都会遇到错误。你指出了这个文件
命令：
aws emr add-steps --cluster-id j-XXXX
浏览 6提问于2016-07-13得票数 2
3回答
我在亚马逊的EMR集群上运行火星雨。我有一个非常简单的测试脚本，看看我是否可以使用spark submit向s3写入数据.
from pyspark import SparkContext
sc = SparkContext()
numbers = sc.parallelize(range(100))
numbers.saveAsTextFile("s3n://my-bucket/test.txt")
sc.stop()
当我在python2.7环境中使用submit运行这个脚本时，它工作得很好。但是，当我试图在python3.4环境中运行相同的脚本时，我会得到以下的跟踪结果.
浏览 6提问于2017-01-29得票数 1
回答已采纳
如何通过AWS Lambda使我的PySpark代码与AWS EMR一起运行？我是否必须使用AWS Lambda创建一个自动终止的EMR群集来运行一次S3存储的代码？
浏览 0提问于2020-06-03得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM活动推荐
腾讯云开发者
