我有一个EMR集群,它作为引导操作使用来自我的script.sh的s3。其中包括一些hadoop dfs -distcp和hadoop dfs -copyToLocal命令。如果我登录到构建好的EMR集群并运行命令,这是绝对好的,但如果我尝试作为引导操作的一部分,它将失败。/1/setup.sh: line 7: hdfs: command not found
/mnt/var/lib/bootstrap-actions/1/
我在Google中使用bdutil部署了一个星火集群。我在我的驱动程序实例上安装了一个GUI,以便能够从它运行IntelliJ,这样我就可以尝试在交互模式下运行我的Spark进程。/hadoop-install/lib/gcs-connector-1.4.0-hadoop1.jar")
at org.apache.hadoop.io.