使用spark和HDFS作为文件存储系统，使用YARN作为资源管理器的优势是什么？
使用Spark和HDFS作为文件存储系统，使用YARN作为资源管理器的优势包括以下几点：
- 高性能和可扩展性：Spark是一个快速的大数据处理框架，它能够在内存中进行数据处理，提供了比传统MapReduce更高的性能。同时，HDFS作为分布式文件系统，具有高可扩展性，能够处理大规模数据存储和处理需求。
- 统一的资源管理：YARN作为资源管理器，能够有效地管理集群中的资源分配和任务调度。它可以根据应用程序的需求动态分配资源，确保每个应用程序都能获得足够的计算和存储资源，从而提高集群的利用率。
- 多种计算模式支持：Spark支持多种计算模式，包括批处理、交互式查询和流式处理。使用Spark和HDFS作为文件存储系统，结合YARN作为资源管理器，可以灵活地支持各种计算模式，满足不同应用场景的需求。
- 数据可靠性和容错性：HDFS具有数据冗余和容错机制，能够自动将数据复制到多个节点上，确保数据的可靠性和可用性。同时，Spark具有强大的容错性，能够在节点故障时自动恢复计算任务，保证数据处理的连续性。
- 生态系统丰富：Spark和HDFS作为开源项目，拥有庞大的生态系统，提供了丰富的工具和库，可以支持各种数据处理和分析任务。同时，腾讯云也提供了与Spark和HDFS集成的产品和服务，如Tencent Spark、Tencent HDFS等，可以进一步提升使用体验。
总结起来，使用Spark和HDFS作为文件存储系统，使用YARN作为资源管理器，能够提供高性能、可扩展性、统一的资源管理、多种计算模式支持、数据可靠性和容错性等优势，适用于大规模数据处理和分析的场景。相关的腾讯云产品包括Tencent Spark和Tencent HDFS，详情请参考腾讯云官网相关产品介绍页面。
相关·内容
使用HDFS实现节点本地数据局部化是否需要使用Spark和YARN？
如果我使用Spark独立集群管理器，并将我的数据分布在HDFS集群中，Spark如何知道数据位于节点本地？
浏览 1提问于2016-10-18得票数 0
我正在使用rapidminer从大数据集中提取规则。Radoop是对hadoop生态系统的扩展，sparkRM操作符允许进行fp-growth，从从hive检索数据到探索分析。我正在开发：-windows 8.1 -hadoop 6.2 -spark 1.5 -hive 2.1我已经将spark-default-conf配置如下：
# spark.master yarn
# spark.eventLog.enabled true
# spark.eventLog.dir hdfs://namenode:80
浏览 10提问于2018-12-17得票数 0
当我试图使用HDFS文件系统在纱线模式下运行星火应用程序时，当我提供以下属性时，它工作得很好。
sparkConf.set("spark.hadoop.yarn.resourcemanager.hostname",resourcemanagerHostname);
sparkConf.set("spark.hadoop.yarn.resourcemanager.address",resourcemanagerAddress);
sparkConf.set("spark.yarn.stagingDir",stagingDirectory );
但这
浏览 3提问于2017-05-09得票数 1
我有Java Spark作业，在EC2上以独立模式手动部署Spark 1.6.0。
我正在使用YARN将这个作业提交到主服务器上的EMR 5.3.0集群，但失败了。
Spark-submit行是
spark-submit --class <startclass> --master yarn --queue default --deploy-mode cluster --conf spark.eventLog.enabled=true --conf spark.eventLog.dir=hdfs://`hostname -f`:8020/tmp/ourSparkLogs --driv
浏览 1提问于2017-02-18得票数 1
我将作业提交到运行在Yarn上的星火集群--有时通过相对缓慢的连接提交。为了避免为每个作业上传156 job火花组装文件，我将配置选项spark.yarn.jar设置为HDFS上的文件。但是，这并不能避免上传，而是从HDFS目录获取程序集文件，并将其复制到应用程序目录：
$:~/spark-1.4.0-bin-hadoop2.6$ bin/spark-submit --class MyClass --master yarn-cluster --conf spark.yarn.jar=hdfs://node-00b/user/spark/share/lib/spark-assembly.jar
浏览 2提问于2015-07-06得票数 1
回答已采纳
1回答
我想了解星火作业是如何在纱线集群中工作的。
我使用下面的命令来提交作业
spark-submit --master yarn --deploy-mode cluster sparksessionexample.py
提交作业控制台后，控制台日志如下所示
2020-05-29 20:52:48,668 INFO yarn.Client: Uploading resource file:/tmp/spark-bcd415f0-a22e-46b2-951c-5b6e4385a0c6/__spark_libs__2908230569257238890.zip -> hdfs://localhos
浏览 2提问于2020-05-29得票数 1
我一直在玩HDFS和Spark。我已经在我的网络上设置了一个五个节点集群，运行HDFS、Spark，并由Yarn管理。工作人员正在以客户端模式运行。从主节点，我可以很好地启动PySpark外壳。运行示例jars时，作业被分割成工人节点，并很好地执行。
对于是否以及如何在这个集群上运行python/Pyspark文件，我有几个问题。
如果我在其他地方有一个带有PySpark调用的python文件，比如在我的本地dev笔记本电脑上或者在某个地方的码头容器上，那么有什么方法可以在本地运行或提交这个文件并让它在远程Spark集群上执行呢？我想知道的方法包括在本地/docker环境中运行submit，但
浏览 45提问于2022-10-11得票数 0
回答已采纳
1回答
我在Eclipse Oxygen上编写了两个不同的代码。在前者中，Spark的主人是本地化的。
public class JavaClientLocal {
public static void main(String[] args) {
// TODO Auto-generated method stub
SparkConf sc = new SparkConf().setAppName("SparkTest").setMaster("local");
JavaSparkContext jsc = ne
浏览 2提问于2017-10-08得票数 0
我们在与Cassandra不同的一组节点上运行Spark/Hadoop。我们有10个Cassandra节点和多个spark内核，但Cassandra没有在Hadoop上运行。通过spark(在yarn客户端模式下)从Cassandra获取数据的性能不是很好，从HDFS读取批量数据的速度更快(在Cassandra中为6分钟，在HDFS中为2分钟)。更改Spark-Cassandra参数也没有多大帮助。
在Cassandra上部署Hadoop会解决这个问题并主要影响读取性能吗？
浏览 18提问于2018-07-27得票数 0
1回答
time ../bin/spark-submit --master yarn --deploy-mode cluster --driver-memory 2g --executor-memory 3G --num-executors 100 /var/tmp/learning/Movie-Similarities-1m-hdfs.py 260
耗时: 6m5.293s
time ../bin/spark-submit --master yarn --deploy-mode cluster --driver-memory 2g --executor-memory 2G --num-exe
浏览 0提问于2016-06-16得票数 0
我正在运行spark-submit，如下所示：
spark-submit --deploy-mode client
--master yarn
--conf spark.files.overwrite=true
--conf spark.local.dir='/my/other/tmp/with/more/space'
--conf spark.executor.extraJavaOptions='-Djava.io.tmpdir=/my/other/tmp/
浏览 0提问于2018-11-27得票数 1
5回答
这是很明显的，我们都会同意，我们可以称HDFS + YARN + MapReduce为Hadoop。但是，在Hadoop生态系统中，不同的其他组合和其他产品会发生什么呢？
例如，HDFS + YARN + Spark仍然是Hadoop吗？HBASE是Hadoop吗？我想我们考虑的是HDFS + YARN + Pig Hadoop，因为Pig使用MapReduce。
只是MapReduce工具被认为是Hadoop，但是在HDFS + YARN上运行的任何其他工具(比如火花)都是非Hadoop。
浏览 18提问于2015-01-24得票数 13
回答已采纳
我使用的是结构化流媒体。当我在构建sparksession时将master设置为local，并在使用spark-submit时以客户端模式部署它时，应用程序成功地写入HDFS。
当我注释master(local)和spark-submit时，当我部署模式为集群时，它不会写入HDFS。我尝试在YARN模式下运行，并将其部署为集群模式。我是否需要指定spark.yarn.keytab，如下所示:感谢任何输入。
val spark = SparkSession.builder
.master("local[*]")
.config("spa
浏览 0提问于2020-07-28得票数 0
我远程使用8节点集群的Apache Spark 1.6。我在主节点上使用spark-submit提交作业，如下所示：
hastimal@hadoop-8:/usr/local/spark$ ./bin/spark-submit --class umkc.graph.SparkRdfCcCount --master yarn-cluster --num-executors 7 --executor-memory 52g --executor-cores 7 --driver-memory 52g --conf spark.default.parallelism=49 --conf spar
浏览 3提问于2016-04-26得票数 1
1回答
我已经在本地windows机器上的linux中安装了Hadoop/YARN。在同一台windows机器(不在VM中)上，我已经安装了Spark。在windows上运行spark时，我可以读取HDFS中存储的文件(在linux中)。
val lines = sc.textFile("hdfs://MyIP:9000/Data/sample.txt")
当保存一个用于HDFS saveAsTextFile("hdfs://MyIP:9000/Data/Output")的文件时，我得到以下错误：
org.apache.hadoop.security.AccessCo
浏览 1提问于2018-09-16得票数 0
回答已采纳
我正在尝试执行spark字数统计程序。我的输入文件和输出目录在本地，而不是HDFS上。当我执行代码时，我得到输入目录未找到异常。
import org.apache.spark.SparkConf
import org.apache.spark.sql.SparkSession
object WordCount {
val sparkConf = new SparkConf()
def main(args: Array[String]): Unit = {
val spark = SparkSession.builder().config(sparkConf).maste
浏览 6提问于2018-07-21得票数 0
回答已采纳
我试图设置一个dataproc集群，它一次只计算一个作业(或指定的最大作业)，其余的将处于队列中。
我已经找到了这个解决方案，，但是由于我一直在创建一个新的集群，我需要将其自动化。我在集群创建中添加了以下内容：
"softwareConfig": {
"properties": {
"yarn:yarn.resourcemanager.scheduler.class":"org.apache.hadoop.yarn.server.resourcemanager.scheduler.fair.FairSchedule
浏览 1提问于2018-03-29得票数 4
回答已采纳
1回答
我想提交一个星火作业在一个远程纱线集群使用火花提交命令。我的客户端是一台Windows机器，集群由一个主服务器和4个从服务器组成。我将Hadoop配置文件从我的集群复制到远程机器上，即core-site.xml和yar-site.xml，并将火花-env.sh中的HADOOP_CONF_DIR变量设置为指向它们。
但是，当我使用以下命令提交作业时：
spark-submit --jars hdfs:///user/kmansour/elevation/geotrellis-1.2.1-assembly.jar \
--class tutorial.CalculateFlowDirecti
浏览 0提问于2018-03-13得票数 3
回答已采纳
我想将spark作业从我的本地系统提交到安装了cloudera的远程服务器(Spark on YARN)。已经尝试了所有的可能性。 尝试创建SparkSession和SparkContext 代码如下： 1) from pyspark import SparkConf, SparkContext
from pyspark.sql import SparkSession
appName = 'TEST_ON_SPARK'
masterUrl = 'yarn'
spark = None
try:
spark = SparkSession.builder
浏览 14提问于2020-01-06得票数 0
我有一个属性文件，我提交给spark-submit使用--files在纱线集群模式。
[myserviceuser@XXX.XXX.XXX.XXX]$ cat testprop.prop
name:aiman
country:india
我打算从这个文件中读取属性值，并使用log4j记录器在屏幕上显示它。
我使用以下方法来提交的作业--文件
spark-submit \
--class org.main.ReadLocalFile \
--master yarn \
--deploy-mode cluster \
--files testprop.prop#testprop.prop \
sp
浏览 1提问于2019-07-25得票数 1
使用oozie运行火花动作工作流有问题。如果驱动程序是在节点(172.12.0.27)上生成的，则日志配置是始终正确的。如果驱动程序在其他节点上生成(172.12.0.18,172.12.0.20)，则日志配置总是错误的。
使用火花提交运行作业，没有上述问题，每个节点上产生的驱动程序工作正常.
我怎么才能追踪问题？
有三个节点(172.12.0.27,172.12.0.18,172.12.0.20)。如果使用submit与自定义log4j配置文件，则任何节点上都没有问题.
火花-提交作品的权利.
spark-submit --master yarn --deploy-mode cluster
浏览 1提问于2019-08-26得票数 0
我目前正在尝试在Cloudera集群上执行Apache (-client)模式下的Scala代码，但是sbt运行执行被以下Java中止：
[error] (run-main-0) org.apache.spark.SparkException: YARN mode not available ?
org.apache.spark.SparkException: YARN mode not available ?
at org.apache.spark.SparkContext$.org$apache$spark$SparkContext$$createTaskScheduler
浏览 1提问于2015-11-24得票数 0
回答已采纳
2回答
我在AWS上安装了Hadoop/Yarn集群，我有一个主服务器和3个奴隶。我已经证实我在端口50070和8088上运行了3个活动节点。我在客户端部署模式下测试了一个火花作业，一切正常。
当我试图激发-提交一个使用./spark-2.1.1-bin-hadoop2.7/bin/spark-submit --master yarn --deploy-mode cluster ip.py的工作。我得到了以下错误。
诊断:文件不存在: hdfs://ec2-54-153-50-11.us-west-1.compute.amazonaws.com:9000/user/ubuntu/.sparkStag
浏览 0提问于2017-05-28得票数 9
2回答
纱线罐上的火花上传问题
、、、
我正在尝试使用spark运行一个简单的Map/Reduce java程序(ClouderaHadoop5.2在CentOS上)。我试过这两种不同的方法。第一种方法是：
YARN_CONF_DIR=/usr/lib/hadoop-yarn/etc/hadoop/;
/var/tmp/spark/spark-1.4.0-bin-hadoop2.4/bin/spark-submit --class MRContainer --master yarn-cluster --jars /var/tmp/spark/spark-1.4.0-bin-hadoop2.4/lib/spark-assembly-
浏览 1提问于2015-06-17得票数 4
回答已采纳
我想从hdfs系统中读取sparkR shell中的parquetFile。所以我这样做：
./sparkR --master yarn-client
sqlContext <- sparkRSQL.init(sc)
path<-"hdfs://year=2015/month=1/day=9"
AppDF <- parquetFile(sqlContext, path)
错误：No such file or directory
但是这个文件确实存在于hdfs系统中。当我把这段代码打包到R文件中，比如dataframe.R，然后运行./spark-sub
浏览 0提问于2015-07-20得票数 0
我正在尝试使用spark submit在yarn集群上运行我的spark程序，我正在读取一个放在hdfs中的外部配置文件，我正在运行作业-
./spark-submit --class com.sample.samplepack.AnalyticsBatch --master yarn-cluster --num-executors 3 --driver-memory 512m --executor-memory 512m --executor-cores 1 --driver-java-options "-Dext.properties.dir=hdfs://namenode:802
浏览 2提问于2015-04-15得票数 1
我正在向yarn上的远程Spark集群提交一个spark作业，并在spark-submit --file中包含一个文件，我希望将提交的文件作为数据帧读取。但我对如何在不将文件放入HDFS中的情况下进行此操作感到困惑：
spark-submit \
--class com.Employee \
--master yarn \
--files /User/employee.csv \
--jars SomeJar.jar
spark: SparkSession = // create the Spark Session
val df = spark.read.csv("/User/emp
浏览 0提问于2018-11-28得票数 1
我使用Hortonworks数据平台2.5安装了Hadoop集群，其中还包括Ambari 2.4、Kerberos、Spark1.6.2和HDFS。
例如，我有以下用户的Kerberos主体和键标签：
spark (由Ambari在Kerberos启用期间创建)
hdfsuserA (由kadmin -> add_principle创建)
在受保护的集群中运行spark-submit命令需要用户spark-submit，而Spark应用程序必须在hdfsuserA (700)拥有的HDFS目录/user/hdfsuserA/...中打开一些文件。
由于我启用了Kerber
浏览 3提问于2016-12-02得票数 3
回答已采纳
2回答
我正在尝试使用spark-submit部署spark job，它有一堆参数，比如
spark-submit --class Eventhub --master yarn --deploy-mode cluster --executor-memory 1024m --executor-cores 4 --files app.conf spark-hdfs-assembly-1.0.jar --conf "app.conf"
我正在寻找一种方法，将所有这些标志放在文件中传递给spark-submit，使我的spark-submit命令更简单，就像下面这样
spark-submit
浏览 24提问于2017-03-16得票数 4
回答已采纳
4回答
使用HDP 2.5.3，我一直在尝试调试一些纱线容器类路径问题。
由于HDP包含Spark1.6和2.0.0，因此出现了一些相互冲突的版本
我所支持的用户能够成功地将Spark2与client模式中的Hive查询一起使用，但不能从cluster模式中获得有关未找到的表的错误，或者类似的错误，因为Metastore连接没有建立。
我猜想设置--driver-class-path /etc/spark2/conf:/etc/hive/conf或在spark-submit之后传递--files /etc/spark2/conf/hive-site.xml都会有效，但是为什么hive-site.xml
浏览 11提问于2017-08-03得票数 10
回答已采纳
我理解了纱线和火花。但是我想知道我什么时候需要使用Yarn和Spark处理引擎。在哪些不同的案例研究中，我可以识别YARN和Spark之间的区别？
浏览 0提问于2015-04-11得票数 4
回答已采纳
我尝试在安装了Spark的Windows计算机上执行Spark SQL作业。我也在尝试通过yarn-client连接到我的Hadoop集群。不知何故，我的工作出错了。我不确定为什么这不能连接到我的hortonworks沙箱。
我将core-site.xml、yarn-site.xml、hive-site.xml复制到Windows的conf文件夹中。我已经在系统环境变量中设置了SPARK_CONF和HADOOP_CONF_DIR。请给我建议。
错误：
15/09/04 14:06:14 INFO HttpServer: Starting HTTP Server
15/09/04 14:06:1
浏览 3提问于2015-09-05得票数 0
我正在尝试执行sftp，并将数据帧从spark-cluster写入到目标sftp服务器。
代码在spark-shell中运行良好，但当我使用scala代码部署我的jar时，它会失败，并显示以下错误：
*Caused by: org.apache.hadoop.security.AccessControlException: Permission denied: user=abcuser, access=WRITE, inode="/":hdfs:supergroup:drwxr-xr-x*
我试着在spark-shell中使用下面的代码，并且它是有效的：
spark2-
浏览 14提问于2019-09-04得票数 2
我正试图在pyspark程序下面运行，该程序将从HDFS集群复制文件。
import pyspark
from pyspark import SparkConf
from pyspark.sql import SparkSession
def read_file(spark):
try:
csv_data = spark.read.csv('hdfs://hostname:port/user/devuser/example.csv')
csv_data.write.format('csv').save('/tmp
浏览 8提问于2020-07-17得票数 0
1回答
我正在尝试使用S3 (val df=spark.read.csv("s3a://xxxxxx")从csv文件中导入csv文件)火花壳客户端连接到一个远程纱线集群。但是，当我从同一台纱线资源分析器的机器上发射火花壳时，它工作得很好。
以下是错误代码：
java.lang.VerifyError: Bad type on operand stack
Exception Details:
Location:
org/apache/hadoop/fs/s3a/S3AFileSystem.s3GetFileStatus(Lorg/apache/hadoop/fs/Path;Lja
浏览 0提问于2019-04-02得票数 0
回答已采纳
我不敢在火星雨中测试。这个库依赖于flint-0.6.0.jar，我从maven站点下载它并放到hdfs中。但有错误：
---------------------------------------------------------------------------
TypeError Traceback (most recent call last)
~/.conda/envs/py3/lib/python3.7/site-packages/ts/flint/java.py in new_reader(self)
浏览 2提问于2019-11-20得票数 1
回答已采纳
1回答
因此，我开始编写自己的Oozie工作流，其中包含Apache操作，事情是，尽管我清楚地使用Scala2.11.8和Spark2.3.0打包了我的源代码，但这条消息说
scala.collection.immutable.$colon$colon.hd$1()Ljava/lang/Object；： java.lang.NoSuchMethodError
有一个包含Hortonworks沙箱的码头容器，运行在ec2机器上，有16个核心cpu和41个内存。我已经使用命令行更新了Oozie共享库。下面是我的job.properties文件和workflow.xml文件。
job.properties
浏览 12提问于2019-10-18得票数 1
1回答
我有一个spark程序，需要传递一个配置文件作为主方法的参数。当前，当我以纱线集群模式提交作业时，我需要将配置文件放在所有的工作节点中，以便程序能够找到它。但是，我想把它放到HDFS路径中，但是会得到文件未找到的错误。下面是我使用的命令：
spark-submit --master yarn\
--name StreamingApp \
--deploy-mode cluster \
--class com.test.streaming.App \
--driver-java-options "-Djava.security.auth.login=/home/spark/auth.co
浏览 1提问于2021-12-28得票数 0
我对火花的知识是有限的，你会在阅读这个问题后感觉到它。我只有一个节点和火花，hadoop和纱线都安装在上面。
我能够通过以下命令在群集模式下编码和运行单词计数问题。
spark-submit --class com.sanjeevd.sparksimple.wordcount.JobRunner
--master yarn
--deploy-mode cluster
--driver-memory=2g
--executor-memory 2g
--
浏览 1提问于2016-12-13得票数 24
回答已采纳
我想将我的数据写入本地文件系统：
path = "/tmp/test"
df = spark.sql(select_str)
df.write.parquet(path, mode="overwrite", compression="snappy")
代码运行时没有出现错误，但是当我查看tmp时，就没有test了，如果我想将它读回parquet中：
parquet = pq.ParquetDataset(path)
我知道错误：
IOError: Passed non-file path: /tmp/test
hdfs://tmp/test也会
浏览 7提问于2017-09-19得票数 1
回答已采纳
我是新的火花和斯卡拉，我有一个困难的时间提交作为纱线客户的火花工作。通过shell ( submit)完成这一操作没有问题:首先在eclipse中创建一个spark作业，然后将其编译成jar，然后通过内核shell使用spark提交，如下所示：
spark-submit --class ebicus.WordCount /u01/stage/mvn_test-0.0.1.jar
然而，使用Eclipse直接编译并将其提交给seems似乎很困难。
我的项目设置如下:我的集群正在运行CDHCloudera5.6。我有一个maven项目，使用scala，
我的代码如下：
package test
浏览 5提问于2016-05-03得票数 3
1回答
在HDP 2.3.4上，我试图测试Oozie的SparkAction。
我编写的Spark (1.5.2)应用程序非常简单，只用于测试Oozie (4.2.0)：
val tbl = sqlContext.sql("SELECT * FROM tbl")
val count = tbl.count
log.info(s"The table has ${count} records.")
此应用程序在使用spark-submit时工作，既适用于纱线客户端模式，也适用于纱线集群模式.
我的job.properties和workflow.xml文件如下：
job
浏览 1提问于2016-01-19得票数 2
回答已采纳
我试图从我的Spark2应用程序中使用Hadoop的copyToLocalFile函数将一个文件从HDFS复制到本地。
val hadoopConf = new Configuration()
val hdfs = FileSystem.get(hadoopConf)
val src = new Path("/user/yxs7634/all.txt")
val dest = new Path("file:///home/yxs7634/all.txt")
hdfs.copyToLocalFile(src, dest)
当我在Yarn客户端
浏览 0提问于2018-10-05得票数 0
我正在使用自定义的conda环境运行spark-submit作业。我设法使用yarn发布了conda环境，它运行起来没有任何问题。然而，当我尝试saveAsTextFile时，它总是在最后一步失败。在运行作业之前，我确保路径是空的，但不知何故，它是在我启动作业后创建的，并且之后在那里有一个临时文件夹。
这个方法很像，而且script.py本身并不复杂，所有的东西(读文件，计数)都是通过打印到标准输出来工作的，我可以从执行器日志中读取它，但不能从savingAsTextFile中读取。
由于此错误，所有其他执行器甚至都没有启动。我假设驱动程序会创建这个文件夹，创建一个临时的/flag文件来表明它
浏览 0提问于2020-03-19得票数 0
//etl.py
start = DummyOperator(task_id = 'start', dag = dag)
job1 = SparkSubmitOperator(task_id = 't1', application = '/home/airflow/dags/test.py',
name = 'test', conf = {'spark.master': 'yarn'}, dag = dag)
start >> job1
//
浏览 1提问于2022-08-10得票数 0
回答已采纳
1回答
以下是我的项目结构：
火花应用
scala1.scala //我从这个类调用java类。
java.java //这将向纱线集群提交另一个火花应用程序。
由java类触发的星火应用程序。
scala2.scala
我的参考教程是
当我通过spark-submit在本地模式中通过scala1.scala运行java类时，第二个spark应用程序scala2.scala将被触发并按预期工作。
但是，当我通过spark-submit在纱线集群中运行相同的应用程序时，它将显示以下错误！
Error: Could not find or load main class
org.apac
浏览 0提问于2017-05-05得票数 10
2回答
我有一个关于纱线簇的问题
我在localhost上运行hdfs-namenode，hdfs-datanode，yarn，然后在localhost上运行一个spark-master和一个spark-worker，如下所示：
$ jps
5809 Main
53730 ResourceManager
53540 SecondaryNameNode
53125 NameNode
56710 Master
54009 NodeManager
56809 Worker
53308 DataNode
56911 Jps
我可以看到spark-worker链接到spa
浏览 0提问于2016-10-12得票数 0
在我的信封管道中，我需要比较两个Hive表。我不会硬编码.conf文件中的表，而是传递要比较的表。我试过使用spark.yarn.appMaster.varName，但它似乎不起作用。我在Centos虚拟机上运行CDH 5.13.3和Java 1.8。 下面是运行spark作业的脚本： #!bin/bash
sudo -u hdfs spark2-submit \
--master yarn \
--deploy-mode client \
--conf spark.yarn.appMasterEnv.tableA=dbA.tableA \
--conf spark.yar
浏览 13提问于2020-04-06得票数 0
当我试图从Zepplein 0.8.2运行Spark解释器时，我收到了这个错误消息
java.lang.IllegalArgumentException: localRepoPath should have a value
at org.apache.commons.lang.Validate.notNull(Validate.java:192)
at org.apache.zeppelin.dep.Booter.newRepositorySystemSession(Booter.java:43)
简单命令
print(sc)
例外来源：
我的家乡：
echo $ZEPPELI
浏览 0提问于2019-10-27得票数 3
我们有一个在本地独立模式下运行良好的spark作业。我们已将其提交到aws EMR-5.0 (spark 2.0，hadoop 2.7.2)，并收到以下错误：
java.io.FileNotFoundException: File does not exist: hdfs://ip.us-west-2.compute.internal:8020/user/hadoop/.sparkStaging/application_1470941709244_0001/__spark_libs__3533384422462530422.zip
at org.apache.hadoop.hdfs.D
浏览 1提问于2016-08-16得票数 3
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
即时通信 IM
实时音视频活动推荐
腾讯云开发者
