我使用的是Spark 1.6.0。我想传递一些属性文件，比如log4j.properties和其他一些客户属性文件。我看到我们可以使用--files，但我还看到在SparkContext中有一个方法addFile。我确实更喜欢使用-- files，而不是编程添加文件，假设这两个选项是相同的？
浏览 1提问于2016-08-11得票数 14
回答已采纳
我正尝试在独立模式下运行spark作业，但是命令没有从HDFS文件中拾取，jar文件存在于HDFS.The位置，并且当我在本地模式下运行它时，它工作得很好。下面是我正在使用的命令 spark-submit --deploy-mode client --master yarn --class com.main.WordCount /spark/wc.jar$.cl
浏览 52提问于2019-01-19得票数 0
回答已采纳
1回答
如何在集群模式下提交火花作业？
、、、、
我知道这上面有10个google页面的信息，但是他们都告诉我把--master yarn放在spark-submit命令中。但是，在集群模式下，我的本地笔记本电脑怎么可能知道这意味着什么呢？假设我有我的笔记本电脑和一个正在运行的dataproc集群。如何使用我的笔记本电脑中的火花提交来向这个集群提交作业？
浏览 3提问于2022-01-07得票数 2
回答已采纳
我是Apache Spark的新手，正在尝试创建一个简单的应用程序来在本地模式下运行它，我意识到它有像spark-submit这样的脚本来提交应用程序。我正在寻找类似于Apache Storm的LocalCluster.submitTopology()以编程方式提交应用程序。请告诉我在Spark中对应的API。感谢在这方面的帮助。谢谢。
浏览 3提问于2016-09-20得票数 1
我已经创建了一个火花WordCount应用程序，我在本地模式下使用spark-submit命令在shell中运行该应用程序。当我尝试在纱线上以cluster模式运行它时，使用以下命令：它似
浏览 2提问于2016-12-14得票数 2
我尝试使用spark-submit在本地模式下启动我的Spark应用程序。我在Windows上使用的是Spark 2.0.2，Hadoop 2.6和Scala 2.11.8。这个应用程序在我的集成开发环境(IntelliJ)中运行得很好，我也可以使用实际的物理执行器在集群上启动它。我正在运行的命令是
spark-submit -
浏览 9提问于2017-02-03得票数 5
我想在Java中实现一个独立的Spark程序。我正在使用Amazon集群来运行应用程序。由于我是一个初学者，我想知道哪个环境是编写Spark程序的最佳环境。它还提供调试功能吗？目前，我正在本地机器上用Eclipse编写程序，并通过Maven-Wagon将jars导出到AWS。问题是我不能使用debug。如有任何帮助，我们不胜感激！
浏览 4提问于2014-11-18得票数 0
2回答
我正在尝试设置一个独立的Spark2.0服务器，以并行处理分析功能。要做到这一点，我希望有一个具有多个执行者的单个工作人员。IE：conf\spark-defaults.confspark.executor.cores = 1
我也试图改变我的火花-env.sh文件
浏览 6提问于2016-10-11得票数 8
回答已采纳
spark独立模式是否意味着执行器和主控器在同一台机器上运行?如果是，它如何参与并行性。是否将spark conf的本地函数设置为独立模式时传递的值，以指示spark应用程序在单机上运行？
浏览 2提问于2019-08-17得票数 0
我正在尝试使用Scala中的IntelliJ IDEA来执行这个简单的Spark工作。但是，Spark UI会在对象完全执行后完全停止。我是否遗漏了什么或在错误的位置收听了什么？Scala版本- 2.10.4和Spark - 1.6.0 object SimpleApp { val logFile = "C:/spark<
浏览 0提问于2016-02-24得票数 0
然后打开主机1(这是集群的namenode )终端&运行spark命令，如因此，实际上只有一个节点正在执行程序(主机2)。为什么？
浏览 2提问于2016-12-28得票数 0
回答已采纳
我正在运行一段Java代码，在Spark submit中使用spark集群模式将文件从HDFS复制到本地。该作业在spark本地模式下运行良好，但在集群模式下运行失败。但我在本地没有收到任何异常。
浏览 0提问于2018-06-17得票数 0
1回答
在我的pyspark应用程序中，我的性能很慢。我有一个涉及5个数据帧的函数，里面有连接和聚集。当我只调用此函数一次时，它运行成功。但是，当我多次调用它时，在进程内部(只更改一个参数，但数据量是相同的)，它不会终止。它停在我不能识别的某个部分。我的问题是:如何调试我的spark应用程序来识别这个瓶颈？
浏览 0提问于2019-05-18得票数 0
我使用的是Apache (独立模式) ALS推荐算法和60 GB的数据，问题是当算法启动时CPU Spike为100%，我如何设置限制CPU使用的火花？例如，只需使用50%的CPU。我在服务器上以独立模式运行spark，配置如下：OS Name: Microsoft Windows Server 2016Physical Memory: 178,164 MB
Virtual Memory: Max Size: 300,94
浏览 1提问于2019-07-21得票数 4
在本地模式下运行星火应用程序时，我使用了以下命令：在这种情况下，是否意味着我的应用程序使用了本地计算机的所有内存
浏览 3提问于2017-05-15得票数 7
回答已采纳
1回答
但是，我正在运行的示例作业停留在collect api调用中。我使用的是emr版本5-30.1。我没有看到任何与此相关的日志。也许，我找错地方了。下面是spark-submit命令 spark-submit --deploy-mode cluster --master yarn --conf spark.yarn.maxAppAttempts=1--conf spark.driver.memory=4g --conf spark.dynamicAllocation.enabled=tru
浏览 24提问于2020-09-29得票数 0
我有一个spark应用程序，它当前在本地模式下运行，并将输出写入本地UNIX目录中的一个文件。
现在，我希望在yarn集群模式下运行相同的作业，并且仍然希望写入该UNIX文件夹。
浏览 14提问于2017-08-23得票数 0
我在本地系统中有一个文件。我想在本地使用Spark读取它，然后使用相同的spark程序在HDFS中写入它，这可能吗？
浏览 46提问于2020-04-29得票数 0
回答已采纳
如果我执行以下操作，我就能够成功地查询星星之火中的Cassandra：importCassandraSQLContext(sc)dataframe.first
现在我想从我们的应用程序web上的所有文档似乎都显示了如何使用spark的python (其中上下文'sc‘是隐式
浏览 4提问于2016-01-06得票数 0
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
