我对Linux、Hive和Spark之间的用户帐户有一个非常有趣、棘手的问题……@SPARK_HOME/bin/spark-submit -?在使用相同的<e
浏览 8提问于2015-06-09得票数 1
我已经为scala配置了eclipse，创建了一个maven项目，并在windows上写了一个简单的字数统计任务。现在我的spark+hadoop已经安装在linux服务器上了。如何将我的spark代码从eclipse启动到spark集群(在linux上)？
任何建议。
浏览 4提问于2015-11-08得票数 2
我是Apache Spark的新手。我使用的是Windows操作系统，而spark安装在Linux操作系统上，它是远程的。是否可以使用Java API在Spark配置中添加ip地址和端口？请分享spark java示例。
提前谢谢。
浏览 1提问于2017-02-07得票数 0
我正在为python使用经过考虑的冠层，并设置我的路径变量%SPARK_HOME%\ , %JAVA_HOME%\,C:\WINDOWS/system32。当在我的ratings-counter.py命令程序中运行spark submit时，它显示了spark submit的错误不被识别为内部或外部命令、可操作的程序或批处理文件。
浏览 3提问于2016-11-06得票数 1
1回答
我正在命令行中运行本地pyspark代码，它可以工作： SparkContext._ensure_
浏览 2提问于2015-10-25得票数 1
回答已采纳
我的Spark作业中出现了"Open too many files“错误，在线搜索指向将"ulimit”设置为更高的值。但是"ulimit“是一个Linux操作系统级别的参数，而不是一个Spark配置参数。所以我想知道如何通过Spark代码来传递它。
一些相关的帖子是：
浏览 1提问于2019-07-24得票数 0
2回答
在AWS EMR中启用Spark
、、、、
我在EMR集群上提交了一个Spark作业，我希望看到Spark，它提供了关于主节点和工作节点的配置和状态的信息。配置详细信息：应用程序 SPARK 2.3.1
启动群集后，在群集的“连接摘要”页下，唯一可单击的链接是“启用Web连接”。选项2:我尝试在Linux 上使用本地端口转发将SSH隧道设置为主节点。我仍然无法打开Sark或界面。选项3:我尝试使用选项2+为火狐配置Foxy ()，并且仍然尝试通过键入master-pub
浏览 0提问于2019-03-21得票数 1
如果是这样的话，那么当同时运行几个查询时，如何才能配置Thrift驱动程序不使OOM崩溃？以下是我们使用的配置：
来自/usr/hdp/current/spark2-thriftserver/conf/spark-thrift-sparkconf.conf:的<
浏览 2提问于2017-10-12得票数 3
我正在试图覆盖星星之交/火花上下文默认配置，但它正在选择整个节点/集群资源。() spark.conf.set('spark.executor.cores', '3')
spark.conf.set('<em
浏览 12提问于2017-01-27得票数 48
回答已采纳
我在Linux上使用Pyspark与Spark2.4的独立模式，使用木星笔记本(目前用于测试)通过Kafka处理大量传入的数据。我想将这些选项添加到这个笔记本中，以防止/tmp/目录在几个小时后填充数十in：spark.worker.cleanup.appDataTtl=120spark的默认配置(spark/conf/<em
浏览 1提问于2021-03-30得票数 1
1回答
下面是我的代码，
.appName("Kafka Spark")\
.config("spark.jars", "/C:/Hadoop/Spark/spark-3.0.0-preview2-bin-hadoop2.7/jars/spark</em
浏览 32提问于2020-06-14得票数 2
到目前为止，我只在Linux机器和VM(桥接网络)上运行Spark，但是现在我对使用更多的计算机作为奴隶很感兴趣。这一不足已经完成了，但我在从容器上配置正确的SPARK_LOCAL_IP (或--start-slve.sh的主机参数)时遇到了困难。我认为我正确地配置了SPARK_PUBLIC_DNS env变量以匹配主机的网络访问ip (来自10.0.x.x地址空间)，至少它显示在Spark上，并且所有机器都可以访问。我想知道为什么在连接到奴隶时没有使用配置</
浏览 4提问于2015-09-22得票数 10
回答已采纳
我正在尝试在我配置的Linux上运行我的第一个PySpark脚本。当我运行以下命令时，我得到的错误消息是KeyError: SPARK_HOME：from pyspark import SparkContext老实说，我遇到了这个问题，因为这
浏览 0提问于2019-08-31得票数 0
如何在Windows (8-10)上使用SBT构建Spark时激活Hadoop和纱线轮廓？>sbt package>sbt -Pyarn package
我是在问，因为mvn比SBT慢得多。我有使用SBT和Maven在Linux上构建Spark的经验。
浏览 2提问于2016-05-10得票数 1
回答已采纳
如何通过Spark WEB UI监控作业进度？在本地运行Spark时，我可以使用http://localhost:4040通过端口4040访问Spark UI。
浏览 38提问于2019-04-27得票数 12
下面是一个场景：当它再次工作时，？如果我在通过执行- spark-submit清除linux缓存后运行相同的/proc/sys/vm/drop_caches，那么它再次成功地运行一次。这真的是火花代码的问题吗，还是因为
浏览 2提问于2020-06-18得票数 0
2回答
我做了以下工作：spark.eventLog.enabled=trueC:\spark-1.6.2-bin-hadoop2.6/conf/spark-env.sh: line 70:org.apache.sp
浏览 6提问于2016-07-17得票数 0
回答已采纳
1回答
这样，而不是用工作人员配置(如：spark://172.40.101.1:7077,172.40.102.2:7077 )编写spark://spark-master.service:7077现在我可以使用dig和linux解析来解决问题了，但我的问题是：
这一问题是否有最佳做法？
浏览 2提问于2018-01-09得票数 2
回答已采纳
我现有的项目是kafka-spark-cassandra。现在我有了gcp帐户，必须将spark作业迁移到dataproc。在我现有的spark作业中，像masterip、memory、cores等参数都是通过命令行传递的，而命令行是由linux shell脚本触发的，并创建新的sparkConf。"，内存) .set("spark.cores.max"，内核) .set("spark.scheduler.mode"，"FAIR
浏览 1提问于2016-06-01得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
实时音视频活动推荐
腾讯云开发者
