2回答
在AWS EMR中启用Spark
、、、、
我在EMR集群上提交了一个Spark作业，我希望看到Spark，它提供了关于主节点和工作节点的配置和状态的信息。配置详细信息：应用程序 SPARK 2.3.1
启动群集后，在群集的“连接摘要”页下，唯一可单击的链接是“启用Web连接”。选项2:我尝试在Linux 上使用本地端口转发将SSH隧道设置为主节点。我仍然无法打开Sark或界面。选项3:我尝试使用选项2+为火狐配置Foxy ()，并且仍然尝试通过键入m
浏览 0提问于2019-03-21得票数 1
我对Linux、Hive和Spark之间的用户帐户有一个非常有趣、棘手的问题……@SPARK_HOME/bin/spark-submit -?在使用相同的<e
浏览 8提问于2015-06-09得票数 1
我已经为scala配置了eclipse，创建了一个maven项目，并在windows上写了一个简单的字数统计任务。现在我的spark+hadoop已经安装在linux服务器上了。如何将我的spark代码从eclipse启动到spark集群(在linux上)？
任何建议。
浏览 4提问于2015-11-08得票数 2
1回答
我在ASP.NET中使用过Spark view engine()，我真的很喜欢它。
Node.js中是否有任何端口或类似的模板引擎？
浏览 0提问于2011-01-23得票数 1
回答已采纳
我是Apache Spark的新手。我使用的是Windows操作系统，而spark安装在Linux操作系统上，它是远程的。是否可以使用Java API在Spark配置中添加ip地址和端口？请分享spark java示例。
提前谢谢。
浏览 1提问于2017-02-07得票数 0
我正在为python使用经过考虑的冠层，并设置我的路径变量%SPARK_HOME%\ , %JAVA_HOME%\,C:\WINDOWS/system32。当在我的ratings-counter.py命令程序中运行spark submit时，它显示了spark submit的错误不被识别为内部或外部命令、可操作的程序或批处理文件。
浏览 3提问于2016-11-06得票数 1
1回答
我在试着配置一些软件。我有一个带有表达式的*.cmd文件：但是仅使用括号将表达式括起来，我不能将结果作为libs的连接路径。在Linux中，我可以将此表达式替换为一切都很好。在这种特殊情况下，是否有可能从Windows脚本中实现相同的行为？
浏览 1提问于2015-08-12得票数 0
1回答
我正在命令行中运行本地pyspark代码，它可以工作： SparkContext._ensure_
浏览 2提问于2015-10-25得票数 1
回答已采纳
我的Spark作业中出现了"Open too many files“错误，在线搜索指向将"ulimit”设置为更高的值。但是"ulimit“是一个Linux操作系统级别的参数，而不是一个Spark配置参数。所以我想知道如何通过Spark代码来传递它。
一些相关的帖子是：
浏览 1提问于2019-07-24得票数 0
我的conf-file：spark.python.worker.memory 65g数据量约为Traceback (most recent call last):
File "/data/analytics/Spark1.6.1/python/lib/py4j-0.9-src.zip/py4jwhile try
浏览 1提问于2016-05-16得票数 15
总的来说，我对Linux来说是个新手，而且相对来说还比较新。我运行星火在本地Ubuntu在客户端模式。我有16 GB的内存。我在这个之后安装了apache，我能够运行和处理大量的数据。基于大量的谷歌搜索，我相信问题在于我的spark.driver.memory。我需要改变这一点，但是由于我是在客户端模式下运行，所以我应该在某些配置文件中更改它。如果我有一个现有的spark.driver.memory文件，如何定位，或者如何创建一个新的配置文件，并将spark.drive
浏览 15提问于2022-05-08得票数 1
回答已采纳
如果是这样的话，那么当同时运行几个查询时，如何才能配置Thrift驱动程序不使OOM崩溃？以下是我们使用的配置：
来自/usr/hdp/current/spark2-thriftserver/conf/spark-thrift-sparkconf.conf:的<
浏览 2提问于2017-10-12得票数 3
3回答
\spark-1.1.0-bin-hadoop1\bin>pyspark
Running python with PYTHONPATH=C:\Spark\spark-1.1.0-bin-hadoop1\\conf;C:\Spark\spark-1.1.0-bin-hadoop1\bin\..\lib\spark-assembly-1.1.0-hadoop1.0.4.jar;;C:\Spark\spark-1.1.0-bin-hadoop1\bin
浏览 2提问于2015-01-26得票数 0
回答已采纳
我正在试图覆盖星星之交/火花上下文默认配置，但它正在选择整个节点/集群资源。() spark.conf.set('spark.executor.cores', '3')
spark.conf.set('<em
浏览 12提问于2017-01-27得票数 48
回答已采纳
sparkstreaming一直运行，hdfs://***:9000/spark-log 下的log文件很大，spark-default.conf下配置 spark.executor.logs.rolling.time.interval有没有配置过的，或者 遇到这个问题 如何解决？？
[附加信息]
浏览 284提问于2018-07-13
我在Linux上使用Pyspark与Spark2.4的独立模式，使用木星笔记本(目前用于测试)通过Kafka处理大量传入的数据。我想将这些选项添加到这个笔记本中，以防止/tmp/目录在几个小时后填充数十in：spark.worker.cleanup.appDataTtl=120spark的默认配置(spark/conf/<em
浏览 1提问于2021-03-30得票数 1
1回答
下面是我的代码，
.appName("Kafka Spark")\
.config("spark.jars", "/C:/Hadoop/Spark/spark-3.0.0-preview2-bin-hadoop2.7/jars/spark</em
浏览 32提问于2020-06-14得票数 2
3回答
我是spark的新手。我已经下载了为hadoop版本2.6预建的spark版本1.3.1。我解压并导航到该文件夹，然后键入以下命令：./bin/spark-shell，对于该命令，我得到一个错误，指出没有找到spark-shell命令。我使用git bash在windows上做了同样的事情，我得到了一个错误消息：在尝试运行spark之前，我还需要做什么吗？
浏览 1提问于2015-05-09得票数 4
回答已采纳
我正在尝试在我配置的Linux上运行我的第一个PySpark脚本。当我运行以下命令时，我得到的错误消息是KeyError: SPARK_HOME：from pyspark import SparkContext老实说，我遇到了这个问题，因为这
浏览 0提问于2019-08-31得票数 0
云服务器
ICP备案
对象存储
云点播
智聆口语评测
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号