我有一个生产箱，其中有14个节点。在其中的14个节点中，有12个节点的配置相同，其中2个节点的配置更高(接近3倍)，因此1>会影响spark的整体资源利用率。2>如何才能使用仅来自这两个节点的额外内存。此外，如果在进程期间，my rdd > avaiable resource，它将对内存中的任务进行分区处理，并再次从3>中
浏览 18提问于2020-03-27得票数 1
回答已采纳
我可以拥有一个apache集群，其中不同的节点运行不同版本的Spark？例如，我是否可以拥有一个主节点，即Spark2.2.0，一个节点为2.0.1，另一个节点为2.2.0，另一个节点为1.6.3，或者所有节点是否都具有相同版本的Spark？
浏览 1提问于2018-02-16得票数 1
回答已采纳
我已经使用Glue Data目录创建了一个EMR集群。当我调用spark-shell时，我能够通过以下方式成功列出存储在Glue数据库中的表spark.catalog.listTables但是，当我通过spark-submit提交作业时，我收到一个致命错误
ERROR ApplicationMaster: User class threw exception: org.apac
浏览 0提问于2017-09-19得票数 3
1回答
我正在使用Spark MLLib在AWS EMR上执行K-means聚类。该数据集约为10^6行，具有9个特征列。我使用的实例大小为8vCPU和32 am内存。我本以为随着集群上节点数量的增加，Spark的性能会提高(执行时间减少)，但我得到的却是相反的结果。
使用更多的工作节点/实例比使用单个工作节点的性能更差(执行时间更长)。对于包
浏览 11提问于2019-10-23得票数 0
任何Avro格式的文件写入尝试都会失败，并显示以下堆栈跟踪。我们使用的是Spark 2.4.3 (用户提供的Hadoop)，Scala 2.12，我们在运行时使用spark-shell加载Avro包： spark-shell --packages org.apache.spark产生相同的堆栈跟踪错误(来自spark-shell的副本)： java.lang.NoSuchMethodError: o
浏览 107提问于2020-02-19得票数 0
回答已采纳
我一直在使用spark-submit在多节点系统上测试我的代码.(当然，我指定了主服务器地址作为主服务器地址，以实现多节点环境)。但是，我不想使用spark-submit，而是使用shell在集群系统上测试我的代码。但是，我不知道如何配置星火壳上的多节点集群设置？
我认为只要使用火花壳而不改变任何设置，就会导致本地模式。scala> import org.apache.<em
浏览 1提问于2017-02-01得票数 1
回答已采纳
2回答
按给定集群配置Spark
、、、、
我必须用python将一些应用程序发送到Apache Spark集群。这里给出了一个集群管理器和一些工作者节点，这些节点具有要将应用程序发送到的地址。我的问题是，如何在我的本地计算机上设置和配置Spark，以便将这些请求与要计算的数据一起发送到集群？
我正在使用Ubuntu 16.xx，并且已经安装了java和scala。我已经搜索了inet，但
浏览 16提问于2016-09-16得票数 0
回答已采纳
1回答
群集配置中的DSE分析
、、、、
以前，我们有三个节点集群，在一个dc中有两个Cassandra节点数据中心，在不同的dc中有一个启用了spark的节点。Spark在这种配置下运行得很顺利。然后，我们尝试在analytics dc中添加另一个启用了spark的节点。我们已经配置了GossipingPropertyFileSnitch并添加了种子。但是现在，当我们启动集群<
浏览 5提问于2018-08-09得票数 0
3回答
我目前正在使用apache进行记录器分析。我是阿帕奇·斯派克的新手。我尝试过使用apache独立模式。我可以通过在客户机上提交具有部署模式的jar来运行我的代码。但是我不能运行多节点集群。我曾经用过工人节点是不同的机器。我不知道我的理解是否正确。因此，请帮助我在集群上运行应用程序。
我尝试在集群上运行jar，现在也没有例外，但是，为什么没有将任务
浏览 3提问于2015-10-20得票数 0
我们正在经历比SPARK_WORKER_CORES预期更多的内核运行(设置为一个)。作为跟踪这一过程的一部分，让我们考虑一下文档中的火花组件及其描述：
因此-对于最后一句:一个给定的</e
浏览 3提问于2015-05-01得票数 6
回答已采纳
1回答
我正在尝试使用主节点和工作节点在本地集群上调试Spark应用程序。我已经成功地使用start-master.sh和it works.But设置了Spark独立集群管理器的主节点和工作节点。我想知道Spark应用程序在spark集群中是如何工作的，所以我想在调试模式下启动集群。at org.apache.spark</em
浏览 3提问于2018-04-25得票数 1
如何在亚马逊EC2上安装spark客户端，其中spark作业将提交到具有集群工作节点的EMR主节点？
你能告诉我上面架构中的文档配置spark吗？
浏览 1提问于2018-01-03得票数 0
我需要使用Spark引擎部署Apache应用程序。我的问题是，我是否可以在关键的云创建环境上部署星火应用程序。如果有的话，你能提供例子吗？
谢谢
浏览 3提问于2017-09-12得票数 0
回答已采纳
我有一个应用程序，其中我使用的是Apache Spark 1.4.1 -独立集群。这个应用程序中的代码已经发生了变化，而且非常复杂(正如我们在大多数Apache Spark示例中看到的那样，有几行代码)，从一个类到另一个类有大量的方法调用。我正在尝试添加代码，当遇到数据问题时(在集群节点上处理数据时)，它会通知外部应用程序。为了联系外部应用程序，我们在配置文件中设置了连接详细信息。
浏览 3提问于2015-10-01得票数 1
我启动了主程序和一个工作人员，然后在本地的“集群”上执行了作业，但最终得到了一系列的错误，这些错误都以最初，我尝试在没有配置的情况下运行我的主程序和工作程序，但结果却出现了同样的错误)
2) bin/s
浏览 1提问于2014-03-02得票数 8
回答已采纳
我已经安装了hadoop on ubuntu on virtual box(host os Windows7).I还安装了Apache spark，在.bashrc中配置了SPARK_HOME，并将HADOOP_CONF_DIR添加到了spark-env.sh中。现在，当我启动spark-shell时，它抛出了错误，并且没有初始化spark context，sql context。我是不是在安装中遗漏了什么，而且我想在集群上运行它(设置了Hadoop3
浏览 0提问于2016-07-26得票数 0
我有一个hadoop集群，它有4个节点(1主节点，3节点)。我用hdfs中存储的文件创建了一些单元表。然后，我将mysql配置为蜂窝转移，并将hivesite.xml文件复制到星星之火的conf文件夹中。
要安装spark，我只需下载并提取主节点中的spark。我问这个问题是因为，我成功地执行了如下所示的sql查询，但是如果我试图访问localhost:8080中的</em
浏览 3提问于2016-05-09得票数 0
回答已采纳
我知道工作节点是如何容错的，但是如果你的驱动程序因为一些意外的原因崩溃了，会发生什么？(电源关闭/内存问题等)。我想你会失去所有的工作，因为读取结果的代码不再运行，或者Spark不知何故知道如何重新启动它？如果是这样的话，是怎么做的？
浏览 0提问于2014-10-29得票数 10
我是新的使用火花与Hadoop。我已经使用预构建的二进制"spark-1.5.2-bin-hadoop2.6“在4个节点集群上配置了Spark。在我的环境中还有一个Hadoop2.4集群，其中有4个节点。我计划对Hadoop集群中hdfs中的数据使用Hive HQL使用Spark处理。查询
我需要重新<e
浏览 4提问于2015-11-24得票数 0
回答已采纳
“我正在设置一个新的apache- setting 2节点集群”问题:从节点还没有开始。
我已经在SPARK_HOME中配置了不同的.bashrc路径。在主<em
浏览 0提问于2019-08-04得票数 1
云服务器
ICP备案
实时音视频
对象存储
云直播
腾讯云开发者
