我正在尝试在kubernetes上运行Spark，以及通过Spark shell或jupyter界面运行的交互式命令。我已经为driver pod和executor pod构建了自定义映像，并使用以下代码启动Spark上下文conf = pyspark.SparkConf()
conf.setMastercertificate and token (required to create worker pods</
浏览 37提问于2021-05-13得票数 0
我已经启动了一个Minikube集群，但是当我发出火花-提交时，作业会出错。--class org.apache.spark.examples.SparkPi --conf spark.executor.instances=5 --conf spark.kubernetes.container.imageSparkContext:91 -初始化SparkContext错误.org.apache.spark.S
浏览 0提问于2019-03-13得票数 1
我尝试向Kubernetes集群(Minikube)提交Spark申请。在客户端模式下运行我的spark submit时，一切都进行得很顺利。在3个pods中创建3个executors，并执行代码。[Name] \ --conf spark.kubernetes.container.image=spark:2.4.0 \
--conf spark</e
浏览 40提问于2019-04-15得票数 6
回答已采纳
我用相当大的数据量在Kubernetes上启动了一些Spark作业，而作业失败了，/var/ data /spark目录中没有足够的空间。当使用Kubernetes作为资源管理器时，将为SPARK_LOCAL_DIRS中列出的每个目录挂载一个SPARK_LOCAL_DIRS卷来创建pods。如果没有显式指定目录，则<
浏览 0提问于2019-02-26得票数 1
我已经在kubernetes中以集群模式部署了spark应用程序。spark应用程序pod几乎每小时重启一次。驱动程序日志在重新启动之前显示以下消息：20/07/11 15:55:01 INFO ShutdownHookManager: Sh
浏览 29提问于2020-07-12得票数 0
当我在一个自托管的kubernetes集群上启动SparkPi示例时，executor pods被快速创建并具有错误状态->被新的executor pods替换。我在Google Kubernetes引擎上尝试了相同的命令，并取得了成功。我检查了基于角色的访问控制rolebinding，确保服务帐户有权创建</em
浏览 1提问于2019-07-23得票数 0
我正在尝试运行的基本示例。sudo .spark-pi --class org.apache.spark.examples.SparkPi \ --executor-memory3g \ --conf
浏览 1提问于2019-04-03得票数 19
回答已采纳
我在尝试通过Kubernetes调度程序启动Spark作业时遇到了一些问题。根据和，用户应该能够指定pod模板，该模板可以使用以下参数设置：spark.kubernetes.d
浏览 0提问于2019-09-30得票数 1
集群的资源(pyspark和spark_sklearn库)。('spark.logConf', True)然后，我配置了一个具有一个主节点和一个从节点的kubernetes集群。>:<PORT&g
浏览 0提问于2019-11-07得票数 0
我正在尝试根据官方网站上的说明在Kubernetes上启动spark。我按照说明使用他们提供的脚本创建了一个镜像，如下所示：对于<repo>，我使用的是pyspark。我对Kubernetes
浏览 38提问于2020-08-03得票数 0
上的 scala代码进行连接。下面是我的配置文件，用于检测GKE集群上的点火器吊舱。-class org.blk.igniteSparkResearch.ScalarSharedRDDExample --conf spark.executor.instances=3 --conf spark.app.name=sharedSparkIgnite --conf spark.kubernetes.authenticate
浏览 0提问于2018-06-19得票数 0
我试图在kubernetes上运行spark (使用带有VirtualBox或docker驱动的minikube，我在两者中都进行了测试)，但现在我有一个错误，我不知道如何解决。我是Kubernetes世界的新手，所以我真的不知道这是不是一个新手错误，但试图自己解决我失败了。 请帮帮我。 在接下来的几行中，遵循命令和错误。name spark-pi \
--class org.apache.spark.examples.SparkPi
浏览 129提问于2020-06-24得票数 2
回答已采纳
: Java heap space受@zero323评论中的链接的启发，我尝试删除并重新创建PySpark中的上下文：from pyspark import SparkConf, SparkContext
conf= (SparkConf().set
浏览 0提问于2015-07-16得票数 36
回答已采纳
1回答
来自私人艺术家的K8s图像
、、、、
--conf spark.kubernetes.authenticate.executor.serviceAccountName=spark-sa \ --conf spark.executor.instances=4 \
local:/
浏览 14提问于2021-02-01得票数 0
我在Kubernetes上以客户端模式运行Spark 2.4.1。bin/spark-shell \--depl
浏览 3提问于2019-07-25得票数 1
下面的SOF问题告诉我们如何启动一个pyspark脚本：但是，我们如何访问现有的火花上下文呢？仅仅创建一个新的不起作用： SparkContext(app=PySparkShell, master=local) created b
浏览 4提问于2015-03-11得票数 25
回答已采纳
2回答
设置火花配置
、、、
我正在试图设置火花放电外壳内部的几个火花参数的配置。我尝试了以下方法要检查执行器内存是否已设置，我执行了以下spark.conf.get("spark.executor.memory_conf.get("spark.executor.memory")检查
浏览 1提问于2019-03-08得票数 5
回答已采纳
我有一个奇怪的问题，在Kubernetes上运行的Spark作业失败了，在有很多随机操作的作业中，会出现很多"Missing a output location for shuffle X“。增加executor内存并没有什么帮助。在本地*模式下，相同的作业只在Kubernetes集群的一个节点上运行，但是运行得很好，所以我怀疑它与Kubernetes或底层Docker有
浏览 0提问于2020-06-04得票数 0
2回答
我是spark的新手，正在尝试设置spark集群。我做了以下事情来设置和检查spark集群的状态，但不确定状态。首先，我设置并启动了hadoop集群。webui-port 8080 $SPARK_HOME/sbin/start-slave.sh spark://205.147.102.19:7077 ps -ef|grep:7077
我在spark<e
浏览 3提问于2017-01-11得票数 0
我正在尝试在Kubernetes上用Spark运行一个简单的字数统计应用程序。我得到了以下问题。我唯一不能做的事情是我不能创建clusterbinding spark-role，因为我没有访问默认名称空间的权限。相反，我创建了角色绑定。=spark-test \ --conf
浏览 8提问于2018-12-24得票数 5
云服务器
ICP备案
实时音视频
对象存储
云直播
腾讯云开发者
