我有一个安装了spark客户端的kubernetes pod。10spark-shell --master yarn它挂起并超时，并显示以下错误：
org.apache.spark.SparkException我们有另一个需要创建spark会话的python脚本。这是我们第一次从kub
浏览 21提问于2019-10-31得票数 0
我使用Spark2.4.5在kubernetes上通过submit命令运行Spark应用程序。应用程序试图将输出写入详细的时失败，这可能是由于安全上下文不正确造成的。我这样做是通过像前面提到的那样创建一个pod模板，但是我还无法验证这个pod模板是否已经正确设置(因为我找不到合适的示例)，或者它是否可以从驱动程序和执行器荚中访问(因为我无法在驱动程序或ku
浏览 6提问于2021-11-22得票数 2
我们正在使用集群模式和一些更多的内存配置将spark作业提交到kubernetes集群中。我的工作大约在5分钟内完成，但我的executor pods在30 - 40分钟后仍在运行。因此，新作业处于挂起状态，因为资源仍绑定到正在运行的pod。=default --conf spark.app.name=myapp1 --conf spark.executor.instances=3 --conf <
浏览 12提问于2020-07-31得票数 2
我试图在我的Spark (版本3.1.3)执行程序上使用Kubernetes (Version1.21)安装的卷来执行某个任务，并使用它作为我的执行器要溢出的SPARK_LOCAL_DIR。将它安装到我的执行者上可以在我的星星之交(受启发)中使用以下几行：
--conf spark.kubernetes.executor.volumes.pers
浏览 5提问于2022-09-02得票数 0
回答已采纳
我正在运行火花-提交在我的库伯内特斯集群。根据星星之火文档，我正在创建一个pod模板，并指定重新启动策略Always。下面是我的吊舱模板。--class org.apache.spark.examples.SparkPi --master k8s://https://kubernetes.docker.internal:6443 --deploy-modecluster --conf spark.kube
浏览 2提问于2021-11-01得票数 0
我正在我的mac终端上运行这个命令，希望将我的测试spark作业提交到我们的一个k8s集群上： ID_TOKEN=`kubectl config view --minify -o jsonpath='_2.11-1.0.jar 我已经创建了服务帐号"spark"，以及集群角色绑定yaml，如下所示： kind: ClusterRole star
浏览 40提问于2020-06-15得票数 1
尝试了解有关如何在Kubernetes1.9.3集群上部署作业的Spark2.3文档：
Kubernetes1.9.3集群可以在脱机裸机服务器上正常运行，并与kubeadm一起安装。jvm/java-1.8-openjdk/bin/java -Dspark.kubernetes.driver.pod.name=spark-pi-b6f8a60df70a3b9d869c4e305518f43a-driver-64fe7ad8-669f-459
浏览 6提问于2018-03-07得票数 5
我在亚马逊网络服务上使用kubernetes集群来运行spark作业，我使用的是spark 2.3，现在我想从AWS lambda函数向k8s主机运行spark-submit，想知道在k8s主机上是否有REST接口来运行Spark submit？
浏览 1提问于2018-03-21得票数 1
我正在使用spark-submit在我的k8s集群上创建一个火花驱动程序。=3 --conf spark.kubernetes.container.image.pullSecretstest-3.0.0 <
浏览 2提问于2020-03-03得票数 0
回答已采纳
我试图使用spark-submit与client模式在库伯内特斯吊舱提交作业到电子病历(由于其他一些问题，我们不允许cluster模式)。默认情况下，spark-submit使用pod的hostname作为spark.driver.host，而hostname是pod的主机名，因此spark executor无法解析它。spark.driver.port也在舱(容
浏览 4提问于2020-01-09得票数 7
回答已采纳
当我在一个自托管的kubernetes集群上启动SparkPi示例时，executor pods被快速创建并具有错误状态->被新的executor pods替换。我在Google Kubernetes引擎上尝试了相同的命令，并取得了成功。我检查了基于角色的访问控制rolebinding，确保服务帐户有权创建pod。猜测下一个executor pod何时准备就绪，我可以使用kubectl des
浏览 1提问于2019-07-23得票数 0
我在Kubernetes上以客户端模式运行Spark 2.4.1。bin/spark-shell \--\
--conf
浏览 3提问于2019-07-25得票数 1
现在我想在k8s集群上部署一个spark作业，我想知道是否需要在所有的worker机器上安装和配置spark。
浏览 3提问于2020-01-29得票数 0
1回答
我正在使用Spark，它有一个预定义的脚本来在我的kubernetes集群中创建一个荚。
在豆荚被创建和运行之后，我想检查它是否还活着。我可以通过使用livenessProbe来实现这一点，但是这是在Pod的配置文件中配置的，没有对的控制，因为我的pod是由Spark创建的，我不能更改它<em
浏览 4提问于2022-08-21得票数 0
我正在尝试设置一个DAG，它将在第一个任务中创建一个星火集群，在临时任务中向集群提交Spark应用程序，并在最后一个任务中最终删除spark集群。我现在正在尝试的方法是使用KubernetesPodOperators来创建Spark和Worker。问题是，它们运行的是一个从未退出的星火守护进程。事实上，调用豆荚的命令永远不会退出，这意味着这些任务在运行阶段被困在气流中。所以，我想知道是否有一种方法运行星火守护进程，然
浏览 2提问于2020-01-15得票数 1
回答已采纳
The API gave the following container statuses:spark提交选项如下--conf spark.executor.instances\-
浏览 343提问于2018-11-30得票数 6
我正在尝试在Kubernetes上用Spark运行一个简单的字数统计应用程序。我得到了以下问题。我唯一不能做的事情是我不能创建clusterbinding spark-role，因为我没有访问默认名称空间的权限。相反，我创建了角色绑定。spark.kubernetes.namespace=non-default-namespace \
--conf spark.kubernetes</em
浏览 8提问于2018-12-24得票数 5
我有一个星星之火应用程序，希望将它部署到Kubernetes集群上。按照下面的文档，我成功地创建了一个空的Kubernetes集群，使用kubernetes/dockerfiles/spark/Dockerfile下提供的kubernetes/dockerfiles/spark/Dockerfile生成了对接映像，并在Dev环境中使用<em
浏览 7提问于2022-10-27得票数 0
我在kubernetes 1.19上运行spark 3.1.1。作业完成后，executor pod将被清理，但driver pod仍处于已完成状态。完成后如何清理驱动实例？是否有要设置的配置选项？
浏览 0提问于2021-04-29得票数 1
1回答
我使用k8s来部署使用spark-submit调用的spark。我们使用contour作为我们的ingress-class。我想知道是否有办法为ingress容器创建spark-driver对象，以公开Spark 。我试图看看是否可以在一个步骤中完成所有这些工作，可以使用annotations或labels。类似于的东西，它使用annotation来启用ingre
浏览 1提问于2020-02-01得票数 1
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
