我有一个安装了spark客户端的kubernetes pod。.gitbash-4.2#${SPARK_HOME}/bin/spark-submit该脚本上的代码为：
from pyspark import
浏览 21提问于2019-10-31得票数 0
我尝试向Kubernetes集群(Minikube)提交Spark申请。在客户端模式下运行我的spark submit时，一切都进行得很顺利。在3个pods中创建3个executors，并执行代码。以下是我的提交命令： [MY_PATH]/bin/spark-submit \
--master k8s://https:
浏览 40提问于2019-04-15得票数 6
回答已采纳
我已经启动了一个Minikube集群，但是当我发出火花-提交时，作业会出错。--class org.apache.spark.examples.SparkPi --conf spark.executor.instances=5 --conf spark.kubernetes.container.image(SparkContext.scala:2794)：外部调度程序无法在io.fabric8.kubernetes.client.KubernetesC
浏览 0提问于2019-03-13得票数 1
2回答
我在kubernetes中对Spark进行了如下配置。我点击了这个链接到setup - 在此配置中，是否可以在群集模式下运行作业？或者这只能用于本地开发？
浏览 1提问于2020-07-29得票数 1
1回答
当使用kubectl proxy从kubernetes集群外部运行时，它工作得很好。/spark
但是，每当我们尝试直接从一个吊舱中运行火花壳或火花提交时，它就无法工作(即使通过使用：和：--conf spark.kubernetes.authenticate.driver.serviceAccountName配置的服务帐户没有访问权限。服务</
浏览 1提问于2019-11-25得票数 1
我最初使用的是scikit-learn (sklearn)库。在模型优化的过程中，我使用了sklearn中的经典GridSearchCV类。集群的资源(pyspark和spark_sklearn库)。我设法设置了一个spark集群，其中有一个master和2个worker。下面的代码运行与前面相同的任务，但是使用spark集群资源。使用spark集群</e
浏览 0提问于2019-11-07得票数 0
我已经在Kubernetes上建立了Spark独立集群，并且我正在尝试连接一个Kerberized集群，它不是在Kubernetes上。我已经将core-site.xml和hdfs-site.xml放在了我的Spark集群的容器中，并相应地设置了HADOOP_CONF_DIR。我能够在Spark容器中成功地为访问</em
浏览 3提问于2020-05-11得票数 1
1回答
我在特定命名空间中的K8S上运行了spark (3.0.1)、livy (0.8.0)和Jupyterhub (火花魔术)，Kubernetes master作为资源管理器使用。当我试图在木星中心的笔记本中创建pyspark会话时，我得到了一个错误：
22/02/04 12:09:16警告InteractiveSession:未能阻止RSCDriver。杀了它。配置的服务帐户<
浏览 21提问于2022-02-07得票数 0
我查看了库，但它需要在集群中启用RBAC。在kubernetes中还有其他方法可以编程检索豆荚吗？
浏览 1提问于2019-11-06得票数 1
回答已采纳
我的公司在Azure租户中创建了一个订阅，而我的帐户在该订阅中具有所有者角色。我正在尝试创建一个Kubernetes集群，但我显然没有权限在kubernetes创建向导中创建所需的服务主体。我还尝试使用az命令行界面工具，收到类似的消息：其响应为:当前用户需要目录权限才能注册应用</em
浏览 3提问于2020-01-29得票数 0
我正在尝试运行的基本示例。sudo .105MB然后尝试提交SparkPi示例(如官方文档中的示例)。以下是Kubernetes仪表板上的完整吊舱原木：
2019-04-03 15:10:50 INFO ContextHandl
浏览 1提问于2019-04-03得票数 19
回答已采纳
我正在学习spark，我对运行包含Kubernetes集群上spark代码的docker感到困惑。我读到，spark可以利用多个节点(服务器)，并且可以在不同的节点上运行代码，以便更快地完成任务(当数据太大时，可以使用每个节点的内存)。在另一边，我读到Kubernetes吊舱(包含码头/集装箱)运行在一个节点上。(la
浏览 4提问于2021-02-10得票数 2
回答已采纳
我正在使用Spark 3.0.1，并在Kubernetes上进行项目spark部署，其中Kubernetes代理spark作业的集群管理器，spark使用客户端模式提交作业。如果群集没有足够的资源(CPU/内存)用于最小数量的执行器，则执行器将无限期地处于挂起状态，直到资源释放。假设集群配置为： total Memor
浏览 7提问于2021-02-05得票数 0
我运行的k8s版本2.4.5火花。我已经将星火图像存储在GCS中，可以通过spark.kubernetes.container.image.pullSecrets配置访问。我还将火花应用程序jar存储在GCP buckets.When中，使存储桶公开了火花提交工作。我的问题是，我如何访问私人桶，是否有任何配置可以通过火花？我有在GCP中创建的<e
浏览 2提问于2020-04-01得票数 0
回答已采纳
我在一个内核化的集群上运行Spark1.1.0，HDP 2.1。我可以成功运行火花提交使用-主纱-客户端和结果正确地写到HDFS，然而，工作没有显示在Hadoop所有的应用程序页面。我想运行火花提交使用e
浏览 1提问于2014-12-18得票数 9
回答已采纳
我有一个星星之火应用程序，希望将它部署到Kubernetes集群上。按照下面的文档，我成功地创建了一个空的Kubernetes集群，使用kubernetes/dockerfiles/spark/Dockerfile下提供的kubernetes/dockerfiles/spark然而，在“适当<em
浏览 7提问于2022-10-27得票数 0
我试图从我的Spark2应用程序中使用Hadoop的copyToLocalFile函数将一个文件从HDFS复制到本地。all.txt") hdfs.copyToLocalFile(src, dest)
当我在Yarn客户端模式下提交spark<e
浏览 0提问于2018-10-05得票数 0
这是我的情况：Hadoop版本2.7.4/software/spark-2.4.4-bin-hadoop2.7/bin/spark-submit \
--class com.me.MyClass --master spark://host2.local:7
浏览 0提问于2019-10-15得票数 0
我是新手，需要知道如何将我的EC2作业提交到亚马逊EC2 Spark集群。就像在azure中一样，我们可以通过带有azure插件的IntelliJ idea直接提交作业。
浏览 1提问于2017-05-16得票数 0
云服务器
ICP备案
对象存储
实时音视频
云直播
腾讯云开发者
