1回答
我有一个运行在Docker上的小spark 2.4.1集群，不能使用pyspark连接。主节点是可访问的(在尝试连接时，会写入一些关于失败的错误日志)。Docker-compose文件： version: '3.4' #####################
# SPARK #/spark-class org.apache.spark.deploy.master.
浏览 19提问于2020-06-19得票数 0
2回答
然后我更改了主配置(2.230) conf/spark-env.sh设置：SPARK_MASTER_HOST=192.168.2.230有一些错误发生，无法连接到2.230，它的版本不兼容，但这两个火花复制从相同的tar.g
浏览 1提问于2017-04-18得票数 3
回答已采纳
我正在尝试使用客户端模式从停靠的Apache Spark应用程序连接到独立的Apache Spark集群。Spark具有spark.driver.host属性。此属性将传递给Maste
浏览 14提问于2016-07-22得票数 6
回答已采纳
我在云中有一个3节点的docker swarm集群，有spark master和spark worker服务，spark worker成功连接到master，在spark master UI中，显示了sparkworker连接：：
但是有一个运行python脚本的服务，使用pyspark，这个pyspark尝试连接到spark master，但在下面的日志中显示
浏览 0提问于2020-06-06得票数 0
1回答
我试图在安装了ZeppelinVersion0.10.0的本地机器上配置Spark解释器，这样我就可以在同样在Docker上创建的Spark集群上运行脚本。在读取了星火主容器的ID之后，我还可以在其上运行shell和星火外壳(docker exec -it xxxxxxxxxxxx /bin/bash)。作为使用Ubuntu20.04的主机操作系统，Zeppelin中的spark.master现在设置为://localhost:7077，zeppe
浏览 8提问于2022-08-10得票数 2
回答已采纳
我正在尝试在版本3中为docker-swarm docker version1.13设置一个docker-compose文件来测试我本地工作流程的spark。遗憾的是，端口7077只绑定到我的swarm集群上的localhost，因此无法从外部世界访问，而我的spark应用程序正试图连接到它。我的主配置的Docker compose部分：
#the spark master, having to run on the
浏览 2提问于2017-03-03得票数 0
我在Kubernetes上安装了Spark和Zeppeline，使用头盔图表孵化器/火花但是，解释器似乎无法连接到Spark。我需要出口SPARK_HOME吗？
谢谢
浏览 0提问于2018-04-19得票数 3
回答已采纳
我可以使用Spark来使用这个集群，如：我可以在那里运行正确分配给节点的计算，所以一切都运行得很好首先尝试启动Docker容器(使用环境变量SPARK_MASTER指向正确的主URL)。当作业开始时，工人被推去抱怨不能连接回172.18.x.y:nnnn。这一点很清楚，因为这是j观察者运行的Docker容器的内部
浏览 5提问于2017-07-13得票数 0
回答已采纳
ENV SPARK_VERSION 2.0.1ENV SPARK_HOME /usr/spark-${SPARK_VERSION}
ENV SPARK_DIST_CLASSPATH="$HADOOP_HOME/etc/hadoop/*:$HADOOP_HOME/s
浏览 2提问于2016-11-19得票数 1
回答已采纳
1回答
我有docker-compose.yml与下面的图像和配置 version: '3' spark-master: environment:
- "SPARK_MASTER=spark://spark-master</
浏览 15提问于2019-12-08得票数 1
> spark-worker_1 | java.net.UnknownHostException: docker-desktop:> code 51 services:
build:
context/danalysis/d
浏览 5提问于2020-01-10得票数 1
回答已采纳
1回答
injection child -t obj-intel64/mypintool.so -- obj-intel64/myexcecutabledockerrun --rm --net spark-net --volumes-from data \ --mast
浏览 14提问于2016-09-22得票数 1
我有一个Dockerfile，其中在CMD指令中使用了ARG：CMD spark-submit --deploy-mode client --master ${MASTER_URL} spark: context: spark - MASTER_URL=spark在I d
浏览 3提问于2016-02-23得票数 58
回答已采纳
然后，我发现应该将SPARK_NO_DAEMONIZE设置为TRUE --通过使用下面的命令“bash‘ing”到Docker来实现这一点
docker -ti --名称spark /spark:v3.3.0sh-5.1$ /opt/ such /sbin/start-master.sh.sh mkdir:无法创建目录'/opt/spark/logs'：
浏览 5提问于2022-08-29得票数 0
回答已采纳
我正在尝试使用kafka-python来访问Docker容器中的Kafka。我试图连接到Kafka的another化应用程序在同一网络中的另一个容器中。这是配置文件(docker-compose)： version: '3' spark-master: - SPARK_MODE=<
浏览 688提问于2021-09-29得票数 0
这是运行docker ps的输出 CONTAINER ID IMAGE COMMAND CREATED STATUSruby:2.5-stretch "bash -c 'rm -f tmp/…" 4 days ago Up 3 hours 0.0.0.0:3000->3000/tcp api-master_app_1
2c984adc35c9 postgres:9.6-alpine &quo
浏览 7提问于2020-12-23得票数 0
回答已采纳
我正在尝试获得一个docker-compose文件，既可以处理气流也可以处理火花。Airflow通常在8080:8080上运行，这也是spark需要的。我有以下docker-compose文件： version: '3.7' master: command: bin/spark-class org.apache.spark.dep
浏览 43提问于2020-10-23得票数 1
回答已采纳
我使用下面的代码( docker -Apache spark)安装了一个docker和Docker容器。Docker File:- MAINTAINER Getty Images "https://github.com/gettyimages"ENV SPARK_VERSION 2.4.1
ENV SPARK_PACKAGE spark-$
浏览 2提问于2020-07-13得票数 0
1回答
我的Docker容器没有设置HDFS，所以我希望它们能够与每个spark-worker的本地文件系统一起工作。我对每个工人都这样做：shell> touch README.md# Noversion: '3.3' spark-master:
image: bde2020/
浏览 0提问于2018-08-08得票数 0
我有一个docker-compose文件，并希望能够从本地缓存中的图像旋转其中一个图像，而不是从dockerhub中提取。我使用的是sbt docker插件，所以我可以看到正在创建的图像，并且当我在命令行执行docker images命令时也可以看到它。然而，当我执行docker-compose up -d myimage时，它总是缺省为远程映像。如何强制它使用我的本地镜像？？org.apache.spark.deploy.master.Master -h sp
浏览 0提问于2018-04-12得票数 6
回答已采纳
云服务器
ICP备案
对象存储
云点播
实时音视频
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号