所以我使用Docker Compose在Docker中运行了一个Spark集群。我使用的是docker-spark图像。然后我又添加了2个容器，1个是服务器(纯python)，1个是客户端(spark流媒体应用)。它们都运行在同一个网络上。对于服务器(普通的python)，我有类似这样的东西 import socket
s.bind(('',
浏览 13提问于2020-12-17得票数 1
回答已采纳
2回答
我遇到了一个问题(这似乎很常见)，我正在修改运行在一台机器上的应用程序，而这些应用程序现在需要在不同的容器中运行(因为这是对接者的范例，也是应该如何完成的)。目前我对后缀和多维柯有意见.人们发现这太痛苦了，因为在一个容器中有大量的容器同时运行dovecot和postfix，我正在尽我最大的努力来做好这件事，但是缺少inet的例子(通过tcp)太痛
浏览 9提问于2022-12-04得票数 1
2回答
Docker群尺度
、、、
我有一个用docker-swarm构建的集群，我们在其中运行apache spark应用程序。在集群中，我有一个管理器节点和3个worker nodes.In这个集群，我们有一个spark的主容器和许多worker容器。我可以使用以下命令扩展工作节点的数量。sudo docker service scale spark_work
浏览 0提问于2018-06-19得票数 2
1回答
我想了解一下Kafka和Spark(流)节点之间的通信是如何发生的。我有以下问题。
我是说，这里的通信是RPC通信还是套接<em
浏览 4提问于2016-03-16得票数 1
我正在使用Python/Spark运行一系列不同的作业，一次一个。为了避免每次创建SparkContex都需要一段时间，我希望将上下文作为参数发送到每个作业。最重要的是，我希望管理器(创建上下文和运行作业的代码)具有超时机制。 numbers = sparkContext.parallelize([1,2,3,4,5,6,7,8,9,10])
File "/home&
浏览 0提问于2015-09-08得票数 1
我在AWS上运行了一个Mesos集群，通过dcos package install spark命令安装了Spark。我能够使用DCOS：dcos spark run ...成功地执行星火作业
现在，我想从运行在Mesos集群中的Docker容器中执行spark作业，但我不太确定如何到达Spark的运行实例。这样做的想法是让一个码头容器</
浏览 5提问于2016-08-16得票数 1
1回答
我使用Docker覆盖网络创建了一个带有4个节点的：node0、node1、node2和node3。Node0充当共享节点信息的键值存储，而node1、node2和node3则绑定到键值存储。user@node1$ docker ps -a
CONTAINER ID IMAGE COMMAND CREATED为每个属于红色覆盖网络的容器添加了一个条目到/etc/host
浏览 3提问于2016-02-14得票数 0
回答已采纳
在阅读了关于和的讨论后，我仍然对如何通过一些bear metal主机和AWS (如私有云(OpenNebular) )创建带有码头容器的Spark和TensorFlow集群感到困惑。目前，我可以使用手动分发到不同主机的docker容器来构建静态TensorFlow集群。我只在熊金属主机上运行一个独立的火花。手动设置容器的mesos集群</
浏览 2提问于2017-06-03得票数 0
到目前为止，我只在Linux机器和VM(桥接网络)上运行Spark，但是现在我对使用更多的计算机作为奴隶很感兴趣。这一不足已经完成了，但我在从容器上配置正确的SPARK_LOCAL_IP (或--start-slve.sh的主机参数)时遇到了困难。我还按照的指示设置了和Docker端口，但在我的例子中，Spark正在另一台机器上运行，而不是<em
浏览 4提问于2015-09-22得票数 10
回答已采纳
1回答
如何使用Dataflow Java SDK处理节点间通信。这意味着，提交到数据流管道的作业的所有者是否对集群维护和调度进行了细粒度的控制？这似乎是为用户自动管理的，因为Dataflow使用向Kubernetes API服务器注册的容器VM。
如果需要影响集群调度的能力，我认为有两种可能: a)访问原始套接字(如果可用，如何访问？)或者b)注入用于节点间通信
浏览 2提问于2015-11-06得票数 1
2回答
两个独立的Docker容器是否可以通过ZMQ套接字进行通信？如果是的话，怎样才能做到呢？
Docker容器#1执行一个创建ZMQ响应套接字的应用程序，并绑定到“ipc://tmp/”。Docker容器#2执行一个创建ZMQ请求套接字并连接到"ipc:/
浏览 3提问于2017-05-17得票数 15
回答已采纳
我正在尝试使用客户端模式从停靠的Apache Spark应用程序连接到独立的Apache Spark集群。Spark具有spark
浏览 14提问于2016-07-22得票数 6
回答已采纳
1回答
我在Eclipse Oxygen上编写了两个不同的代码。在前者中，Spark的主人是本地化的。java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:617)两个代码之间的差异是主要的前一个代码的主人是本地的，后一个
浏览 2提问于2017-10-08得票数 0
1回答
我有一个约束，可以使用unix域套接字在Docker容器和主机上的进程之间进行通信。主机上的套接字位于/tmp/my_socket中。为此，我正在运行带有挂载卷的docker容器：docker run <image> -v /tmp/my_socket:/tmp&#x
浏览 16提问于2022-08-04得票数 0
2回答
在运行Docker容器时，我希望设置容器的网络，以便容器只能在主机正在侦听的(TCP)端口上与主机通信。我不想让容器访问互联网，或者运行在同一主机上的其他容器，或者访问主机连接到的网络。如果我运行的是一个类似于VMWare的VM，我会选择“仅主机”联网选项，它会在最有guuest的VM和具有上述属性的主机之间创
浏览 0提问于2015-01-28得票数 4
我有一个关于spark的问题。如果我在spark驱动程序上定义了到远程服务器的长期套接字连接，我还可以使用该套接字与spark worker.How上的远程服务器通信。例如，我在spark driver上定义了一个redis客户端，我也可以通过spakr worker上<em
浏览 16提问于2019-08-03得票数 0
我一直在阅读有关通过挂载docker套接字在docker容器中构建docker镜像的安全问题。 在我的例子中，我通过API docker-py访问docker。现在我想知道，在普通的ubuntu主机上(而不是在docker容器中)使用docker-py构建镜
浏览 15提问于2021-08-18得票数 0
回答已采纳
3回答
我试图用spark+docker制作一个hello world示例，下面是我的代码。resources; check your cluster UI to ensure that workers are registered and have sufficient memory14/05/
浏览 1提问于2014-05-28得票数 8
回答已采纳
1回答
我已经将用python编写的ML作业代码包含到一个码头容器中，并能够使用Amazon作为码头服务运行。我想使用星星之火以分布式方式运行，并在亚马逊EMR.Can上部署，建立ECS和EMR之间的连接？
浏览 3提问于2017-05-25得票数 9
回答已采纳
0回答
我使用这个和相关文档创建了一个Spark集群。现在我正在尝试通过spark-submit在星火大师的Docker容器中执行一个作业，所以我使用的命令类似于：--master spark://spark-master:70
浏览 0提问于2017-12-01得票数 1
回答已采纳
云服务器
ICP备案
腾讯会议
云直播
对象存储
腾讯云开发者
