首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

有没有办法告诉Storm Nimbus在特定的supervisor中启动拓扑?

在特定的supervisor中启动Storm Nimbus拓扑的方法是通过配置supervisor.slots.ports属性来实现。Storm Nimbus是Storm集群的主节点,负责接收拓扑提交请求并将其分配给supervisor节点执行。每个supervisor节点负责运行一定数量的worker进程来执行拓扑。

要在特定的supervisor中启动拓扑,需要进行以下步骤:

  1. 配置supervisor.slots.ports属性:在Storm配置文件storm.yaml中,可以指定每个supervisor节点可用的端口范围。例如,可以设置supervisor.slots.ports属性为6700, 6701, 6702,表示该supervisor节点可用的端口范围是6700到6702。
  2. 编写拓扑配置文件:创建一个拓扑配置文件,指定拓扑的组件和它们之间的连接关系。拓扑配置文件可以使用Java、Python或其他支持的编程语言编写。
  3. 提交拓扑:使用Storm命令行工具或编程接口,将拓扑提交给Storm Nimbus。在提交拓扑时,可以指定拓扑所需的资源和配置信息,包括指定拓扑在哪个supervisor节点上运行。
  4. 指定supervisor节点:在提交拓扑时,可以使用--supervisor-assignment参数指定拓扑运行的supervisor节点。例如,可以使用--supervisor-assignment 6700参数将拓扑分配给端口号为6700的supervisor节点。
  5. 启动拓扑:提交拓扑后,Storm Nimbus将根据指定的supervisor节点分配拓扑,并在该supervisor节点上启动拓扑的worker进程。拓扑将开始在指定的supervisor节点上运行。

需要注意的是,以上步骤仅适用于Storm框架中的拓扑启动过程,与具体的supervisor实现无关。对于不同的云计算平台或部署环境,可能存在不同的配置和启动方式。在腾讯云的环境中,可以参考腾讯云Storm产品文档(https://cloud.tencent.com/document/product/272/9643)了解更多关于Storm拓扑的配置和启动方法。

页面内容是否对你有帮助?
有帮助
没帮助

相关·内容

  • 什么是Storm,它可以用来做什么?

    Supervisor:监听分配给它那台机器的工作,根据需要启动/关闭工作进程Worker。每一个要运行Storm的机器上都要部署一个,并且,按照机器的配置设定上面分配的槽位数。...zookeeper:Storm重点依赖的外部资源。Nimbus和Supervisor甚至实际运行的Worker都是把心跳保存在Zookeeper上的。...Topology:storm中运行的一个实时应用程序,因为各个组件间的消息流动形成逻辑上的一个拓扑结构。...整体物理布局 放一张Nimbus和Supervisior的关系图 数据处理的流程 Topology是一个完成的数据处理流程,在Nimbus提交jar,然后Nimbus分发到Supervisior中,Sport...2、大数据实时统计 互联网的数据量是海量的时候,没有办法在数据库层面直接SQL来进行统计,需要对于产生的数据,进行二次加工,然后产出结果,正好把实时变化的数据流到storm中处理一遍。

    2K50

    实时可靠的开源分布式实时计算系统——Storm

    为了发挥Storm的可靠性,需要你在创建一个元组树中的一条边时告诉Storm,也需要在处理完每个元组之后告诉Storm。这些都是通过Bolt吐元组数据用的OutputCollector对象来完成的。...标记是在emit函数里完成,完成一个元组后需要使用Ack函数来告诉Storm。 10) Workers 拓扑以一个或多个Worker进程的方式运行。...2) 从节点(Supervisor) Storm集群上有多个从节点,他们从Nimbus上下载拓扑的代码,然后去真正执行。Slave上的Supervisor进程是用来监督和管理实际运行业务代码的进程。...例如Supervisor启动时,会在ZooKeeper上注册,Nimbus就可以发现Supervisor;Supervisor在ZooKeeper上留下心跳信息,Nimbus通过这些心跳信息来对Supervisor...当一个worker挂掉,supervisor会重启它。如果启动一直失败那么此时worker也就不能和Nimbus保持心跳了,Nimbus会重新分配worker到其他机器。

    2.2K60

    【Storm】Storm之what

    (启动Worker) - Worker(特定Topology进程) - Executor(特定Task线程) - Task(Spout/Bolt实例) 不会出现一个worker进程为多个topology...不建议为每个拓扑在每台机器上分配超过一个worker。而应该改为在一台机器上分配多个线程,而不是在一台分配多个进程来提高并行度。...箭头3表示Supervisor在ZooKeeper中创建的路径是/storm/supervisors/supervisor-id>。新节点加人时,会在该路径下创建一个节点。...Nimbus会尽量保持任务分配的稳定性。 箭头9表示Supervisor会从LocalState中获取由它启动的所有Worker的心跳信息。...需要注意的是,Nimbus在Topology被提交时只会创建路径/storm/workerbeats/,而不会设置数据,数据则留到Worker启动之后由Worker创建。

    72831

    深入解析:Storm配置项详解

    小伙伴们在批阅的过程中,如果觉得文章不错,欢迎点赞、收藏、关注哦。三连即是对作者我写作道路上最好的鼓励与支持!...前言在上期内容中,我们探讨了 Apache Storm 的基本架构,包括 Nimbus、Supervisor 和 Worker 之间的协作机制,以及 Storm 拓扑 (Topology) 的执行流程。...概述Storm 的配置项分为三类:集群配置项:在集群层面控制 Nimbus 和 Supervisor 等核心组件的行为。拓扑配置项:为每个拓扑单独配置运行时参数。...运行时配置项:在代码中动态调整拓扑运行的参数。通过合理设置这些配置项,可以实现性能优化、资源分配和容错能力的增强。Storm 配置项详解1....nimbus.seeds:"nimbus1""nimbus2"默认值:无(必须配置)示例:1.4 supervisor.slots.ports作用:定义 Supervisor 节点可以使用的端口,用于启动

    13531

    一脸懵逼学习Storm的搭建--(一个开源的分布式实时计算系统)

    节点所在的服务器 nimbus.host: "storm01" #指定nimbus启动JVM最大可用内存大小 nimbus.childopts: "-Xmx1024m" #指定supervisor启动JVM...启动storm 在nimbus主机上,在nimbus.host所属的机器上启动 nimbus服务:   nohup ..../storm nimbus 1>/dev/null 2>&1 & 或者使用命令:nohup ./storm nimbus &在nimbus.host所属的机器上启动ui服务:   nohup ....可以启动一下storm的ui查看: ? 查看一下进程如: ? 启动ui以后可以在浏览器访问,如: ? 启动supervisor [root@slaver1 bin]# ....这是个很强大的命令。比如,你向一个运行中的集群增加了节点。再平衡命令将会停用拓扑,然后在相应超时时间之后重分配工人,并重启拓扑。

    1.4K60

    Storm介绍及原理

    * 此方法告诉Storm当前组件会发射哪些数据流,每个数据流中的tuple中包含哪些字段。...* 此方法告诉Storm当前组件会发射哪些数据流,每个数据流中的tuple中包含哪些字段。...集群中的topology在如下的四个级别中存在并发: 1.Nodes     服务器:配置在Storm集群中的一个服务器,会执行Topology的一部分运算,一个Storm集群中包含一个或者多个Node...nimbus记录所有的supervisor节点的状态和分配给他们的task,如果nimbus发现某个supervisor没有上报心跳或者已经不可达了,他将会将故障supervisor分配的task重新分配到集群中的其他...supervisor和worker都是运行在不同的JVM进程上,如果supervisor启动的worker进程因为错误异常退出,supervisor将会尝试重新生成新的worker进程。

    5.1K80

    【大数据技术基础 | 实验十五】Storm实验:部署Storm

    可以配置worker的数量,对应的是conf/storm.yaml中的supervisor.slot的数量),架构图如下图所示: 称集群信息(Nimbus协议、Supervisor节点位置) 、任务分配信息等关键数据为元数据...流起源于喷嘴(spout),Spout将数据从外部来源流入 Storm 拓扑结构中。接收器(或提供转换的实体)称为螺栓(bolt)。...典型的 Storm 拓扑结构会实现多个转换,因此需要多个具有独立元组流的Bolt。Bolt和Spout都实现为Linux系统中的一个或多个任务。.../storm ui >/dev/null 2>&1 & 最后我们使用jps分别在三台虚拟机上查看java进程看我们是否启动成功:在主节点输入jps有nimbus进程和core进程,其中nimbus进程为...在实验过程中,我与同学们相互讨论、互相帮助,共同解决了许多难题。这种团队协作的精神不仅提高了我们的实验效率,也让我们在相互学习中不断成长。   总的来说,这次实验让我受益匪浅。

    6900

    Storm——分布式实时流式计算框架

    即,由一系列通过数据流相互关联的Spout、Bolt所组成的拓扑结构 生命周期:此拓扑只要启动就会一直在集群中运行,直到手动将其kill,否则不会终止 (区别于MapReduce当中的Job,MR当中的.../bin/storm --help 下面分别启动ZooKeeper、Nimbus、UI、supervisor、logviewer ##错误信息放到标准输入中, $ ....节点node2和node3启动supervisor,按照配置,每启动一个supervisor就有了4个slots $ ./bin/storm supervisor >> ....Worker – 进程 一个Topology拓扑会包含一个或多个Worker(每个Worker进程只能从属于一个特定的Topology) 这些Worker进程会并行跑在集群中不同的服务器上,即一个...如果启动过程中仍然一直失败,并且无法向Nimbus发送心跳,Nimbus会将该Worker重新分配到其他服务器上 Supervisor 无状态(所有的状态信息都存放在Zookeeper中来管理)

    5.2K20

    大数据入门:Storm基础讲解

    Storm核心概念 要学习Storm,我们先从Storm的几个核心概念开始讲起—— 无标题112.jpg Topology(拓扑):在Storm中,分布式计算的结构被称为一个拓扑,它由流数据(Stream...Tuple:Storm的核心数据结构,是一个简单的键值对数据,每条数据都会被封装在tuple中,在多个spout和bolt之间传递。...Storm集群架构 通常来说,Storm集群采用主从架构方式,主节点是Nimbus,从节点是Supervisor,有关调度相关的信息存储到ZooKeeper集群中。...Supervisor Storm集群的从节点,负责管理运行在Supervisor节点上的每一个Worker进程的启动和终止。 Worker 运行具体处理组件逻辑的进程。...ZooKeeper 用来协调Nimbus和Supervisor,如果Supervisor因故障出现问题而无法运行Topology,Nimbus会第一时间感知到,并重新分配Topology到其它可用的Supervisor

    94800

    Twitter Storm 集群搭建

    (配置) StormSubmitter/LocalCluster(拓扑提交器) Storm集群部署 Storm集群架构: 如图: image.png 在Storm的集群里面有两种节点:控制节点和工作节点...控制节点上面运行一个叫Nimbus进程,Nimbus负责在集群里面分发代码,分配计算任务,并且监控状态。 每一个工作节点上面运行一个叫做Supervisor进程。...Supervisor负责监听从Nimbus分配给它执行的任务,据此启动或停止执行任务的工作进程 Nimbus和Supervisor之间的所有协调工作都是通过Zookeeper集群完成。...然后在storm.yaml中配置该目录,如: storm.local.dir: "/usr/storm/workdir" 分别启动三台机器 master:到storm的bin目录下 ..../logs/su.log 2>&1 & (启动后台进程,并把正确和错误的信息输出到该文件中) 在master上启动UI管理界面 .

    38210

    Storm极简教程

    资源 TopologyBuilder: 使用这个类来在Java中创建拓扑 在生产集群中运行拓扑 本地模式: 通过阅读这篇可以学习到如何在本地模式下进行拓扑的开发和测试 元组(Tuple) 元组是Storm...为了发挥Storm的可靠性,需要你在创建一个元组树中的一条边时告诉Storm,也需要在处理完每个元组之后告诉Storm。这些都是通过Bolt吐元组数据用的OutputCollector对象来完成的。...标记是在emit函数里完成,完成一个元组后需要使用ack函数来告诉Storm。 Workers(工作进程) 拓扑以一个或多个Worker进程的方式运行。...在supervisor同步时,会根据新的任务分配情况来启动新的worker或者关闭旧的worker并进行负载均衡。.... supervisor定期获取任务分配信息,如果topology代码缺失,会从nimbus下载代码,并根据任务分配信息,同步worker. worker根据分配的tasks信息,启动多个executor

    1.9K50

    storm流式处理框架

    Storm的部署管理非常简单,而且,在同类的流式计算工具,Storm的性能也是非常出众的。 Storm主要分为两种组件Nimbus和Supervisor。这两种组件都是快速失败的,没有状态。...如果,业务场景中需要低延迟的响应,希望在秒级或者毫秒级完成分析、并得到响应,而且希望能够随着数据量的增大而拓展。那就可以考虑下,使用Storm了。...安装完成 storm系统由一个nimbus节点和多个supervisor节点组成,上面因为是部署单机版本,所以只启动了一个supervisor。...上面配置文件中配置的supervisor.slots.ports包含了4个port,也就是这个supervisor可以监听4个端口同时并发的执行4个任务,因此在web界面里我们看到Free slots是...4 在map-reduce系统上运行的任务我们叫做mapper和reducer,相对之下,在storm上运行的任务叫做spout(涛涛不绝地喷口)和bolt(螺栓),在拓扑里传递的消息叫做tuple。

    96350

    Apache Storm使用

    每一个工作进程执行一个Topology的子集;一个运行中的Topology由分布在不同工作节点上的多个工作进程组成 Nimbus 和 Supervisor 节点之间所有的协调工作是通过 Zookeeper...此外,Nimbus 和 Supervisor 进程都是快速失败(fail-fast)和无状态(stateless)的;Storm 集群所有的状态要么在 Zookeeper 集群中,要么存储在本地磁盘上。...以下是启动Storm各个后台进程的方式: Nimbus: 在Storm主控节点上运行 nohup storm nimbus & 启动Nimbus后台程序,并放到后台执行; Supervisor: 在Storm...各个工作节点上运行nohup storm supervisor & 启动Supervisor后台程序,并放到后台执行; UI: 在Storm主控节点上运行nohup storm ui & 启动UI后台程序...为了方便使用,可以将bin/storm加入到系统环境变量中。 至此,Storm集群已经部署、配置完毕,可以向集群提交拓扑运行了。

    39010

    大数据实时处理利器 storm 的 ui 解剖

    有什么数据,那么先去理解 storm 有哪些动作就事半功倍了,以下是 storm 中 worker/supervisor/nimbus 的基本操作及对应的数据类型,左边为操作,右边为数据。...nimbus-summary 中的 isleader 发生变化 三、页面展现结构 在上述的第二点中已经说明了基本操作及对应的数据类型,那么在页面中就可以很好的对应了,先从整体视图来看看我们 storm...bolts:bolt 组件的统计数据,数据含义在第二点的数据类型已有说明。 topology visualization:展示 topology 的拓扑结构图及数据传输情况。...[1500361254824_4181_1500361254561.png] 五、常见的操作流程 我们在使用 storm 的过程中,会不定时的出现一些问题,熟练 storm ui 可以更好的协助自己分析解决问题...想查看整个 topology 中各个 component 传输的 tuple 数据,那么在 topology 详情页面启动 debug,输入百分比参数,那么 topology 会按照比率把 tuple

    4.1K10

    Storm集群安装详解

    Nimbus的作用类似于Hadoop中JobTracker的角色。 2. 每个工作节点(Work Node)上运行一个被称为Supervisor的后台程序。...Supervisor负责监听从Nimbus分配给它执行的任务,据此启动或停止执行任务的工作进程。...此外,Nimbus和Supervisor进程都是快速失败(fail-fast)和无状态(stateless)的;Storm集群所有的状态要么在Zookeeper集群中,要么存储在本地磁盘上。...以下是启动Storm各个后台进程的方式: Nimbus: 在Storm主控节点上运行”bin/storm nimbus >/dev/null 2>&1 &”启动Nimbus后台程序,并放到后台执行; Supervisor...: 在Storm各个工作节点上运行”bin/storm supervisor >/dev/null 2>&1 &”启动Supervisor后台程序,并放到后台执行; UI: 在Storm主控节点上运行”

    1.9K10

    事实数据分析——Storm框架(一)

    流(Stream) 流是Storm的核心抽象,是一个无界的元组系列。源源不断传递的元组就组成了流,在分布式环境中并行地进行创建和处理。...IRichSpout是Spout必须实现的接口。 转接头(Bolt) 在拓扑中所有处理都在Bolt中完成,Bolt是流的处理节点,从一个拓扑接收数据,然后执行进行处理的组件。...拓扑(Topology) 拓扑(Topology)是Storm中运行的一个实时应用程序,因为各个组件间的消息流动而形成逻辑上的拓扑结构。...Nimbus进程与Supervisor进程 主控节点运行一个称为Nimbus的守护进程类似于Hadoop的JobTracker。Nimbus负责在集群中分发代码,对节点分配任务,并监视主机故障。...每个工作节点运行一个称为Supervisor的守护进程。Supervisor监听其主机上已经分配的主机的作业,启动和停止Nimbus已经分配的工作进程。

    1.1K30
    领券