首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

为什么Storm没有在工作中的群集上重放失败的消息,而是在本地桌面的群集模式上重放

Storm是一个分布式实时计算系统,它主要用于处理大规模的实时数据流。在工作中的群集上重放失败的消息是不可行的,而是在本地桌面的群集模式上重放,有以下几个原因:

  1. 群集模式和本地桌面模式的区别:在工作中的群集模式中,Storm集群通常由多个节点组成,每个节点负责处理一部分数据流。而在本地桌面模式中,Storm运行在单个节点上,主要用于开发和测试目的。由于群集模式涉及到多个节点的协同工作,重放失败的消息会涉及到多个节点之间的通信和数据同步,这会增加复杂性和开销。
  2. 实时性要求:Storm主要用于实时数据处理,对于失败的消息,重放可能会导致延迟增加,影响实时性能。在工作中的群集模式中,重放失败的消息可能会导致整个数据流的延迟,从而影响实时计算的准确性和效率。
  3. 数据一致性:在工作中的群集模式中,由于数据流可能分布在多个节点上进行处理,重放失败的消息可能会导致数据一致性的问题。不同节点上的数据可能会出现不一致的情况,从而影响计算结果的准确性。
  4. 资源消耗:在工作中的群集模式中,重放失败的消息会增加系统的资源消耗。由于群集模式涉及到多个节点的协同工作,重放失败的消息可能会导致额外的网络通信、数据同步和计算开销,从而增加系统的负载和资源消耗。

综上所述,为了保证实时性、数据一致性和资源消耗的考虑,Storm没有在工作中的群集上重放失败的消息,而是在本地桌面的群集模式上重放。这样可以更好地满足实时数据处理的需求,并减少对整个系统的影响。

页面内容是否对你有帮助?
有帮助
没帮助

相关·内容

Storm消息处理可靠性保证

当tuple消息树已经遍历完,并且每一个消息都被处理,则storm认为tuple从spout发出后被完全处理。当tuple消息树上的消息在一个指定的超时时间内没有被完全处理则认为tuple处理失败。...这里的意思是这条消息没有真正从队列中脱离,而是被放置到了一个“挂起”的状态等待消息的完成确认。在此期间,该消息不会被其他的客户端消费。...一个多锚定tuple在处理失败后会引起spout中多个tuple被重放。...tuple显式的失败的好处是,spout可以更快速的进行数据的重放,而不用等待tuple的超时。     在storm中你处理的每个tuple都必须执行ack 或 fail操作。...由于它们没有锚定到任何spout tuple上,所以它们不会引起任何spout tuple执行失败即使它们不执行ack操作。

95470

Galera Cluster for MySQL 详解(一)——基本原理

数据库状态机:数据库站点本地处理只读事务。更新事务首先在本地的“影子拷贝(shallow copies)”上执行,然后作为读集广播到其它数据库站点进行验证并提交。...DDL支持 总序隔离(Total Order Isolation,TOI),DDL执行期间,所有写入都将被阻止 DDL 并不会阻塞写,仅建议在单主模式下使用(因为 DDL 并没有冲突检测) 二、Galera...Galera集群的内部架构包含四个组件,如图3所示: 数据库管理系统(DBMS):在单个节点上运行的数据库服务器。Galera群集可以使用MySQL、Mariadb或Percona xtradb。...在传输层上,Galera集群是一个对称的无向图,所有节点都通过TCP相互连接。默认情况下,TCP用于消息复制和群集成员资格服务,但也可以使用udp多播在LAN中进行复制。...所谓乐观执行是指,事务在一个节点提交时,被认为与其它节点上的事务没有冲突,首先在本地执行,然后再发送到所有节点做冲突检测,无冲突时在所有节点提交,否则在所有节点回滚。

5.9K10
  • HeartBeat 集群组件概述

    *日志,监控,仲裁和fence标准 *当服务失败或者其中设定的标准满足时,需要执行的动作 image.png 消息传递和基础设施层(Messaging and Infrastructure...你可以在集群中的任何节点上使用任何工具,本地的CIB将重放的请求的更改到指定协调器。然后指定协调会复制CIB变化到所有群集节点,并启动转换过程。...在策略引擎和过渡引擎的帮助下,指定协调器获得的一系列需要在集群中完成的步骤,有可能在多个节点上的步骤。指定协调器通过消息层向其他集群资源管理器发送命令。...如果需要的话,其他的群集资源管理使用它们的本地资源管理器来执行资源的修改并返回其结果给指定协调器。一旦指定协调的上的TE推断出在集群中所有必须的操作已成功完成,集群将回到空闲状态并等待进一步事件。...指定协调器会被集群一致成员服务(在一个节点死亡)或本地资源管理通知(如遇失败的监视器操作)。指定协调器需要确定将要变更到一个新的群集状态的行为。新的群集状态将由一个新的CIB表示。

    1K20

    全面介绍Apache Kafka™

    如果您的单个数据库服务器由于某种原因而失败(正如机器那样),那就搞砸了。 分布式系统的设计方式是以可配置的方式适应故障。 在5节点Kafka群集中,即使其中2个节点关闭,您也可以继续工作。...这允许它们按照自己的意愿递增/递减它们所处的偏移量,从而能够重放和重新处理事件。 值得注意的是,消费者实际上是消费者群体,其中包含一个或多个消费者流程。...但是,在现实生活中,您所做的大多数操作都是有状态的(例如count()),因此需要您存储当前累积的状态。 在流处理器上维护状态的问题是流处理器可能会失败!你需要在哪里保持这种状态才能容错?...流处理器可以将其状态保持在本地表(例如RocksDB)中,该表将从输入流(可能在某些任意转换之后)更新。当进程失败时,它可以通过重放流来恢复其数据。...它为什么看到这么多用途? 仅凭高性能,可用性和可扩展性并不足以使公司采用新技术。还有其他系统具有类似的特性,但没有一个被广泛使用。这是为什么?

    1.3K80

    Linode Cloud中的大数据:使用Apache Storm进行流数据处理

    有关可以自定义哪些参数的详细信息,请参阅官方Zookeeper配置参数文档。没有必要在此文件中输入群集的节点列表。这是在群集创建期间由脚本自动完成的。...多个Storm群集可以共享相同的Zookeeper映像。事实上,保持图像数量较低是一个好主意,因为图像存储限制在10GB。...请注意,使用此方法时,命令将root在每个节点上执行。 要在所有节点上执行命令,请使用该run命令,指定群集名称和要运行的命令。...Zookeeper群集操作 在本节中,我们将介绍在Zookeeper集群启动并运行后管理其他操作。 应从storm-linode集群管理器Linode上的目录执行本节中的所有命令。...在更新和升级软件,下载资源或更改新文件的权限时,这非常有用。请注意,使用此方法时,命令将root在每个节点上执行。 要在所有节点上执行命令,请使用该run命令,指定群集名称和要运行的命令。

    1.4K20

    应用消息中间件设计可以解决哪些实际问题?

    MQ不仅提供了多点广播的功能,而且还拥有智能消息分发功能,在将一条消息发送到同一系统上的多个用户时,MQ将消息的一个复制版本和该系统上接收者的名单发送到目标MQ系统。...目标MQ系统在本地复制这些消息,并将它们发送到名单上的队列,从而尽可能减少网络的传输量。...群集(Cluster) 为了简化点对点通讯模式中的系统配置,MQ提供Cluster(群集)的解决方案。...群集类似于一个域(Domain),群集内部的队列管理器之间通讯时,不需要两两之间建立消息通道,而是采用群集(Cluster)通道与其它成员通讯,从而大大简化了系统配置。...传统模式的缺点:假如库存系统无法访问,则订单减库存将失败,从而导致订单失败,订单系统与库存系统耦合 如何解决以上问题呢?引入应用消息队列后的方案,如下图: ?

    75020

    Elastic search 6.0.0 正式发布 大量新特性

    (adsbygoogle = window.adsbygoogle || []).push({}); 跨多个 Elasticsearch 群集搜索 和以前一样,Elasticsearch 6.0 能够读取在...不同的是,现在不必重新索引所有的旧 Indices ,你可以选择将其保留在 5.x 群集中,并使用跨群集搜索同时在 6.x 和 5.x 群集上进行搜索。...群集检查助手 在现有群集上运行一系列检查,以帮助在升级之前更正任何问题。 你还应该查阅弃用日志,以确保您没有使用 6.0 版中已删除的功能。...以前,如果由于网络问题或节点重启而从集群断开连接的节点,则节点上的每个分区都必须通过将分段文件与主分片进行比较并复制任何不同的分段来重新同步。...这可能是一个漫长而昂贵的过程,甚至使节点的滚动重新启动非常缓慢。 使用序列 ID,每个分片将只能重放该分片中缺少的操作,使恢复过程更加高效。

    66210

    Flink 使用Flink进行高吞吐,低延迟和Exactly-Once语义流处理

    流式架构的演变 在流处理中保证高性能同时又要保证容错是比较困难的。在批处理中,当作业失败时,可以容易地重新运行作业的失败部分来重新计算丢失的结果。这在批处理中是可行的,因为文件可以从头到尾重放。...但是在流处理中却不能这样处理。数据流是无穷无尽的,没有开始点和结束点。带有缓冲的数据流可以进行重放一小段数据,但从最开始重放数据流是不切实际的(流处理作业可能已经运行了数月)。...开源中第一个广泛使用的大规模流处理框架可能是Apache Storm。Storm使用上游备份和记录确认机制来保证在失败后重新处理消息。...在失败的情况下,重放部分数据库日志来恢复计算状态,以及重放丢失的记录。...较低的缓冲区超时时间通常意味着较低的延迟,可能以吞吐量为代价。在上面的实验中,缓冲区超时时间设置为50毫秒,这解释了为什么99%的记录延迟在50毫秒以下。 下面说明了延迟如何影响Flink的吞吐量。

    5.9K31

    「大数据系列」Apache NIFI:大数据处理和分发系统

    已经讨论并广泛阐述了出现的问题和解决方案模式。企业集成模式[eip]中提供了一个全面且易于使用的表单。 数据流的一些高级别挑战包括: 系统失败 网络故障,磁盘故障,软件崩溃,人们犯错误。...NiFi架构 NiFi在主机操作系统上的JVM内执行。...这些都是持久的保证传递,并使用本地磁盘这样做。因此保守一点,假设典型服务器中的适度磁盘或RAID卷上的读取/写入速率大约为每秒50 MB。...这就带来了NiFi与其获取数据的系统之间的负载平衡和故障转移的有趣挑战。使用基于异步排队的协议(如消息服务,Kafka等)可以提供帮助。...从NiFi框架的角度来看,在增加吞吐量方面,可以在配置时增加Scheduling选项卡下处理器上的并发任务数。这允许更多进程同时执行,从而提供更高的吞吐量。

    3.1K30

    早点散----------深入剖析LVS负载均衡群集原理

    一、负载均衡群集原理 LVS在基本的生产环境中,都会同时运行在二台硬件相近的服务器上:LVS Router(主 LVS ),一个作为备份LVS(备份 LVS )。...HA的工作方式包括双工和主从两种模式 双工,两个平级状态的协同工作,随时顶替对方 带有主从模式的,一台主,多台从,称为中心化群集 去中心化机制:没有真正的主,如果有,也是象征意义的,所有节点都干活(Redis...用多台主机在不同的地方来计算 并行计算 : 所有的运算一起执行 3、负载均衡群集工作模式分析 负载均衡群集是目前企业用得最多的群集类型 群集的负载调度技术有三种工作模式 地址转换 IP隧道...(3)DR模式 直接路由(Direct Routing) 简称DR模式,采用半开放式的网络结构,与TUN模式的结构类似,但各节点并不是分散在各地,而是与调度器位于同一个物理网络 负载调度器与各节点服务器通过本地网络连接...如果选择-种方式死去,我希望是在工作中死去。

    80250

    Flink1.4 检查点启用与配置

    前提条件 Flink 的检查点机制与流和状态的持久存储进行交互。一般来说,它要求: 一个可持久化(或保存很长时间)的数据源,可以重放特定时间段的记录。...检查点的其他参数包括: (1) exactly-once 与 at-least-once:你可以选择性的将模式传递给 enableCheckpointing(n) 方法来在两个保证级别之间进行选择。...(3) state.backend.rocksdb.checkpointdir: 用于存储 RocksDB 文件的本地目录,或由系统目录分隔符(例如Linux/Unix上的’:’(冒号))分隔的目录列表...有关可用状态终端以及作业范围和群集范围内配置选项的的详细信息,请参阅状态终端。 5. 迭代作业中的状态检查点 目前 Flink 只为无迭代作业提供处理保证。在迭代作业上启用检查点会导致异常。...重启策略 Flink支持不同的重启策略,控制在失败情况下重启的方式。有关更多信息,请参阅重启策略。

    2K30

    Rabbitmq群集部署

    一、部署Rabbitmq集群 Rabbitmq集群大概分为两种方式: 1、普通模式:默认的集群模式,消息的尸体只存在一个节点上; 2、镜像模式:把需要的队列做成镜像,存在于多个节点。...集群节点模式: 1、内存节点:工作在内存上; 2、磁盘节点:工作在磁盘上; 例外:内存节点和磁盘节点共同存在,提高访问速度的同时增加数据持久化。...~]# ps -ef | grep rabbitmq # 确定已经启动,可以看到重启后主机名已经变更为hosts解析中所配置的 5、在rabbitmq01上配置群集 [...IP+15672端口都可以进行登录: 可以在下面的页面看到群集节点的信息: ?...四、单台节点加入或退出群集配置 1、节点加入群集 由于我在上面部署群集时,hosts文件已经可以解析群集内的节点,所以这里就省略解析了 #在节点192.168.171.143服务器上安装rabbitmq

    1.2K30

    「首席看容器云架构」设置高可用性Kubernetes Master

    /cluster/kube-down.sh 处理主副本故障 如果高可用性群集中的一个主副本失败,则最佳实践是从群集中删除该副本,并在同一区域中添加一个新副本。...为了使区域失效,还要将节点放置在多个区域中(有关详细信息,请参阅多个区域)。 不要将群集与两个主副本一起使用。更改永久状态时,两副本群集上的共识要求两个副本同时运行。...总览 每个主副本将在以下模式下运行以下组件: etcd实例:将使用共识将所有实例聚在一起; API服务器:每个服务器都将与本地etcd通信-群集中的所有API服务器将可用; 控制器,调度程序和集群自动缩放器...主服务和kubelets 系统没有尝试在Kubernetes服务中保留Kubernetes apiserver的最新列表,而是将所有流量定向到外部IP: 在一个主群集中,IP指向单个主群集, 在多主机集群中...Master证书 Kubernetes为每个副本的外部公共IP和本地IP生成主TLS证书。没有用于副本的临时公共IP的证书;要通过其短暂的公共IP访问副本,必须跳过TLS验证。

    80910

    爬虫:有什么让人眼前一亮的调试习惯与技巧

    Cookie系统,在隐私模式下 Cookies 仍然会正常工作,甚至在隐私模式下获取的 Cookies 一样是公开可读的。...这类产品有:360安全浏览器,Google 浏览器,火狐浏览器,遨游浏览器等 为什么建议使用无痕模式进行调试 当我们使用浏览器访问的时候,难免会由于cookies未及时手动清理,JS缓存等各种情况存在造成调试误差...再比如,假设网上存款系统中,一条消息表示用户支取了一笔存款,攻击者完全可以多次发送这条消息而偷窃存款 重放攻击的类型 1.根据重放消息的接收方与消息的原定接收方的关系,重放攻击可分为3种: 第一种是直接重放...攻击者存储在前面的回合中所传送的消息,并抓住机会重放它们,对协议的当前回合进行攻击。Denning和Sacco对NSSK协议的攻击,就是经典重放的一个著名例子。...相当于在系统没有调用该函数之前,钩子程序就先捕获该消息,可以先得到控制权,这时钩子函数便可以加工处理(改变)该函数的执行行为。执行函数后释放控制权限,继续运行原有逻辑。 示意图如下, ?

    1.2K20

    初识kafka

    本篇将会简单介绍kafka以及它为什么能够广泛应用。     kafka的增长是爆炸性的。2017年超过三分之一的世界五百强公司在使用kafka。...kafka是也为基于内存的微服务提供数据持久化并把数据传输给复杂的事件流系统和IOT模式的自动化系统。 为什么选择Kafka? Kafka经常用于实时流数据架构,提供实时分析。...由于Kafka是一种快速、可伸缩、持久和容错的发布-订阅消息传递系统,所以考虑到JMS、RabbitMQ和AMQP可能存在容量和响应性的不足,Kafka在某些情况下是更优选择。...Kafka还通过Confluent模式注册表支持Avro模式。Avro和Schema Registry允许用多种编程语言生成和读取复杂的记录,并允许记录的演变。...Kafka生产者可以等待确认,所以消息是持久的,因为生产者写如完整直到消息复制完成。硬盘架构可很好地伸缩因为现代磁盘驱动器在批量写入时具有很高的吞吐量。

    97130

    Kafka异地双活深度讲解 - Mirrormaker V2

    这样Topic命名过程会导致在Active – Active双活时造成无限的消息循环。...(点击查看大图) 主备Consumer Offset 管理 在MM V1中,Source集群的Topic Partition Offset和目标群集上Topic Partition Offset 几乎不可能相同...减少MirrorMaker集群数量 传统上,MM V1 群集与目标群集共用。因此,在使用Remote Consume和Local Produce模式之后,每个目标集群都会有一个镜像集群。 ?...MM V2 则是从Source直接传递给Sink 从而避免了这种不必要的数据复制。 同时,在Active – Active场景下,没有必要为每个Kafka集群建一个Primary群集。...因此跨群集复制无法直接利用这个特性。也就是说,当前的MM2在源和目标集群之间复制数据时只能提供至少一次语义,下游可能存在重复记录。 来看一下跨集群复制上在哪个环节会出现数据重复。

    9.6K41

    PostgreSQL复制和备份的3种方法

    当我们与Citus用户交谈时,我们经常会听到有关设置Postgres高可用性(HA)群集和管理备份的问题。你如何处理复制和机器故障?在设置Postgres HA时遇到了哪些挑战?...在Postgres的上下文中,内置复制(称为“流复制”)带来了一些挑战: Postgres复制没有内置监视和故障转移。当主节点发生故障时,您需要将辅助节点提升为新的主节点。...在第一种方法中,当您构建新的辅助节点时,新的辅助节点需要从主节点重播整个状态 - 从时间开始。然后,重放操作可能在主节点上引入显着负载。如果数据库的主节点提供实时流量,则此负载变得更加重要。...主要好处 简单的流式复制 (本地磁盘) 本地 手册EC2 更易于设置 高I / O性能和大容量存储 复制块设备 RDS Azure Postgres 适用于MySQL,PostgreSQL 数据在云环境中的持久性...因此,重建新副本不会在主节点上引入任何额外负载。这使得高可用性(HA)解决方案成为可以轻松启动或击落数据库节点的解决方案 - 这一特性在云原生环境中非常有用。

    10K30

    技术干货| 腾讯云TDSQL多源同步架构与特性详解

    这里producter在向Kafka生产消息时,采用at-least-once模式,即保证特定消息队列中至少有一份,不排除在队列中有消息重复的情况。...3、consumer 日志消费和重放模块,负责从Kafka中将CDC消息消费出来并根据配置重放到目标实例上。...这里因为producter端采用at-least-once模式生产,因此消费者这里实现了幂等逻辑保证数据重放的正确。...目前,基于行级的并发单任务同步速率可以达到4W的QPS,已经可以满足绝大多数场景对同步速率的要求。 这里每个线程在重放的时候,都会将消息按照一定的数量封装成事务来进行重放。...这种模式下的并发复制,实际上实现的是最终一致性,因为原有的事务结构已经被打破。当然因为并发复制速度够快,业务如果能够接受秒级的同步时延,基本上业务是感知不到不一致的数据。

    5.8K73

    教程|运输IoT中的Kafka

    追随者代理:遵循领导者指示的节点。如果领导者失败,它将代替领导者。还像接收方一样拉入消息并更新其数据存储。 Kafka群集:如果存在多个代理,则Kafka被视为Kafka群集。...拥有多个代理的主要原因是要管理消息数据的持久性和复制,并在没有繁华的情况下进行扩展。 消费者组:来自相同组ID的消费者。 消费者:通过提取数据从经纪人读取数据。他们订阅1个或更多主题。 ?...启动消费者以接收消息 在我们的演示中,我们利用称为Apache Storm的流处理框架来消耗来自Kafka的消息。...提交Storm拓扑,来自Kafka主题的消息将被拉入Storm。 总结 恭喜你!...在我们的演示中,我们向您展示了NiFi将Kafka的Producer API包装到其框架中,Storm对Kafka的Consumer API进行了同样的处理。

    1.6K40

    kafka 工作原理介绍

    MQ 不仅提供了多点广播的功能,而且还拥有智能消息分发功能,在将一条消息发送到同一系统上的多个用户时,MQ 将消息的一个复制版本和该系统上接收者的名单发送到目标 MQ 系统。...目标 MQ 系统在本地复制这些消息,并将它们发送到名单上的队列,从而尽可能减少网络的传输量。...发布/订阅 (Publish/Subscribe) 模式:发布/订阅功能使消息的分发可以突破目的队列地理指向的限制,使消息按照特定的主题甚至内容进行分发,用户或应用程序可以根据主题或内容接收到所需要的消息...群集 (Cluster):为了简化点对点通讯模式中的系统配置,MQ 提供 Cluster(群集) 的解决方案。...群集类似于一个域 (Domain),群集内部的队列管理器之间通讯时,不需要两两之间建立消息通道,而是采用群集 (Cluster) 通道与其它成员通讯,从而大大简化了系统配置。

    1.1K10
    领券