Storm是一个分布式的流处理系统，利用anchor和ack机制保证所有tuple都被成功处理。如果tuple出错，则可以被重传，但是如何保证出错的tuple只被处理一次呢？Storm提供了一套事务性组件Transaction Topology，用来解决这个问题。 Transactional Topology目前已经不再维护，由Trident来实现事务性topology，但是原理相同。 一、一致性事务的设计 Storm如何实现即对tuple并行处理，又保证事务性。本节从简单的事务性实现方法入手，逐步
storm-core-1.2.2-sources.jar!/org/apache/storm/trident/TridentTopology.java
本文主要研究一下storm TridentBoltExecutor的finishBatch方法
storm通过保证数据至少被处理一次来保证数据的完整性,由于元祖可以重发,对于一些需要数据精确的场景,可以考虑用storm trident实现。 传统的事物型拓扑中存在几种bolt： 1.1 BasicBolt 这是最基本的Bolt,BasicBolt每次只能处理一个tuple,而且必须等前一个tuple成功处理后下一个tuple才能继续处理,显然效率不高。 1.2 BatchBolt storm的一个优势就是能够批量处理tuple,BatchBolt支持批量处理tuple,每一个batch中的t
storm-core-1.2.2-sources.jar!/org/apache/storm/trident/topology/TridentBoltExecutor.java
storm-2.0.0/storm-client/src/jvm/org/apache/storm/utils/TupleUtils.java
storm-1.2.2/storm-core/src/jvm/org/apache/storm/trident/topology/MasterBatchCoordinator.java
本文主要研究一下storm trident spout的_maxTransactionActive
随机分组，随机派发stream里面的tuple，保证每个bolt task接收到的tuple数目大致相同。 轮询，平均分配
摘要：随着数据体积的越来越大，实时处理成为了许多机构需要面对的首要挑战。Shruthi Kumar和Siddharth Patankar在Dr.Dobb’s上结合了汽车超速监视，为我们演示了使用Storm进行实时大数据分析。CSDN在此编译、整理。
本文主要研究一下storm TridentWindowManager的pendingTriggers
一、原理及关键步骤介绍 storm中的storm-kafka组件提供了storm与kafka交互的所需的所有功能，请参考其官方文档：https://github.com/apache/storm/tree/master/external/storm-kafka#brokerhosts （一）使用storm-kafka的关键步骤 1、创建ZkHosts 当storm从kafka中读取某个topic的消息时，需要知道这个topic有多少个分区，以及这些分区放在哪个kafka节点(broker)上，ZkHosts
关于Twitter Storm的新特性：Transactional Topology被问到的最多的问题是: Storm是怎么知道一个Bolt处理完成了它所有的tuple的？其实要做到这一点还是有蛮多事情要做的, 幸运的是Storm已经提供了一个Bolt，帮我们把这些事情都做掉了。这个牛逼的bolt就是 CoordinatedBolt. 重要的是CoordinatedBolt的实现也是在storm的原语:spout, bolt这些基础之上的 — 也就是说即使作者不提供，我们自己也可以实现。我们来看看这个类的实现原理。
storm-2.0.0/storm-client/src/jvm/org/apache/storm/drpc/LinearDRPCTopologyBuilder.java
八卦 Storm的作者是Nathan Marz，Nathan Marz在BackType公司工作的时候有了Storm的点子并独自一人实现了Storm。在2011年Twitter准备收购BackType之际，Nathan Marz为了提高Twitter对BackType的估值，在一篇博客里向外界介绍了Storm。Twitter对这项技术非常感兴趣，因此在Twitter收购BackType的时候Storm发挥了重大作用。后来Nathan Marz开源Storm时，也借着Twitter的品牌影响力而让Storm
在大数据处理领域，Apache Storm是一个实时计算系统，专为处理海量数据流而设计。它提供了分布式、容错、高可用的实时计算解决方案，让开发者能够轻松构建复杂的数据处理管道。本文将深入浅出地介绍Storm的核心概念、工作原理、常见问题及其解决方案，并通过一个简单的代码示例来展示如何使用Storm进行实时数据处理。
默认情况下，SparkStremaing根据Receiver以生产者生产数据的速度来接收数据，但是在工作状态下， 实际计算一个批次数据的时间一般要大于Streaming应用设置的批处理间隔。这就意味着Spark Streaming处理数据的速度要小于数据接收的速度， 数据处理能力低，导致数据全部堆积在内存中，进一步导致Receiver所在的Executor会发生内存溢出的问题。 同为优秀的大数据实时处理框架，这个问题和类比于Storm的雪崩问题，Storm中若是Spout，或者是其他上游的Bolt发送数据的速度过快，而下游Bolt因为并行度，或者是业务逻辑较为复杂， 就会导致数据堆积到内存中，进而引发雪崩的问题。Storm解决这个问题，有两种思路。第一种，控制上游发送数据的速度topology.max.spout.pending，比如说内存中未处理的Tuple(Storm中的数据处理单位，类似于kafka中的message)达到10000条的时候，堵塞发送线程，停止发送，直到内存中的数据小于我们设置的阈值；第二种思路，就是提高下游处理数据的速度， 提高并行度， 设置下excutor的数目。其实还有第三种思路，即当内存中的数据达到一定阈值后，将其写入Disk中。 Spark Streaming的解决思路和Storm的解决思路是一样的，但是比Storm更为灵活。因为Storm设置上游发送数据的Tuple数目，当消费者消费数据能力很大的时候，会造成资源利用率下降等问题。为了更好的协调数据接收速率与资源处理能力，Spark Streaming可以动态控制数据接收速率来适配集群数据处理能力。 Spark Streaming Backpressure: 根据JobScheduler反馈作业的执行信息来动态调整Receiver数据接收率。通过属性“spark.streaming.backpressure.enabled”来控制是否启用backpressure机制，默认值false，即不启用。
随着互联网时代的发展，运营商作为内容传送的管道服务商，在数据领域具有巨大的优势，如何将这些数据转化为价值，越来越被运营商所重视。 运营商的大数据具有体量大，种类多的特点，如各类话单、信令等，通常一种话单每天的数据量就有上百亿条。随着业务分析需求对数据处理实时性的要求越来越高，也给我们的大数据处理架构带来了巨大的挑战，参照网络上可查的例子，运用到实际处理架构上，经常会因为实时数据流量大，造成系统运行不稳定及各种异常。从大数据实时处理架构开发到上线，耗时近2个月时间，经过大量优化，我们的系统才趋于稳定。最终我们
IComponent 是所有组件的接口，例如 IBasicBolt、IRichBolt、IBatchBolt 都继承自 IComponent，为拓扑中所有组件提供共同的方法。BaseComponent 是 Storm 提供的一个比较方便的抽象类，这个抽象类及其子类都或多或少实现了其接口定义的部分方法。IBolt 接口是 IRichBolt 要继承的接口。还有一些以 Base 开头的 Bolt 类，如 BaseBasicBolt，BaseRichBolt 等，在这些类中所实现的方法都为空，或者返回值为 NULL。从下图中，可以从整体上看到这些类的关系图，从而理清这些类之间的关系及结构。
有赞使用storm已经有将近3年时间，稳定支撑着实时统计、数据同步、对账、监控、风控等业务。订单实时统计是其中一个典型的业务，对数据准确性、性能等方面都有较高要求，也是上线时间最久的一个实时计算应用。通过订单实时统计，描述使用storm时，遇到的准确性、性能、可靠性等方面的问题。 订单实时统计的演进 第一版：流程走通 在使用storm之前，显示实时统计数据一般有两种方案： 在数据库里执行count、sum等聚合查询，是简单快速的实现方案，但容易出现慢查询。 在业务代码里对统计指标做累加，可以满足指标的快速查
流处理系统通常需要优雅地处理反压（back pressure）问题。反压通常产生是由于短时间内负载高峰导致系统接收数据的速率远高于它处理数据的速率。比如，垃圾回收停顿可能导致流入的数据快速堆积，后者双十一等造成流量陡增。反压如果不能够得到很好地处理，可能会导致资源好近甚至系统崩溃。
storm-2.0.0/storm-client/src/jvm/org/apache/storm/task/IErrorReporter.java
许多分布式计算系统都可以实时或接近实时地处理大数据流。本文将对三种Apache框架分别进行简单介绍，然后尝试快速、高度概述其异同。 Apache Storm在Storm中，先要设计一个用于实时计算的图状结构，我们称之为拓扑（topology）。这个拓扑将会被提交给集群，由集群中的主控节点（master node）分发代码，将任务分配给工作节点（worker node）执行。一个拓扑中包括spout和bolt两种角色，其中spout发送消息，负责将数据流以tuple元组的形式发送出去；而bolt则负责转发数据
storm-core-1.2.2-sources.jar!/org/apache/storm/trident/spout/ICommitterTridentSpout.java
https://github.com/alibaba/jstorm/wiki/%E4%BA%8B%E5%8A%A1 storm的事务主要用于对数据准确性要求非常高的环境中，尤其是在计算交易金额或笔数，数据库同步的场景中。 storm 事务逻辑是挺复杂的，而且坦白讲，代码写的挺烂的。 JStorm下一步将重新设计基于Meta 1 和Meta3 的事务模型，让使用者更简便，代码更清晰。 源码可以参考 jstorm-example Storm 事务的核心设计思想： Transaction 还是基于基本的属性之上
许多分布式计算系统都可以实时或接近实时地处理大数据流。本文将对三种Apache框架分别进行简单介绍，然后尝试快速、高度概述其异同。 Apache Storm 在Storm中，先要设计一个用于实时计算的图状结构，我们称之为拓扑（topology）。这个拓扑将会被提交给集群，由集群中的主控节点（master node）分发代码，将任务分配给工作节点（worker node）执行。一个拓扑中包括spout和bolt两种角色，其中spout发送消息，负责将数据流以tuple元组的形式发送出去；而bolt则负责转
许多分布式计算系统都可以实时或接近实时地处理大数据流。本文将对三种Apache框架分别进行简单介绍，然后尝试快速、高度概述其异同。
本文主要从大数据起源谈起，介绍了几种主要的大数据处理框架，包括其中的容错机制，实现细节及原理等。再主要介绍了使用storm进行大数据开发的具体过程，以及开发过程中遇到的坑和一些优化。以下内容基于本人上次部门内分享整理，去掉了一些业务性的内容，尽量给大家展现一些技术细节。
那么有spark和storm这样成熟的计算框架存在，为什么flink还能占有一席之地呢?今天我们就从流处理的角度将flink和这两个框架进行一些分析和比较。 随着大数据时代的来临，大数据产品层出不穷。
分布式流处理是对无边界数据集进行连续不断的处理、聚合和分析。它跟MapReduce一样是一种通用计算，但我们期望延迟在毫秒或者秒级别。这类系统一般采用有向无环图（DAG）。
Storm UI 守护进程提供了 REST API, 允许我们与 Storm 集群进行交互, 其中包括查看指标数据，配置信息以及启动或停止拓扑的管理操作。REST API 结果以 JSON 形式返回。
比流量或者订单淘宝可以把我们甩出几条大街。淘宝的兄弟可以自豪地说他们的实时应用已经承受住了双十一全世界范围内最大的单日数据流的冲击。而阿里巴巴中文站的流量和订单与淘宝相比则少的可怜。同时B2B自身业务又存在不同的特点，我们的客单价和笔单价要高得多，因此对于实时数据的误差是零容忍的（比如丢了一个几百万的单子，那实时数据就没有参考价值了）。 所以中文站的实时应用的特点是零误差，事务性，故障可恢复。 在开发实时应用的过程中，我发现当实时计算需要保证数据完全不出错的时候，逻辑就变得复杂起来。效率和精度本身就是不
Storm由数源泉spout到bolt时，可以选择分组策略，实现对spout发出的数据的分发。对多个并行度的时候有用。
本文翻译自： https://github.com/nathanmarz/storm/wiki/Tutorial Storm是一个分布式的、高容错的实时计算系统。 Storm对于实时计算的的意义相当于Hadoop对于批处理的意义。Hadoop为我们提供了Map和Reduce原语，使我们对数据进行批处理变的非常的简单和优美。同样，Storm也对数据的实时计算提供了简单Spout和Bolt原语。 Storm适用的场景： 1、流数据处理：Storm可以用来用来处理源源不断的消息，并将处理之后的结果保存到持久
本文是 storm 入门第一篇，因为 Storm 的本地模式体验极其简单， 故而我希望第一篇我们先来体验一下 Storm，而不是其他分布式技术那样， 开门就是架构，简介....
有一个客户端Client可以产生日志信息，我们需要通过Flume获取日志信息，再把该日志信息放入到Kafka的一个Topic：flume-to-kafka
Storm介绍及原理 一、概述 Storm是一个开源的分布式实时计算系统，可以简单、可靠的处理大量的数据流。 Storm有很多使用场景：如实时分析，在线机器学习，持续计算，分布式RPC，ETL等等。 Storm支持水平扩展，具有高容错性，保证每个消息都会得到处理，而且处理速度很快(在一个小集群中，每个结点每秒可以处理数以百万计的消息)。 Storm的部署和运维都很便捷，而且更为重要的是可以使用任意编程语言来开发应用。 二、组件 1、结构 storm结构称为topolo
听说过大数据的同学应该都听说过Storm吧？其实我现在负责的系统用的就是Storm，在最开始接手系统的时候，我是完全不了解Storm的（现在其实也是一知半解而已）
（1）Topologies 拓扑 解释： 拓扑类似一个集装箱，所有的货物都会存储在集装箱里面最后被托运走，storm里面所有的代码和文件最终会被打包在一个拓扑中，然后提交在storm集群中运行，类似于Hadoop中的一个MapReduce的作业，最大的区别在于MapReduce最终会主动停止，Storm的Topologies不会主动停止，除非你强制kill掉它 相关拓展： TopologyBuilder ： Java里面构造Topology工具类 生产模式 Config conf = new Con
作为一名专注于大数据与实时计算技术的博主，我深知Apache Storm作为一款强大的实时流处理框架，在现代数据栈中所扮演的重要角色。本篇博客将结合我个人的面试经历，深入剖析Storm的核心原理与典型应用场景，分享面试必备知识点，并通过代码示例进一步加深理解，助您在求职过程中得心应手地应对与Storm相关的技术考察。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
即时通信 IM
实时音视频
