首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

Wormhole 流式处理平台设计思想

本文是敏捷大数据(Agile BigData)背景下的实时流式处理平台Wormhole的开篇介绍:Wormhole具体是一个怎样的平台?...开源地址:https://github.com/edp963/wormhole 一、Wormhole背景介绍 在流式计算领域,越来越多成熟的技术框架出现在开源世界,如Storm、Heron、Spark、...我们根据多年在实时大数据项目中的实践和经验积累,自主研发了流式处理平台——Wormhole,很大程度上解决了上述各类问题。下面我们来介绍一下Wormhole的具体情况。...[1530517757120098805.png] 四、Wormhole设计规范 [1530517780607062902.png] (Wormhole流程设计图) 上图是Wormhole的一个设计介绍...作为一个实时大数据流式处理平台,Wormhole的设计目标和设计规范最终都是为流上处理数据而服务。本篇为Wormhole的具体功能做铺垫,下篇系列文章我们将为大家介绍Wormhole的具体功能。

56860
  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    Wormhole:可靠的发布-订阅系统

    Wormhole是Facebook内部使用的一个Pub-Sub系统,目前还没有开源。...不像其他pub-sub系统,Wormhole没有自己的存储来保存消息,它也不需要数据源在原有的更新路径上去插入一个操作来发送消息,是非侵入式的,那Wormhole怎么获取到更新的数据呢?...Wormhole目前支持的数据源有 MySQL, HDFS, 和 RocksDB,Wormhole直接扫描transaction logs,Wormhole直接部署在数据源的机器上,这样子还带来一个好处...图片 Wormhole通过读取事务日志来获取更新,但是最后传递给sub的更新都是格式统一的key-value形式,称为:Wormhole update。...总结 Wormhole提供了一个不一样的pub-sub系统,Wormhole利用了存储系统的transaction log来提供一个可靠的、有序的更新事件流,并能支持单副本和多副本数据存储,通过优化读取

    76430

    Wormhole流式处理平台功能介绍

    Wormhole支持的功能很多,如图1所示,除了流式数据处理,Wormhole在管理和运维等方面也做的比较完善。...一、流式处理 Wormhole的核心是流式处理,并将流式处理抽象为Flow(流式处理逻辑管道,具体参见:#Wormhole# 流式处理平台设计思想)。...同时也可以对外提供Restful方式操作Wormhole Stream和Wormhole Flow。并且通过Rider来管理和配置多租户等,具体功能可以参考我们的《Wormhole用户手册》。...同时Wormhole也支持将备份的数据按一定条件(起止时间等)将数据回灌到对应的topic中,然后让Wormhole再消费一次。...在介绍Wormhole的功能篇中,我们了解了Wormhole所支持的几个重要功能。那么Wormhole的设计细节具体是怎样来实现的呢?

    1.6K70

    Wormhole#流式处理平台设计思想

    我们根据多年在实时大数据项目中的实践和经验积累,自主研发了流式处理平台——Wormhole,很大程度上解决了上述各类问题。下面我们来介绍一下Wormhole的具体情况。...Wormhole是什么 Wormhole是一个面向实时大数据项目实施者的流式处理平台,致力于统一并简化大数据开发和管理,尤其针对典型流式实时/准实时数据处理应用场景,屏蔽了底层技术细节,提供了极低的开发门槛...Wormhole数据处理样例 Wormhole主要基于Spark技术,实现了基于SQL的流上数据处理和异构系统幂等写入等相关功能。...基于Wormhole的需求开发流程 Wormhole设计规范 Wormhole流程设计图 上图是Wormhole的一个设计介绍,体现了流式处理的从输入到输出的过程,在这个过程中,Wormhole定义新的概念...作为一个实时大数据流式处理平台,Wormhole的设计目标和设计规范最终都是为流上处理数据而服务。本篇为Wormhole的具体功能做铺垫,下篇系列文章我们将为大家介绍Wormhole的具体功能。

    64840

    如何设计实时数据平台(技术篇)

    在RTDP架构中,Kafka的下游是由Wormhole消费的,Wormhole在消费UMS时,会将TableVersion作为*处理,意味着当某表上游Schema变更时,Version会自动升号,但Wormhole...在Wormhole里可以配置流上处理SQL和输出字段,当上游Schema变更是一种“兼容性变更”(指增加字段,或者修改扩大字段类型等)时,是不会影响到Wormhole SQL正确执行的。...[1532317225766026336.png] 图7 RTDP架构之Wormhole 1.2.3.1 Wormhole设计思想 1)从外部角度看待设计思想 消费来自Kafka 的UMS消息和自定义...Wormhole还支持将流上处理异常或Sink写入异常的消息信息实时Feedback到Wormhole系统中,并提供RESTful服务供三方应用调用处理。...Moonbox转Wormhole能力的引入,比流算模式进一步增加了考虑的变量因素,如多Sink的选择、Moonbox计算的频率设定、如何拆分Wormhole和Moonbox的计算分工等方面问题。

    2K40

    能不能面向通用人工智能AGI,定义一款新的AI处理器?

    整个芯片代号为Wormhole,有80个Tensix核心,并且集成了ARC架构的Host CPU。此外,Wormhole支持16个100Gbps的Ethernet网络接口。...采用Wormhole芯片,Tenstorrent设计了nebula(星云)服务器,一个4U服务器包含32个Wormhole芯片。 一个机柜包含8台nebula服务器,上图为两个机柜互联的架构示意图。...当然,Scale out横向扩展功能并不止于此,Wormhole在机架级连接方面是非常灵活的。理论上可以达到几乎无限的扩展连接能力。...目前,Tenstorrent的AI芯片,已经量产的有Grayskull和Wormhole,Black Hole在公司内部调试中。...4.3 Tenstorrent Wormhole的不足 从软硬件融合的理念和理论出发,对Tenstorrent Wormhole进行分析,仍有不少待优化的地方: 单个Tensix核心的能力仍有待优化。

    28810

    敏捷AI | NLP技术在宜信业务中的实践【构建用户画像篇】

    1547716544619062534.jpg] 图5 实例处理总体流程 另外我们结合公司的敏捷实时数据平台设计了一个相应的实时AI解决方案,如图6所示,这里用到了我们团队开源的一些技术,包括DBus(数据总线平台),Wormhole...在这个方案里,我们通过DBus来采集各类数据存储中的自然语言数据,经过一些可选的技术(如ASR等)得到相应的文本;再通过Wormhole来进行实时的流式处理,标签模型在Wormhole的实时数据流上运行...,对数据流中的文本自动提取相应的标签,再由Wormhole输出到指定的数据存储中;之后由Moonbox对标签进行后续的汇总处理,先从存储介质之上把之前计算得到的标签提取出来,使用画像模型对画像进行构建,...[1547716556313012641.jpg] 图6 此外,在图6下方的数据流分支里,我们通过在Wormhole上流转的生产数据流进行一个选择性抽样,之后同样利用标签模型和画像模型,计算出客户画像,

    1.6K40
    领券