实时计算实践：快速分析实时数据的解决方案

在过去几年里，实时计算的受欢迎程度呈爆炸式增长。这源于互联网、物联网、人工智能技术的高速发展，以及国家政策层面的大力支持。然而，在企业层面上，实时计算这种技术仍难以得到有效应用。究其原因，主要在于技术门槛高，开发、运维成本难以控制，缺乏成熟的产品化功能。

选择一款合适的智能实时计算平台可以更加灵活快速地实现业务分析，亿信华辰的PetaBase-i就能解决。

实时分析的困境

越来越多的企业对于实时分析有着强烈的需求，需要更多的实时数据支撑更加敏捷的商业决策。但是，一些现实问题又阻碍了它们的实现。

数据来源广，格式杂。通常一家机构的源数据除了来自于ERP系统、CRM系统等传统业务系统外，还包括如设备日志、网络爬虫、传感器等其他外部应用。这些源端数据，类型、结构完全不同，整合难度大。

数据标准不统一，数据质量低。许多企业的信息化建设，或因顶层设计缺失，或因某些历史原因等，致使冗余数据过多，而有价值的数据存在于各个信息孤岛之间，碎片化的信息阻碍了决策层透视全局。

数据计算时效性差。现在工业物联网的数据量可以每天达到万亿。而大量的数据价值有限期非常短，因此企业需要实时分析并获取可立即采取行动的商业见解。传统的离线批处理（T+1）模式无法满足需求。

解决方案

针对这些问题，亿信华辰提供了一套端到端的解决方案。借助PetaBase-i实时计算功能，帮助企业用户不断实践、完善可落地的实时分析应用。PetaBase-i提供多种数据源快速接入及敏捷应用开发能力、可视化资源管理及运营监控服务，满足客户对海量数据的实时统计分析需求，帮助实现高效管理。

值得关注的是，PetaBase-i使用了亿信华辰自主研发的实时流数据集成加工套件PB StreamCollector。它是一个侧重数据集成、数据加工流程构建的实时流数据管理工具，旨在简化构建、执行和操作企业数据流。

• 用户可以方便的接入不同的数据源，并且完成数据加工流程的构建。
• 可视化的数据流构建设计器，并且能够对运行态的数据应用进行监控。
• 用户几乎不需要编写代码就可以轻松构建批处理和流式数据流。

应用场景

场景一：实时采集

1、广泛的数据源支持，适用多样化采集场景

PetaBase-i大大降低了实时数据接入的难度，广泛的数据源支持使其能适应多样化的采集场景。例如，在零售、金融行业，企业往往会使用rdbms来支撑前端OLTP联机交易系统（CRM、ERP等），PetaBase-i提供了基于CDC机制的实时采集功能，可支持的rdbms类型包括：Oracle GoldenGate/LogMiner、MySQL Binary Log、PostgreSQL WAL、SQL Server Change Tracking等。它能基于日志级/事务级/行级数据进行跟踪并自动捕获，通过简单的配置来自定义捕获策略，灵活设置被监控的对象（库、表、用户）和操作（增、删、改）。

不仅是关系型数据库，PetaBase-i亦可基于MongoDB等NoSQL数据库的事务日志进行采集，满足那些延伸了互联网业务的企业对新业态数据的实时分析需求。

2、丰富的通信协议接口 ，最大化地简化采集作业

目前，工业物联网建设如火如荼，工业设备互联、工业数据采集和工业设备状态监控与分析是企业建设的重点内容。在这其中，数据采集和监控分析是企业最关注的。而缺乏统一行业协议及网络接入标准是阻碍企业实现实时采集的主要问题。

为了解决这类问题，亿信华辰在PetaBase-ir中集成了一系列通信协议接口以最大化地简化采集作业，包括从MQTT、OPC UA、REST Service、SFTP/FTP/FTPS Client、WebSocket、TCP Server和UDP Source等网络标准协议到Amazon S3、Azure、Google Cloud等云存储协议。

丰富的协议支持，使得用户在对复杂场景采集时拥有更多、更灵活的选择。如果端点设备使用了不被支持的协议，那么我们需要使用物联网网关先对协议进行转换，从而让它们能够与PetaBase-i进行通信。

场景二：预警实时分析

在物联网高速发展的大环境下，将实时内容转变为有用的分析，如车辆突发故障、车间设备停运等场景，是各企业关注的重中之重。而为批量操作构建的传统分析系统不适用于这样的场景，它无法针对大规模数据进行处理流和近实时数据，做到诸如状态告警、故障预测等实时分析。但是，PetaBase-i可以。

不同于传统分析系统那样批量处理数据项，实时分析系统是监听通过某种协议发送信息的成千上万，甚至百万级的物联网设备，当所有的信息涌入时，需要消息队列来保证通信效率。当流数据通过消息队列时，PetaBase-i会对其进行缓冲，然后使用自适应流处理服务（PB StreamProcessor）将实时转换规则应用于数据，这样就做到了为实时内容转为实时分析。

总体来说，PetaBase-i最具特点的地方在于它的灵活性与易用性，你可以将它的价值扩展到各种敏捷分析场景和实时采集用例中去。