实战案例 | 如何用一个平台跑通从数据接入到可视化展示的全链路？

在工业领域，数据规模正以倍速增长，业务对实时性与稳定性的要求也愈发严苛。企业以往“搭积木”式构建数据采集平台的方法正暴露出性能瓶颈、开发与运维成本高等弊端。

针对这一结构性问题，DolphinDB 推出了可视化数据采集平台。在之前的技术栈越堆越乱？更快、更稳、更轻量化的数据采集方案来了！中，我们详细介绍了这一平台存算一体化、开箱即用、毫秒级实时流处理等特性。今天，我们将通过一个典型的工业生产场景，向大家直观展示在 DolphinDB 可视化数据采集平台上，从数据接入、解析、处理到可视化展示的完整流程。

数据采集流程

生产设备在运行过程中产生的实时设备信息通过监测传感器将数据上传到 Kafka 消息队列。通过可视化平台连接 Kafka 消费数据，并将数据写入流表进行实时监控计算。计算结果则可进一步落地到分布式数据库，为后续分析与业务决策提供支撑。

数据采集流程图

操作步骤为：

创建 Kafka 协议连接，输入 Kafka 连接的名称、Kafka 服务器的 IP 地址以及 Kafka 服务器监听的端口号。

创建 Kafka 解析模板。

创建订阅并配置参数：输入 Kafka 连接的名称，Kafka 服务器上的主题。Kafka 会根据用户配置订阅的主题进行过滤并分发消息给相应的订阅者，指定处理订阅消息的节点，选择解析模板，Kafka 消费策略设置 earliest。

开启 Kafka 订阅。

// Step 1：定义解析模板 St

打开 web 界面并使用管理员账号登录，点击数据采集以及连接信息。配置 Kafka 协议连接信息，创建数据解析模板，用于从 Kafka 中拉取数据并解析。用户可以设定模板名称和模板协议，并自定义函数对原始数据进行处理。这里我们选择的是 Kafka 协议：

定义解析模板

// Step 2：数据过滤/格式转换St

在模板中可以选择各类脚本和函数对消息队列采集到的数据进行过滤或格式转换。

例如，使用 temporalParse 对接收到的时间格式进行转换：

使用 take 函数实现数据个数的扩展：

经过处理后的数据采集结果如下：

// Step 3：数据计算与分析析

在同一环境下，我们能调用平台内置的流计算引擎对数据进行查询、分析和计算。

例如，调用规则引擎查询设备电压、电流等参数的最大值与最小值：

// Step 4：实时可视化展示S

通过 Dashboard 面板，将数据分析过程以及告警信息进行实时展示，效果如下：

本例涉及 10 万个测点，每秒各生成一条数据，模拟 24 小时数据。我们对当日告警信息进行统计，平均告警时延仅约 0.02 毫秒。

以上就是在 DolphinDB 可视化数据采集平台上进行数据采集和可视化展示的全过程。不难看出，这一平台不仅简化了连接、解析、计算等繁琐环节，更将原本分散在多套系统中的采集链路高度整合，实现了真正的一体化处理。对于追求稳定生产和智能化运维的工业企业而言，这种能力意味着更快的业务响应、更稳的数据管道和更强的分析基础。

如果您想进一步了解 DolphinDB 在物联网领域的更多实际案例与前沿应用，欢迎关注我们，第一时间了解最新动态与技术干货！