前置准备(必看):1.确保已安装 DolphinDB 相关环境,具体环境部署可参考 部署;2.安装 VS Code 客户端 ;3.安装 GitHub Copilot 和 DolphinDB 扩展,具体 DolphinDB 扩展安装可参考 VS Code 插件;4. 配置完成后,如果 /dolphindb 指令可被正常查找到,则证明 DolphinDB Skill 配置成功。 场景 2:概念与知识点讲解在 Copilot 聊天视图输入提问,比如:“/dolphindb 解释一下 DolphinDB 的 TSDB 和 OLAP 存储引擎的区别”“/dolphindb DolphinDB 立即解锁新姿势赶紧点击下方链接下载 DolphinDB Skill,搭配 GitHub Copilot,解锁 DolphinDB 开发新体验!
这几天,公众号发现了一个超高性能分布式时序数据库神器: DolphinDB DolphinDB为海量结构化数据的极速存储、检索、计算与分析提供了一站式解决方案,特别适合金融行业用来处理大规模数据,尤其是 与金融机构现有系统相比,DolphinDB的性能有10-1000倍的提升,实现行情历史数据毫秒级查询与秒级计算响应,以及亚毫秒级实时因子计算。 这也正是DolphinDB开发响应式状态引擎的动机所在。 3.2 解析和优化 DolphinDB的脚本语言是支持向量化和函数化的多范式编程语言。通过函数的调用关系,不难得到计算步骤的DAG。 下列状态函在DolphinDB的响应式状态引擎均得到了优化实现。目前,状态引擎不允许使用未经优化的状态函数。
能够登上该榜单 TOP5,意味着 DolphinDB 的技术实力与市场认可度已获得全球行业的广泛认可。 此次多榜单的亮眼表现,既是对 DolphinDB 技术创新的肯定,也是国产数据库从“可用”向“好用”跨越的重要标志。 未来,DolphinDB 将持续深耕数据库核心技术领域,以更优质的产品与服务,推动国产基础软件走向全球前沿。 关于 DolphinDB由智臾科技研发的高性能分布式时序数据库 DolphinDB,不仅支持海量数据的高效存储与查询,更开创性地提供功能完备的编程语言以支持复杂分析,以及高吞吐、低延时、开发便捷的流数据分析框架 DolphinDB 显著提升了海量数据分析的效率,并且大幅减少开发成本,使企业能够更加灵活面对瞬息万变的行业竞争。
DolphinDB作为一个一站式的时序数据存储、分析和实时计算平台,可以帮助金工和IT人员将复杂的因子快速转化成能在研发或生产环境中高效运行的计算机脚本。 具体文章详见: DolphinDB:金融高频因子流批统一计算神器! 2 直播内容 本周四(6月17日),DolphinDB将为我们在线上分享他们在这块内容的详细介绍与实际应用。 本次直播的主要内容包括: DolphinDB低延时流数据处理架构 5种流计算引擎的应用和流水线处理 研发和交易环境的因子一体化实现 3 嘉宾介绍 周小华 | 智臾科技CEO。 4 关于DolphinDB DolphinDB是一款高性能分布式时序数据库,在同一套系统内,提供了数据库、数据分析与实时流计算功能,最大限度避免了数据在不同系统之间流转带来的性能问题。 与金融机构现有系统相比,DolphinDB的性能有10-1000倍的提升,实现行情历史数据毫秒级查询与秒级计算响应,以及亚毫秒级实时因子计算。
当然他也有命令行模式(上图)经过一系列的建表和初始化,最后界面是:通过简单学习的结论DolphinDB是一款为海量时序数据场景而生的高性能分布式数据库。 而至于读不是LSM-Tree的强项,DolphinDB是用列存去支持的。其实对于AP系统场景如何使用索引也是一个学问,但是这不是技术壁垒点。 稳健灵活的分布式基石(由于体验的是单机,分布式这段是从白皮书上概括的)DolphinDB采用经典的Shared-Nothing集群架构,各节点职责清晰、相互独立。 双引擎驱动的HTAP核心DolphinDB的HTAP能力并非通过单一的“万 能”引擎实现,而是通过为不同工作负载量身定制的双存储引擎来达成的。 DolphinDB的LSM实现并非简单套用开源方案,而是针对时序数据也做了改造。DolphinDB通过在写入时即建立强有序的排序键,为点查提供了确定性的高效路径。
DolphinDB 正是顺应这一时代趋势应运而生的国产高性能时序数据库平台。 DolphinDB 的核心技术优势可以归纳为以下四个方面,它们共同构成了其在工业领域高性能应用的基石。 写入优势: DolphinDB 的存储结构(列式存储与行列混存 PAX)充分利用了时序数据写入的特点。 DolphinDB 在工业物联网中的实践优势(Practical Advantages)DolphinDB 在技术和架构上的突破,最终转化为工业企业在 IIoT 实践中的显著优势。 DolphinDB 凭借其轻量级和强大的计算能力,完美适应了这一架构:边缘网关部署: DolphinDB 可以部署在资源受限的边缘网关(Edge Gateway)或工控机上。
DolphinDB Marketplace:打造生态“应用商店”DolphinDB Marketplace 自上线以来,已上架近百个专业插件,涵盖数据存取、业务开发、机器学习、数值计算、云服务等多个场景 在最新发布的 DolphinDB 3.00.5 & 2.00.18 版本中,Marketplace 迎来了重磅升级——模块(Module)板块正式上线! 原生集成: 在 DolphinDB 进程内直接调用模块接口即可将 Tushare 数据保存为标准 Table 对象,即取即用。 注:Tushare 模块目前仅支持加载为 DolphinDB 内存表,未来版本还将支持数据清洗和分布式表导入功能。如何使用一键安装: 在 DolphinDB Marketplace 模块板块直接下载。 立即开启高效开发之旅开发者手册访问 DolphinDB Marketplace体验模块访问 DolphinDB Marketplace。
目前主流的时序数据库主要有 InfluxDB、TimescaleDB、DolphinDB 等。接下来,本文将聚焦 InfluxDB、TimescaleDB 和 DolphinDB,进行详细的对比分析。 而 DolphinDB 不仅能满足这些需求,还能在数据写入效率与查询延迟上提供更稳定的表现。 尤其是在接入端压力较大或指标量级不断增长的情况下,DolphinDB 的性能余量更充足,使系统能在不更换架构的情况下保持可扩展性。 •高频工业数据与实时分析需求对于工业高频采集、实时预测性维护、复杂工况分析等场景,DolphinDB 具有天然优势。 综上,时序数据库 DolphinDB 不仅覆盖高频、高复杂度场景,更在工业领域的绝大多数数据链路中具备高适用度。
1.2 DolphinDB 规则引擎监控方案本文设计并实现一套简洁、高效的集成方案,将 Prometheus 的监控数据与 DolphinDB 规则引擎深度融合,构建易于运维管理、高性能的监控体系。 经过简单的数据格式转换后,监控指标数据便可直接写入至 DolphinDB 分布式表或流表。 DolphinDB HTTP Client :DolphinDB 默认使用本地时间(如东八区)进行数据处理和查询,当查询某个时间点的指标时,可以利用内置的时间函数(gmtime)转换成 UTC 后传入。 Server 文档,对 DolphinDB 实例进行监控以生成样例数据。 读者可根据实际应用场景,结合 DolphinDB 消息/协议插件集成企业现有告警体系。
等专业工具上进行二次开发 之前,公众号跟大家分享过一个超高性能分布式时序数据库神器:DolphinDB DolphinDB:金融高频因子流批统一计算神器! 值得注意的是,context by 是 DolphinDB SQL 对 group by 的扩展,是 DolphinDB 特有的 SQL 语句。 DolphinDB内置了大量量化金融中需要用到的基本算子,并为这些算子实现了高效的增量算法。不仅如此,DolphinDB还支持自定义函数的增量实现。 使用这些语言的程序,都可以调用该语言的 DolphinDB 接口,订阅到 DolphinDB 服务器的流数据。本例提供一个简单的 python 接口订阅流数据样例。 在外部消费 ZMQ 消息的程序启动后,DolphinDB 端要启动流计算,并开始对外发布计算结果。以下是 DolphinDB 端的代码。
本文将深度对比 InfluxDB、TimescaleDB 与 DolphinDB 的技术路径差异,结合能源、制造等实战案例,系统论证 DolphinDB 在降低 TCO(总拥有成本)、提升开发效率及 AI 适用性边界声明:DolphinDB 并非万能。 该企业此前曾试点 InfluxDB,因无法满足复杂逻辑处理需求,最终选择信通院"领航者"产品 DolphinDB。 DolphinDB 的抽象复用方案:算法引擎复用:利用 DolphinDB 内置的 2000+专业函数(如随机森林回归randomForest、拟牛顿法newton),构建"参数寻优模型",用户仅需输入目标产量 DolphinDB 的抽象复用方案:流批一体引擎复用:通过 DolphinDB 的流批一体架构,研发人员在历史数据上验证的"机组故障判定算法"(如电压波动异常检测),无需重写代码,直接用于实时流数据处理
DolphinDB 技术架构与核心能力DolphinDB 在设计之初就将时序数据的高性能处理作为核心目标,通过原生分布式架构、优化存储引擎、向量化计算引擎及丰富函数库,实现了完整的时序数据处理能力。 工业应用案例以下是三个 DolphinDB 在工业领域的典型落地案例:4.1 打造高效工业互联网平台中国最大的水力发电企业基于 DolphinDB 构建统一的工业互联网平台,在百万测点的复杂环境中实现了高效云边协同 客户案例 | DolphinDB 赋能国内最大水力发电企业,打造高效工业互联网平台4.2 打造万亿级工业数据底座某头部钢铁集团打造的带式焙烧机数字孪生工厂,通过使用 DolphinDB 多模引擎与流计算框架 客户案例 | 成本减半,效率提升20倍——某钢铁集团基于 DolphinDB 重构万亿级工业数据底座4.3 打造一体化仪控系统作为国家战略高科技研究设计院,某核动力研究院以 DolphinDB 存算一体化平台为核心数据基座 某研究院基于 DolphinDB 打造高性能、一体化仪控系统5.
在这样的背景下,有一个叫DolphinDB(智臾科技)的公司,正试图把“实时计算”做成这类场景的底座。那么,工业领域对实时计算有什么样的需求,DolphinDB又是如何解决一个个的难题的? 但在DolphinDB看来,它应该变成“每一家工厂都能用的标准能力”。 DolphinDB的解法 把“实时计算”做成工业级数据底座 金融,是实时计算的试验场,也是能力锻造的高压锅。 正是这种底层“共通性”,让DolphinDB在工业领域也能大展拳脚。 而且,DolphinDB的优势,不在于某一个模块比别人更强,而在于它把一个复杂系统工程,封装成了一个可以被“嵌入业务现场”的通用底座。怎么来理解这句话呢?我们可以把DolphinDB的能力拆开来看。 DolphinDB部分工业、物联网领域客户案例 从这些案例中可以看出,DolphinDB聚焦在“数据进来之后怎么快速处理、即时反馈”这一环,帮助工业企业切实解决数据的实时处理难题。
二、破局之道:DolphinDB的“双引擎”设计哲学DolphinDB的设计哲学令人震撼——它没有把自己定位为“又一个时序数据库”,而是重新定义了工业数据处理的范式,打破了高性能、低成本、快速迭代的“不可能三角 DolphinDB系统架构图2000+内置函数:开箱即用的工业分析“武器库”DolphinDB内置了2000多个高度优化的专业函数,覆盖时序处理、信号处理、统计分析、机器学习。 方案:利用DolphinDB一站式分析能力与内置机器学习组件,替代原有的混合技术栈。DolphinDB技术架构图成效:分析效率提升10倍,为安全决策赢得宝贵时间窗口。 方案:基于DolphinDB构建“机理模型+数据模型”融合的实时参数寻优系统,利用内置随机森林、拟牛顿法等算法。DolphinDB系统架构图成效:产线调整周期从半年压缩至数天。 五、实战指南:如何基于DolphinDB构建工业物联网平台基于多个项目经验,总结最佳实践:从最小可行架构开始,逐步演进。
大数据产业创新服务媒体 ——聚焦数据 · 改变商业 浙江智臾科技有限公司(DolphinDB)成立于2016年,总部位于杭州,在北京、上海、深圳设有分支机构,并拥有全资子公司DolphinDB,Inc. 在数据集成与流程调度层面,DolphinDB可与Airflow、DolphinScheduler、DataX等ETL与工作流系统协同,支持国产调度平台与数据中台的建设;在实时数据链路中,DolphinDB DolphinDB还将OLAP、TSDB、OLTP等多种引擎集成于同一数据库进程中,并用同一套计算引擎处理跨模态的数据。DolphinDB设计并实现了Dlang多范式语言。 一个DolphinDB集群就可以完美解决上述问题。DolphinDB还具备极致的开发体验与运行性能。 行业定制化创新 针对具体行业的核心需求,DolphinDB还进行了多项优化和创新。
DolphinDB(智臾科技)创始人、CEO周小华博士认为,下一代金融基础软件必须从根本上重构技术底座——不是修修补补,而是重建“神经系统”。 DolphinDB正是这种“重建”理念下的核心产物。 在一体化架构之上,通过数据、计算、应用三个层面的创新,更是让DolphinDB能力迈上更高的台阶。 3.数据跨地域协同 更革命性的是,DolphinDB打破了数据的“地域封印”,实现了数据的跨区域协同。 2.交互智能化 DolphinDB基于统一能力组合,既支持传统图形界面交互,也支持AI自然语言交互。 DolphinDB作为“航母”,是整个舰队的力量核心,提供高性能的实时计算与时序数据支撑。
2.2 DolphinDB 的技术优势 作为国产时序数据库的代表,DolphinDB 在处理工业数据方面展现出了独特的技术优势: 卓越的实时处理性能:DolphinDB 采用列式存储和向量化计算引擎,能够在单台服务器上实现每秒数百万数据点的写入性能 强大的流式计算能力:DolphinDB 内置流数据处理引擎,支持窗口聚合、时序连接、异常检测等复杂的实时计算。 在某锂电池制造企业中,利用 DolphinDB 分析了过去一年的生产数据,成功建立了极片卷绕质量与工艺参数的关联模型。 自主可控的安全保障:作为完全自主开发的国产软件,DolphinDB 从底层代码到上层应用都实现了自主可控。 DolphinDB 支持实时数据看板,能够将关键工艺参数、设备状态、质量指标等以图表形式实时展示,实现生产过程的透明化管理。
这些产品的命名本身就带有强烈的攻击性与速度感,似乎在暗示DolphinDB正如海豚一般,在数据的深海中构建起敏捷而庞大的生态系统。 “如果把大模型比作大脑的皮层,那DolphinDB正在试图成为它的海马体(负责记忆)和神经末梢(负责感知)。” DolphinDB首先攻下的,是对性能要求最苛刻的量化金融领域。国泰海通证券、华泰证券、华夏基金等头部机构纷纷成为其客户。 随着工业4.0的推进,DolphinDB正在快速将金融级的能力复制到工业物联网领域。长江电力的发电机组监测、比亚迪的智能制造、甚至新能源车的电池热失控预警,都开始出现DolphinDB的身影。 在DB-Engines的全球排名中,DolphinDB已稳居国产时序数据库第一名,并在全球榜单中跻身前列。 资本市场也敏锐地嗅到这股技术红利。
三、 DolphinDB 的解法:让计算在数据生长的地方发生面对这一结构性矛盾,高性能时序数据库 DolphinDB 给出了一套彻底的解法:存算一体。 在这种模式下,DolphinDB 不再是一个单纯的仓库,而是一个“自带加工能力的超级工厂”。以风电场群控为例,每个风机叶片都载有大量的应变片。 不仅如此,DolphinDB 在提升计算速度的同时,还深刻改变了工业软件的协作模式,解决了长期困扰工程界的“开发壁垒”问题。 DolphinDB 正是 Agent 的“实时记忆体”。它能以亚毫秒级的延迟将海量原始信号压缩、聚合,并转化为 Agent 能够理解的特征流。 5.2 极致的经济性:用更少的资源做更多的事除了技术上的领先,DolphinDB 还为企业带来了极高的性价比。
DolphinDB 等计算型时序数据库通过分布式时序表(DFS Table)设计,天然支持多维度标签索引与高效关联查询。 DolphinDB 正是在这一类实践中,被用于构建高频时序数据的实时分析与决策支撑能力。 DolphinDB 便是其中较为典型的一类实现。从技术特性上看,DolphinDB 的设计重点并不在于“覆盖更多组件角色”,而在于提升单一系统对高频时序数据的处理效率。 在实时数据处理方面,DolphinDB 提供了原生的流数据表与响应式计算机制,能够在数据到达的同时触发计算逻辑并持续更新指标状态。 此外,在工程落地层面,DolphinDB 通过统一的脚本语言和权限体系,将实时计算逻辑、指标定义与历史分析整合在同一环境中,有助于减少跨系统协作带来的复杂度。