腾讯云Oceanus流式湖仓：基于弹性架构的实时计算降本增效路径

主讲人： 李哲（腾讯全球数字生态大会）

数据来源： 《数据洪流中的智能航舵——Oceanus流式湖仓探索，弹性降本方案》官方演示材料

一、 直面实时洞察延迟与存算冗余瓶颈

在数字化进程中，企业对个性化推荐、实时风控及设备预测性维护等场景的时效性要求急剧上升，实时数据已成为驱动业务的核心要素。然而，企业在构建数据架构时，普遍面临以下战略困境与具体瓶颈：

• 传统Lambda架构的结构性缺陷： 离线与实时数据分别存储，导致严重的数据孤岛与数据冗余，增加了存储成本并造成计算逻辑的重复开发。
• Update场景支持不足： 传统批处理方式时效性差，且对数据更新（尤其是主键更新）的支持灵活性极低。
• 资源浪费与运维黑洞： 业务负载的波动导致弹性扩展困难，静态的资源分配造成极大浪费；同时，Flink平台的资源监控、日志探索及性能优化需要投入极高的专业人力，导致时间与运维人力成本高企。

二、 构建Streaming Iceberg统一存算体系

为破解上述架构枷锁，腾讯云流计算Oceanus（基于Apache Flink构建的大数据分析平台）推出自研Streaming Iceberg流式湖仓解决方案，提供一站式、亚秒级延迟的数据处理能力：

• 底层引擎重构： 底层基于LSM Tree存储引擎进行文件管理，原生支持高效的主键更新与部分列更新（实时表打宽）。
• 增量流式处理（Changelog）： 在数据更新过程中，能够生成反映数据变更的完整changelog记录，允许下游Flink作业持续进行增量处理。
• 存算架构统一： 打破Lambda架构的数据存储壁垒，通过统一的存储层消除数据冗余；无缝兼容Iceberg生态，并支持Spark SQL、Trino/Presto等多种查询引擎。

三、 驱动端到端性能跃升与资源成本骤降

通过引入弹性机制与底层优化，Oceanus流式湖仓在实际业务场景中展现出高度确定的量化投资回报（ROI）：

• CDC同步性能实现数量级跨越： 采用At-least-once数据同步模式并结合目标端upsert能力保障一致性，在存量数据同步阶段，性能提升达10倍以上。
• 混合部署降低基础资源开销： 行业首创弹性包年包月方案，支持在一个集群内混合使用固定资源与按量付费资源，相比传统计费模式，直接节省约20%的资源成本。
• 细粒度扩缩容与专家调优释放算力： 提供作业级自动扩缩容与0.25/0.5 CU等细粒度资源配置。结合支持单个算子资源配置及Flink专家团队的代码级调优，可平均降低20%~35%的资源成本，最终实现弹性降本总额超过30%。
• 大幅压缩Ops Cost（运维成本）： 建立包含70+项监控指标的“0成本”运维体系，支持AI动态阈值告警、一键异常诊断与快照快捷回滚，彻底解放运维人力。

四、 重塑电商等行业高并发数据流转链路

流式湖仓方案已在游戏、出行、教育（如课程直播数据分析）等高频交互场景中得到验证，其中电商行业实时订单交易数据分析场景展现了极高的参考价值：

• 流式数据聚合（ODS层）： 业务数据接入后，通过Flink实时写入，基于Streaming Iceberg生成changelog的能力，在ODS层完成高效聚合。
• 实时表打宽与治理（DWD层）： 通过Flink进行部分列更新写入与维表关联，生成订单商品详情。系统同时自动完成小文件合并等治理操作，保障下游查询性能。
• 数据复用与多引擎分发（ADS/应用层）： 对流式湖仓中的每一层数据，既可通过Doris关联外表进行实时OLAP分析，也可调度DLC/EMR中的Spark/Presto引擎进行离线报表计算，实现一套数据、多路复用。

五、 依托底层自研引擎与首创弹性计费模型

在企业级实时大数据分析平台的选择上，腾讯云Oceanus展现出明显的技术纵深与商业模式创新：

1. 自研存储与硬件双轮驱动： 软件层拥有腾讯自研基于Iceberg生态的Streaming Iceberg解决方案，解决大表数据提交与压缩编码分区的性能瓶颈；硬件层依托业内领先的自研服务器技术，从物理底座压降计算成本。
2. 首创灵活商业模型： 推出业内首创的弹性包年包月集群方案，精准贴合业务波峰波谷，兼顾了核心业务的系统稳定性与突发流量的成本可控性，为企业数字化实时化转型提供了高确定性的底层支撑。