腾讯云数据湖计算 DLC (Data Lake Compute) 产品概要

文档来源： 腾讯云 CSIG 云与智慧产业事业群 | 大数据基础产品中心 (2023.04)

一、 产品定位与核心亮点

技术定义：

数据湖计算 DLC 是基于 Spark、Presto、Iceberg 构建的云原生 Serverless 湖仓分析服务。该产品采用存算分离架构，具备托管运维、自研内核增强等特性，旨在为企业提供敏捷的一站式数据分析平台。

核心差异化卖点：

• 架构形态： 新一代 LakeHouse 架构，融合数据湖的开放性与数仓的事务性（ACID），支持 AI+BI 一体化。
• 成本模型： 为降本设计的存算分离架构，计算和存储均按需使用，承诺综合降本 50%+。
• 运维模式： 云原生 Serverless 形态，免底层运维，开箱即用。

二、 产品应用场景

针对企业在大数据分析中的痛点，DLC 主要服务于以下四类场景：

1. 离线/近实时数仓分析
   • 受众： 需要海量数据分析的企业。
   • 痛点： 面临性能瓶颈、稳定性差、时效滞后（T+1）及架构复杂性挑战。
   • 解决方案： 通过分布式引擎、自适应 Shuffle、多级缓存及分区索引优化，提供 PB 级近实时分析服务。
2. 数据科学 (AI 基座)
   • 受众： AI 企业、数据科学家。
   • 痛点： 大模型数据预处理需要海量算力且成本高昂，环境部署复杂。
   • 解决方案： 容器化部署，支持 Python 作业及内置机器学习包，作为 AIGC 大规模应用的算力基座。
3. 交互式数据湖探索
   • 受众： 数据分析师、业务人员。
   • 痛点： 需要灵活自助探索数据，但传统查询效率低，等待时间长。
   • 解决方案： 白屏化操作，标准 SQL 接入，结合多级缓存加速技术（秒级/亚秒级）及排队并发模型提升效率。
4. 联邦查询
   • 受众： 拥有多源异构数据的大型企业。
   • 痛点： 数据散落形成孤岛，缺乏统一视图。
   • 解决方案： 统一元数据管理，提供极速联邦查询引擎，实现跨系统数据统一分析。

三、 应用框架和功能介绍

1. 功能框架与技术架构

DLC 采用分层架构，主要包含：

• 云服务层： 弹性资源管理、权限管理、运维管理。
• 计算引擎层： 自研增强版 Serverless Spark、自研增强版 Serverless Presto。
• 加速层： 自研加速层（Local/Segment/Result Cache）、Smart Optimizer（数据优化服务）、Spark 自适应 Shuffle。
• 存储层： 基于 Iceberg 格式实现的 DLC 托管湖存储（依托对象存储 COS），支持 ACID 事务、Schema 演化、时间旅行及实时 Upsert。

2. 硬核指标

• 实时入湖性能： 自研 Smart Optimizer 支持 百万级 QPS 实时入湖，端到端分钟级时延。
• 查询性能： 自研加速层用户实测 10倍性能提升；交互式场景达到 秒级/亚秒级 分析。
• 存储可靠性： 99.9999999999% (12个9)。
• 服务可用性： 99.995%。
• 计算成本测算： 同等算力下（按量计费），DLC 弹性模型相比传统集群节省 70%+ 成本（实测：传统集群 1776元/天 vs DLC 弹性 455元/天）。
• 存储成本测算： 存算分离架构相比传统预留模式节省 90%+ 存储成本（标准存储 1TB~1400元/月 vs 深度归档 1TB~10元/月）。
• 计费与规格：
  • 计量单位： 1 CU = 1核4GB。
  • 弹性策略： 支持最小集群数 1+2，最大集群数 10+5。
  • 计费模式： 包年包月、按量计费、按扫描量计费、Spark/Presto 专属计费。

3. 产品优势 (全量提取)

• 极致性价比：
  • 存算分离，资源无感伸缩，存多少买多少。
  • 支持热、温、冷分层存储，数据分区和压缩进一步减少成本。
  • 自动/定时启停（任务结束自动关闭集群，关闭不收费）。
  • 自动扩容满足高并发，优雅缩容解决资源闲置。
  • 多部门共享同一份数据和元数据，轻量级集群解决资源抢占。
• 敏捷使用：
  • 无需选配、安装、调优，开箱即用（几分钟内开始分析）。
  • 统一多引擎 SQL 语法，降低使用门槛。
  • 提供 20多种 云上数据流转快速通道。
  • 丰富的控制台交互能力，数据可视化探索。
  • 自动推断元数据，支持可视化建表及 MSC 自动加载分区。
• 实时极速：
  • 增强 Iceberg 能力，支持离线 T+1 升级至分钟级近实时。
  • Flink CDC 写入可靠性提升（限流、预聚合）。
  • 小文件合并性能与可靠性提升（Bloom Filter、分布式提交逻辑优化）。
  • 全链路索引推荐，减少 ODS 数据扫描量。
  • 自适应 Shuffle，优先 Disk 保证性能，零成本使用。

4. 荣誉背书与规划

• 行业地位： 当前多家头部 AI 企业的湖计算与数仓稳定运行在 DLC 上。
• 产品路线图 (Lakehouse 2.0)：
  • 性能增强： 自研加速层、引擎内核增强。
  • 架构演进： 从 Lakehouse 1.0 向 批流一体 演进。
  • AI 赋能： AIGC 大规模应用能力输出，智能调优，赋能 AI 全场景。
• 产品接口人：
  • chasecyang (杨灿)
  • godottchen (陈晓靓)
  • phoebezheng (郑春乔)

四、 典型案例

1. 某新能源汽车客户 - 车联网数据分析

• 背景： 需处理海量车联网数据，面临运维复杂、查询效率及成本压力。
• 解决方案： 采用 DLC 进行数据入湖，按车辆、采集时间分区建模并构建稀疏索引，使用标准 SQL 进行分析。
• 成效：
  • 运维效率大幅提升（免运维）。
  • 查询效率大幅提升。
  • 使用门槛降低（普通分析人员可直接使用）。
  • 成本节约（按量计费，分析成本极低）。

2. 某教育行业客户 - 高途 (高性能联邦分析)

• 背景： 数据开发运维难度高，多源异构数据形成孤岛，日均数万任务，温冷热数据诉求不同。
• 解决方案： 利用 DLC-Presto 引擎进行交互式联邦查询，结合 DLC-Spark 引擎进行批处理，统一元数据管理。
• 成效：
  • 综合运行成本降低 50%+。
  • 运维效率大幅提升（免运维，节省人力）。
  • “0”成本缓存加速方案，大规模数据秒级分析。
  • 解决数据孤岛问题，开箱即用。

3. 某游戏客户 - 基于 DLC 构建低成本数仓

• 背景： 需进行广告效果分析、实时业务探查及玩家行为分析，对成本和性能敏感。
• 解决方案： 采用 Iceberg 建模，结合 DLC 统一元数据、Spark/Presto 引擎及自动分区投递。
• 成效：
  • 综合成本下降 70%+（存储成本下降 90%+，计算成本下降 60%+）。
  • 数仓搭建效率大幅提升（分钟级轻松搭建）。
  • 亚秒级高性能分析。

4. 某电竞直播 - 基于 DLC 数据湖计算实践

• 背景： 需进行游戏玩家画像、行为预测、运营分析及个性推荐。
• 解决方案： 利用 DLC 托管数据存储，结合查询分析与数据 ETL 处理。
• 成效：
  • 湖计算性能提升 35.5%。
  • 算力资源节约 30%+。
  • 综合运行成本降低 50%+。
  • 安全加固与权限控制体系完善。

5. 某传统企业 - 基于 WeData+DLC 的数据入湖分析实践

• 背景： 需处理海量日志分析，业务多种数据源实时入湖，构建数据中台。
• 解决方案： 结合 WeData 进行任务调度，利用 DLC 进行 Spark/Presto 计算及 Iceberg 建模。
• 成效：
  • 任务调度能力增强，支持复杂场景。
  • 全链路一站式调度和集成。
  • 企业数据架构简化，多种同步方式快速搭建。
  • 支持复杂性场景数据任务，分区建模查询效率提升。

6. 腾讯内部某业务 - 实时数据湖建设

• 背景： 需支持推荐歌曲、引导付费、广告等实时业务推送。
• 解决方案： 采用 Binlog 流式增量入仓（Iceberg + Spark Streaming），下游通过 Presto 查询。
• 成效：
  • 流式实时入仓，延时降低到 30秒以内。
  • 秒级查询、分钟级数据分析（端到端缩短至分钟级）。
  • 实时应用效果提升，推荐与广告推送更加精准并秒级完成。