流计算 Oceanus 是大数据产品生态体系的实时化分析利器,是基于 Apache Flink 构建的具备一站开发、无缝连接、亚秒延时、低廉成本、安全稳定等特点的企业级实时大数据分析平台。流计算 Oceanus 以实现企业数据价值最大化为目标,加速企业实时化数字化的建设进程。
产品架构
与开源 Apache Flink 对比
一级分类 | 功能 | 描述 | 腾讯云 Oceanus | 开源 Flink | |
开发调试 | 数据连接 | 依托 Connector 连接多种上下游数据服务,快速实现实时数据汇聚及结果数据落地 | | 支持 | 不完全支持 |
| | 云数据产品 | 与腾讯云主流数据产品( 腾讯云数据仓库 TCHouse、消息队列、数据库、搜索引擎、对象存储等)无缝集成,包括 CDW、CES、EMR、CDB、Ckafka、TDMQ、COS 等 | 支持 | 不完全支持 |
| | 自建数据服务 | 按需自定义 Connector 对接各类外部数据系统,涵盖云上和 IDC 中的自建服务 | 支持 | 支持 |
| WebIDE 开发 | 以 WebIDE 的方式提供集图形化开发、多语言开发、元数据管理、代码调试、依赖管理等为一体的一站式开发调试平台 | | 支持 | 不支持 |
| | 低代码 | 图形化实时 ETL 开发 | 支持 | 不支持 |
| | 多语言 | 涵盖 SQL/Java/Scala 语言 | 支持 | 不支持 |
| | 元数据 | 内置统一元数据管理,支持元数据参数的变量管理 | 支持 | 不完全支持 |
| | 自动 DDL | 智能感知外部数据连接系统,自动生成数据源和数据汇的建表语句 | 支持 | 不支持 |
| | 自定义函数 | 用户自定义各类型函数,包括 UDF、UDTF 和 UDAF | 支持 | 支持 |
| | 作业调试 | SQL 在线语法检查 | 支持 | 不支持 |
| | | | | SQL 在线调试、且调试过程中不影响生产环境 |
| | 外部依赖 | 程序包管理、外部依赖(如配置文件、依赖库等)的管理和动态分发 | 支持 | 不支持 |
| | 计算资源 | 对 JobManager 和 TaskManager 进行细粒度资源配置以及算子并行度配置 | 支持 | 不完全支持 |
| | 作业版本 | 作业和资源历史版本管理,方便进行业务升级开发 | 支持 | 不支持 |
| 云 API 开发 | 云 API 提供了 WebIDE 开发所具备的全部功能接口,通过云 API 可实现业务平台与流计算 Oceanus 的无缝对接 | | 支持 | 不支持 |
部署运维 | 作业部署 | WebIDE 和云 API 两种方式对作业进行全生命周期部署管理,包括启动、停止、暂停和恢复 | | 支持 | 不支持 |
| 运行监控 | 可视化作业所有的运行参数和运行状态,让作业的运行白盒化 | | 支持 | 不完全支持 |
| | 运行参数 | 可视化正在运行作业的逻辑和参数,如 SQL 语句详情和参数配置信息 | 支持 | 不支持 |
| | 运行事件 | 可视化作业异常重启、Snapshot 失败、以及 JobManager/TaskManager 的 CPU、内存异常等各类运行状态的事件 | 支持 | 不支持 |
| 指标告警 | 以 Task 粒度定义动态指标,并以维度聚合(sum、max、min、avg)的方式定义从上下游系统到集群作业的健康运行相关的65+项监控指标,对作业进行全方位监控告警 | | 支持 | 不完全支持 |
| | 监控指标 | 展示作业/JobManager/TaskManager/Task 粒度指标,以及容器 POD 精确的 CPU/内存指标 | 支持 | 不完全支持 |
| | 监控告警 | 基于腾讯云监控,支持为65+项监控指标配置告警规则,并支持 AI 动态阈值告警 | 支持 | 不支持 |
| 智能诊断 | 以异常日志的采集和聚合分析为切入,智能地诊断分析异常信息,并给出建议的解决方案 | | 支持 | 不完全支持 |
| | 异常采集 | 将作业运行时产生的异常日志,实时投递到腾讯云日志服务 CLS | 支持 | 不支持 |
| | 异常检索 | 查看作业历史实例异常日志,能够按照实例 ID、进程角色、进程 ID 进行聚合展示及分级检索 | 支持 | 不支持 |
| | 异常诊断 | 基于异常日志的一键诊断功能,迅速分析出作业异常原因,并给出建议的解决方案 | 支持 | 不支持 |
| 黑窗诊断 | 将实际作业的底层 OOM Dump、JFR、异常日志等异常信息自动地上传到用户的对象存储服务 COS 中 | | 支持 | 不支持 |
| | 信息采集 | 作业进程结束后,能提供日志目录下的文件 List 供用户分析,涵盖 OOM Dump、JFR 等文件 | 支持 | 不支持 |
| 高可用 | SLA 保障 | 集群的分布式设计无任何单点,全链路监控和快速的故障自愈能力保障3个9的可用性 | 支持 | 不支持 |
成本 | 资源成本 | 根据业务实际负载特点,按需分配和使用资源,降低计算资源成本 | | 支持 | 不支持 |
| | AutoScaling | 根据业务负载自动进行扩缩容,保障业务时效性的同时避免资源浪费 | 支持 | 不支持 |
| | 细粒度资源 | 为作业选择细粒度资源(如 0.5 CU/进程),避免资源浪费 | 支持 | 不完全支持 |
安全 | 安全隔离 | 多维度进行资源环境的隔离,确保租户间的数据安全 | | 支持 | 不完全支持 |
| | 空间隔离 | 租户独享网络空间、计算资源和存储资源,保证租户间的物理隔离 | 支持 | 不完全支持 |
| | 进程隔离 | 作业进程通过容器部署隔离,保证进程的稳定与安全 | 支持 | 不完全支持 |
| 访问控制 | 以腾讯云账号体系和 SAML 联合身份认证机制确保账号安全,并达成细粒度的权限控制 | | 支持 | 不支持 |
| | 账号体系 | 腾讯云账号体系打通,同时支持 SAML 联合身份认证 | 支持 | 不完全支持 |
| | 细粒度权限 | 集群级别、作业级别的细粒度权限管理,满足多人协同开发需求 | 支持 | 不支持 |