前期准备
注册账号
注意:
仅针对管理员,可能会涉及到以下操作。
1. 进入 数据湖计算 DLC 控制台,单击前往访问管理,授权数据湖计算。
2. 在角色管理中,单击同意授权。
购买引擎
您可以根据业务场景诉求,购买不同类型的引擎去配合您的使用。引擎分为标准引擎与 SuperSQL 引擎。两者的区别为:支持的 SQL 语法不同,其中标准引擎支持原生语法和行为,SuperSQL 引擎支持 DLC 自研的 SuperSQL 语法。
注意:
需要在访问管理 CAM 中拥有财务权限。
1. 在 数据湖计算 DLC 控制台 上,可在概览页及数据引擎页中前往引擎购买页购买引擎。访问路径:概览页 > 初始化配置 > 购买数据引擎。
2. 在引擎管理界面,单击创建资源。
3. 在购买页中选择需要购买的:
说明:
1. 引擎分为标准引擎与 SuperSQL 引擎。两者的区别为:支持的 SQL 语法不同,其中标准引擎支持原生语法和行为,SuperSQL 引擎支持 DLC 自研的 SuperSQL 语法。
2. 购买引擎规格建议:由于 16CUs 的集群规模较小,建议仅用于测试场景,真实生产场景建议选择购买 64CUs 以上规格的集群。
引擎类型 | 引擎名称 | 适用场景 |
SuperSQL引擎 | SparkSQL | 适用于稳定高效的离线 SQL 任务。 |
| Spark 作业 | 适用于 Spark 原生的流式/批式数据作业处理。 |
| Presto | 适用于敏捷、快速的交互式查询分析。 |
标准引擎 | Spark | 适用于 Spark 原生的流式/批式数据作业处理/离线 SQL 任务 |
| Presto | 适用于敏捷、快速的交互式查询分析。 |
引擎操作类权限自动授权
数据湖计算 DLC 支持默认开启引擎操作类权限,开启后,所有用户默认拥有该引擎的下列权限:
使用:使用该引擎进行任务执行。
操作:操作引擎的暂停、挂起。
监控:针对引擎的使用情况监控运维。
注意:
1. 关闭后,管理员默认继续拥有引擎各权限,普通用户需管理员在权限管理页添加权限。
2. 原有普通用户拥有权限不受影响,可前往权限管理页删除。
3. 后续新建普通用户无使用权限,需在权限管理页手动添加。
如何开启、关闭自动授权引擎权限
引擎默认开启/关闭操作类权限入口有两个:
入口一:引擎购买页 > 高级配置项
设置引擎权限后,单击确定。
团队账号开通
如果您有多账号协同使用产品的诉求,可按照以下操作建议进行开通:
1. 每个地域的权限不通用,不同地域需要分别设置对应权限。
2. 数据湖计算 DLC 的权限快捷开通入口:
开通子账号访问数据湖计算 DLC 的权限,请前往 CAM 控制台 进行配置。
开通子账号对数据湖计算 DLC 产品内的数据与引擎读写权限,请前往 DLC 控制台 配置。
开通子账号与访问 DLC 权限
主账户默认拥有 DLC 全部操作权限。主账号通过访问管理 CAM 将 DLC 的访问权限授予给子用户,使子用户拥有对应的 DLC 操作权限:QcloudDLCFullAccess(DLC 的全部操作权限)。
操作步骤
2. 为子账号添加预设策略:QcloudDLCFullAccess(DLC 的全部操作权限)。
可在用户列表搜索需授权的用户,单击授权。
策略列表中选择 QcloudDLCFullAccess(DLC 的全部操作权限)。
开通子账号在 DLC 中数据与引擎权限
添加用户至 DLC 权限管理
说明:
1. 请确认用户权限生效地域。
2. 关于用户划分:
管理员:拥有所有资源的权限。
普通用户:需要授予具体的权限,或者绑定工作组来获取权限。
1. 登录 数据湖计算 DLC 控制台,进入权限管理页面,选择对应服务地域,进入权限管理页。单击添加用户。
2. 通过子用户的 CAM ID 将该账号添加进 DLC 内进行管理。用户类型请按需选择。
3. 绑定用户至工作组(非必选步骤)。
说明:
添加引擎与数据权限
创建用户或工作组后单击列表中的授权操作,为工作组添加权限,包括数据权限和引擎权限。
数据权限
数据目录权限:包括在数据目录下创建数据库和创建数据目录两种权限。
数据库表权限:可授予库表级别的细粒度权限,包括对库、表、视图、函数的查询和编辑等权限。
引擎权限
根据用户或工作组的使用场景,勾选引擎的权限策略。
说明:
使用:使用该引擎进行任务执行。
修改:修改引擎的配置参数,如引擎的规格变配。
操作:操作引擎的暂停、挂起。
监控:针对引擎的使用情况监控运维。
删除:删除引擎。
可授权:勾选后,该子用户或工作组下的所有成员拥有对引擎的授权权限。
配置结果存储位置
配置结果存储位置
选择存储的位置及方式
说明:
元数据加速桶:在当前地域,可更好的提升查询分析性能。内表可直接开启,外表需要确认引擎权限是否允许开启。
请注意:共享引擎无法绑定元数据加速桶。当用户选择用户存储路径时,独享引擎需要先绑定元数据加速桶后,再做查询才能生效。
用户存储:用户存储为您在 COS 上的存储桶路径。
创建库
创建数据库前,选择使用消耗的引擎。
输入数据库名称,单击确认。
创建表
原生表:是您存放于 DLC 托管存储上的表,默认为 Iceberg 格式。使用原生表无需关注 Iceberg 底层文件,而且具备数据优化等能力帮助构建数据湖。
外表:文件为您自己账号下的 COS 桶或其他第三方数据存储的表。DLC 可以直接建立外表进行分析,无需额外加载数据。
注意:
创建原生表后,需要刷新浏览器才能使用。
数据查询
进入数据湖计算 DLC 控制台-数据探索。在分析页面可创建 SQL 查询。功能支持全部运行、部分运行,下载结果,物化视图。