
标准调度资源

项目绑定标准调度资源组后,单击资源组名称可以进入资源组信息页面,查看资源信息、资源监控以及进行资源组运维。

资源信息

资源监控

资源组运维
资源组运维界面提供了创建安装命令、创建卸载包命令、已安装包查看的入口以及命令执行记录列表,用户可以在此处查看 Python、Yum 安装和卸载的相关信息,包括名称、安装类型、创建人、状态、描述和时间等。

Python 包安装
1. 单击 创建安装包命令 后,在弹框中配置安装信息。
注意:

信息 | 描述 |
命令名称 | 自动生成,默认为“ Python 安装包_当前时间 ”,用户可以修改。 |
包类型 | Python2、Python3、Yum |
选择安装包 | 支持关键词搜索,目前支持的安装包如下: Python2:jieba、numpy、openpyxl、pandas、pyhive、requests、scikit-learn、thrift、thrift_sasl、tencentcloud-sdk-python。 Python3:jieba、numpy、openpyxl、pandas、pyhive、requests、scikit-learn、thrift、thrift_sasl、tencentcloud-sdk-python、pymysql、cos-python-sdk-v5、threadpool、tencentcloud-dlc-connector、matplotlib。 |
版本 | 可选择对应 Python 包不同的版本。 |
指定COS路径 | 可输入或选择指定的COS路径进行安装 ![]() |
命令执行路径 | WeData 提供的默认路径,Python 包的安装路径。 |
安装命令 | 自动生成。 |
超时时间 | 安装命令执行的最长时间,超过时间则终止执行。 |
描述 | 自定义描述信息。 |
2. Python 包安装步骤配置完成后即可生成安装命令,在资源组运维页面单击对应安装命令操作列下的运行,即可执行 Python 包安装命令,安装成功后,会在状态列提示命令运行成功信息。

3. 单击操作列下的查看结果,可以查看安装命令执行的详细情况。

4. 单击列表中的命令名称,可以查看命令详情。

已安装包查看
单击已安装包查看后,在弹框中可以分别看到 Python2、Python3、Yum 已安装的 Python 包信息。

Python 包卸载
单击 Python 包卸载后,在弹框中可以选择已安装的 Python 包进行卸载。

信息 | 描述 |
命令名称 | 自动生成,默认为“ Python 卸载包_当前时间 ”,用户可以修改。 |
包类型 | Python2、Python3、Yum |
选择卸载包 | 可选择已安装的 Python 、Yum包。 |
命令执行路径 | WeData 提供的默认路径,Python、Yum包的卸载路径。 |
卸载命令 | 自动生成。 |
超时时间 | 卸载命令执行的最长时间,超过时间则终止执行。 |
Python 版本安装
使用场景:支持在调度资源组中安装 Python 版本,安装的 Python 版本适用于编排空间的 Python 任务和 PySpark 任务。
安装步骤:
1. 创建安装包命令。
命令类型选择 Python 版本 > 选择需要安装的Python版本 > 点击确认创建安装包命令。

2. 执行安装包命令 > 完成 Python 版本安装。

3. 查看已安装 Python 版本。
点击已安装包查看 > 选择 Python 版本查看已安装的版本。
说明:
为保障任务正常执行,当前不支持卸载 Python 版本。

4. 使用 Python 版本。
安装成功后,在 Python 任务或 PySpark 任务中,选择对应的调度资源组,即可选择已经安装的 Python 包。

自定义调度资源
注意:
2025年9月11日起,平台将不再支持自定义调度资源组创建,推荐使用标准资源组。历史创建的自定义资源组的使用不受影响。

管理自定义调度资源组
添加服务器
1. 单击资源组管理 > 添加服务器,为当前执行资源组添加可供任务执行的服务器资源。


2. 您可以选择已有的云服务器(CVM),或购买新的云服务器,填写想要添加的服务器的基本信息后,单击下一步。建议的服务器配置如下:
网络:与项目计算引擎(如 EMR) 在同一个 VPC。
配置:32核64G内存(建议生产使用至少2台,测试1台)。
公网带宽:2Mbps。
系统镜像:CentOS CentOS 7.9 64位。
硬盘:500GB。
注意:
不要添加 EMR 节点到执行资源组,以免环境冲突。
参数说明
所属网络
选择 CVM 服务器所属网络,CVM 需与项目下已绑定的计算引擎属于同一 VPC 环境中。
内网 IP
填写 CVM 服务器对应的主 IPv4 内网 IP。
1. 获取方式说明:
1.1 进入 CVM 控制台,单击实例,进入实例列表。


1.2 在实例列表中选择所添加的服务器,并单击进入该 CVM 详情页。


1.3 确认所属网络信息并复制主 IPv4 内网 IP。


1.4 进入安装 Agent 页面,根据提示到服务器中进行 Agent 安装。
2. 退役/服役服务器
3. 对于正常使用的服务器,如果您想要对其进行维护操作,可以选择将其退役。退役后,服务器将进入退役中状态,正在运行的任务会继续运行完,但不再接收新的任务。当正在运行的任务全部执行完后,服务器转为已退役状态,您可以开始对该服务器进行维护。维护结束后,单击服役,可以将该服务器恢复正常使用,开始接收新的任务。


4. 删除服务器
如果想要将服务器从执行资源组中剔除,可以先单击退役按钮,待该服务器状态转为已退役时(耗时视当前任务运行时长而定),再单击删除按钮,将该服务器删除,另作他用。


修改资源组子网信息
产品新增功能支持修改调度资源组(标准调度资源)。
1. 进入 WeData 控制台 > 执行资源组 > 调度资源组 >标准调度资源组,选中对应资源组 > 编辑网络可进行批量修改操作,支持到子网维度修改。
说明:
仅当选择的资源组地域及VPC相同时,支持批量编辑。

2. 也可以对单个资源组操作 > 更多 > 编辑网络进行修改。

注意:
修改子网配置将触发资源重建,预计耗时约10-15分钟。重启期间可能导致任务运行中断,建议您在任务低峰时段(如夜间或业务空闲期)进行操作,以降低对业务的影响
Python 版本安装
使用场景:支持在调度资源组中安装 Python 版本,安装的 Python 版本适用于编排空间的 Python 任务和 PySpark 任务。
