前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >python 输出 GPU内存 最大使用率

python 输出 GPU内存 最大使用率

作者头像
Michael阿明
发布2022-03-10 18:46:47
2.8K0
发布2022-03-10 18:46:47
举报
文章被收录于专栏:Michael阿明学习之路
  • 安装 pip install nvidia-ml-py
代码语言:javascript
复制
from pynvml import *
代码语言:javascript
复制
def nvidia_info():
    # pip install nvidia-ml-py
    nvidia_dict = {
        "state": True,
        "nvidia_version": "",
        "nvidia_count": 0,
        "gpus": []
    }
    try:
        nvmlInit()
        nvidia_dict["nvidia_version"] = nvmlSystemGetDriverVersion()
        nvidia_dict["nvidia_count"] = nvmlDeviceGetCount()
        for i in range(nvidia_dict["nvidia_count"]):
            handle = nvmlDeviceGetHandleByIndex(i)
            memory_info = nvmlDeviceGetMemoryInfo(handle)
            gpu = {
                "gpu_name": nvmlDeviceGetName(handle),
                "total": memory_info.total,
                "free": memory_info.free,
                "used": memory_info.used,
                "temperature": f"{nvmlDeviceGetTemperature(handle, 0)}℃",
                "powerStatus": nvmlDeviceGetPowerState(handle)
            }
            nvidia_dict['gpus'].append(gpu)
    except NVMLError as _:
        nvidia_dict["state"] = False
    except Exception as _:
        nvidia_dict["state"] = False
    finally:
        try:
            nvmlShutdown()
        except:
            pass
    return nvidia_dict

def check_gpu_mem_usedRate():
    max_rate = 0.0
    while True:
        info = nvidia_info()
        # print(info)
        used = info['gpus'][0]['used']
        tot = info['gpus'][0]['total']
        print(f"GPU0 used: {used}, tot: {tot}, 使用率:{used/tot}")
        if used/tot > max_rate:
            max_rate = used/tot
        print("GPU0 最大使用率:", max_rate)

在跑任务时,另外运行脚本调用 check_gpu_mem_usedRate 就可以知道最大的 GPU内存 使用率,线上服务不要用的太满,最大80%左右为宜,防止极端情况GPU显存溢出

参考: python获取GPU,CPU,硬盘,内存,系统,用户使用情况信息 【Python管理GPU】pynvml工具的安装与使用

本文参与 腾讯云自媒体同步曝光计划,分享自作者个人站点/博客。
如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 作者个人站点/博客 前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档