前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
MCP广场
社区首页 >专栏 >GPU利用率低的解决办法

GPU利用率低的解决办法

作者头像
全栈程序员站长
发布于 2022-09-07 02:29:24
发布于 2022-09-07 02:29:24
2.8K00
代码可运行
举报
运行总次数:0
代码可运行

大家好,又见面了,我是你们的朋友全栈君。

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
watch -n 0.1 -d nvidia-smi # 检查GPU利用率参数

解决办法:

1. dataloader设置参数

2.增大batchsize

3. 减少IO操作,比如tensorboard的写入和打印。

4. 换显卡

5. 性能分析

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
import time
import cProfile, pstats, profile


def add(x, y):
    time.sleep(1)
    value = x + y
    return value


def sub(x, y):
    time.sleep(1.5)
    value = x - y
    return value


class TestProfile:
    def calc(self, x, y):
        time.sleep(1)
        add_result = add(x, y)
        sub_result = sub(x, y)
        print(f"{x} add {y} result is: {add_result}")
        print(f"{x} sub {y} result is: {sub_result}")


if __name__ == '__main__':
    obj = TestProfile()
    # 要分析的函数。
    # 原来调用该怎么写就写成相应的字符串形式就好了
    be_analysed_function = "obj.calc(1,2)"
    # 给此次监测命个名,随意起。
    analysed_tag_name = "test_analysed"
    # 使用c语言版的profile进行分析,好处是自身占用资源更少,对函数的耗时定位更准确
    cProfile.run(be_analysed_function, analysed_tag_name)
    # 使用python版的profile进行分析,格式都一样的。
    # profile.run(be_analysed_function, analysed_tag_name)

    # 对此次监测进行分析。
    s = pstats.Stats(analysed_tag_name)
    # 移除文件目录,减少打印输出
    # s.strip_dirs()
    # 排序。
    # "time"表示按函数总耗时排序,python3.7后可用枚举变量pstat.SortKey来取排序项
    s.sort_stats("time")
    # 打印统计结果
    # ncalls--函数被调用的次数
    # tottime--此函数在所有调用中共耗费的时间秒数(不包括其调用的子函数耗费的时间)。分析耗时主要看这个。
    # percall--此函数平均每次被调用耗时。分析耗时次要看这个
    # cumtime--执行此函数及其调用子函数所占用的时间。
    # percall--此函数平均每次调用每个子函数所用的时间。
    s.print_stats()
    # print_stats的结果并不显示谁调用的谁,比如是A调用的C还是B调用的C是不清楚的
    # 要打印出函数的调用者,可使用print_callers()
    # 结果中右边是被调用函数,左边是调用该函数的函数
    # s.print_callers()

https://blog.csdn.net/DD_PP_JJ/article/details/111829869

发布者:全栈程序员栈长,转载请注明出处:https://javaforall.cn/147472.html原文链接:https://javaforall.cn

本文参与 腾讯云自媒体同步曝光计划,分享自作者个人站点/博客。
如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 作者个人站点/博客 前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
暂无评论
推荐阅读
编辑精选文章
换一批
怎样判断一个人是否适合做数据分析?
网友问:部门要找几个人做数据分析。现几个人原来是在不同的岗位上的,以前没有做过数据分析,怎么样才能看看出他们是不是适合做数据分析呢,在进行竞聘时使用什么样的题目会比较合适有效呢? 大家有何妙招没? 我
小莹莹
2018/04/24
6760
怎样判断一个人是否适合做数据分析?
数据分析那些事(数据分析师入门必看)
经常有网友会对数据分析方面有一些困惑,并且咨询我该怎么办?并且经常是同样的问题,所以觉得有必要对一些经典共性的问题进行整理,与大家分享,这里并非标准答案,仅作参考! 欢迎提出自己对数据方面的疑问,将在此篇将持续更新,敬请关注。 -------------------我不是完美的分割线----------------- Q1:大数据是什么? ---- 答:从海量的数据里进行撷取、管理、处理、并整理之后,获得你需要的资讯。大数据的特征归纳为4个“V”(量Volume,多样Variety,价值Valu
小莹莹
2018/04/23
3.5K0
数据分析那些事(数据分析师入门必看)
一位资深数据分析师的分享:掌握基础及更新知识
一、掌握基础、更新知识。 基本技术怎么强调都不过分。这里的术更多是(计算机、统计知识),多年做数据分析、数据挖掘的经历来看、以及业界朋友的交流来看,这点大家深有感触的。 数据库查询—SQL 数据分析师在计算机的层面的技能要求较低,主要是会SQL,因为这里解决一个数据提取的问题。有机会可以去逛逛一些专业的数据论坛,学习一些SQL技巧、新的函数,对你工作效率的提高是很有帮助的。 统计知识与数据挖掘 你要掌握基础的、成熟的数据建模方法、数据挖掘方法。例如:多元统计:回归分析、因子分析、离散等,数据挖掘中的:决策树
CDA数据分析师
2018/02/11
1.4K0
数据分析师最常遭遇的10个问题,你准备好了吗?
1、如何做好数据分析? 分析师成长是通过“干”、"思"、“熬”出来的。干:多做。哪些是临时需求。你要做各种各样的分析;思:你在边干的过程中,要边思考,边总结,只有这种你才能沉淀。熬:通过时间的积累,你
CDA数据分析师
2018/02/11
8370
数据分析师最常遭遇的10个问题,你准备好了吗?
浅谈数据分析的魅力和能力要求!
我们生活在一个数据和分析可以为任何人所用的时代,你可以运用数据分析的威力找出什么可行,什么不可行,沿着最有效的路走向成功。
Datawhale
2020/11/16
1.5K0
浅谈数据分析的魅力和能力要求!
大数据分析流程
你是一个在校学生,上着自己喜欢或不喜欢的课,闲来无事,你打开知乎,看到了数据分析话题,你下定决心要成为一个数据分析师,你搞来一堆学习资料和在线课程,看完之后自信满满,准备去投简历,然后发现不清楚各种工具和模型的适用范围,也不知道数据报告需要包括哪些内容,面试的感觉就是一问三不知……
Spark学习技巧
2019/08/02
3.5K0
大数据分析流程
灵魂画手一图解读:成为数据分析师的必备能力项
上周末晚上,我的学妹突然约我出来喝咖啡,我觉得这件事情不简单,果然一到她就递给我手机,开口就问:
IT阅读排行榜
2018/10/25
5940
灵魂画手一图解读:成为数据分析师的必备能力项
对于打算入门数据分析的菜鸟来说,你想提醒他们什么?
“面对大数据时代趋势和与之相对的高薪,越来越多没有怎么学过计算机和统计学的外门人士也想跃跃欲试踏进数据科学的领域,请问大家伙儿有没有点建议想提醒新人呢。比如一路走来最困难的瓶颈期是在什么阶段?为了这一专业都牺牲了什么?与此同时又给你们带来了什么?在枯燥的学习过程中,学习的原动力和兴趣来源是靠什么?”
小莹莹
2018/07/24
4870
对于打算入门数据分析的菜鸟来说,你想提醒他们什么?
数据分析那些事(菜鸟入门必看)
经常有网友会对数据分析方面有一些困惑,并且咨询我该怎么办?并且经常是同样的问题,所以觉得有必要对一些经典共性的问题进行整理,与大家分享,这里并非标准答案,仅作参考! 欢迎提出自己对数据方面的疑问,将在
用户1756920
2018/06/20
1.1K0
数据分析师的能力和工具体系
文章来自天善智能大数据社区 www.hellobi.com 博客专栏 陈丹奕 欢迎更多在大数据、数据分析、数据挖掘和商业智能 BI 领域的一线技术爱好者、咨询顾问、CTO等加入 www.hellobi
用户1756920
2018/06/21
1K0
干货:数据分析师的能力和工具体系
TA说:之前我在回答里写过,数据分析师和圣骑士职业很相似,都需要“门门通”。最近,我尝试对数据分析师的能力和工具体系进行梳理,以下内容为一家之言,仅供参考。
IT阅读排行榜
2018/08/15
5460
干货:数据分析师的能力和工具体系
数据分析经典语录
【数据分析三字经】①学习:先了解,后深入;先记录,后记忆;先理论,后实践;先模仿,后创新; ②方法:先思路,后方法;先框架,后细化;先方法,后工具;先思考,后动手; ③分析:先业务,后数据;先假设,后验证;先总体,后局部;先总结,后建议; 做数据分析首先是熟悉业务及行业知识,其次是分析思路清晰,再次才是方法与工具,切勿为了方法而方法,为工具而工具。 【数据分析的3点要求】第一,熟悉业务,不熟业务,分析的结果将脱离实际,业无从指导;第二,多思考,只有经常发问为什么是这样的?为什么不是那样的?只有这样才有突破点
小莹莹
2018/04/18
1.5K0
如何做好一个数据分析专题并落地应用
当一个公司的业务团队,可以比较方便准确、及时、完整的看到数据,往往都会很容易从数据的变化中看到业务问题。再通过关键业务维度的拆分,可以定位清楚业务问题发生的版块、准确衡量业务变化影响大小。
张俊红
2020/01/17
4740
如何做好一个数据分析专题并落地应用
谁说文科生不能做数据分析?如何速成数据分析师
“数据分析”是一个含义颇为宽泛的概念,并且,在这个数据化的时代,这个概念几乎是无处不在的。为了保证内容的有效性,在这里仅提供我了解的一些方面。 我接触的数据分析,主要是围绕互联网产品展开的。从数据采集前的规划,到采集过程(交互逻辑设计等),到回收数据的整理(机器层面和人工层面),与业务相联系的数据汇总,到后期的报告呈现(项目成果呈现),都有“数据分析”涉及。 对单一产品来讲,数据分析(非挖掘)的集中体现,往往在运营层面。一方面是日常数据的跟踪,另一方面是重大活动、市场策略、新版本上市时的数据监测。
机器学习AI算法工程
2018/03/09
1.1K0
我的数据分析师转型之路,从零到字节跳动数据分析师
从一个什么都不懂的小白,到现在字节跳动的数据分析师,我用了大概1年的时间,在这里想给大家分享一下我的转行经历,希望能有一些帮助。
全栈程序员站长
2022/06/29
9751
我的数据分析师转型之路,从零到字节跳动数据分析师
chatGPT会替代数据分析师吗
现在网上关于【xxx会被chatGPT替代吗】的讨论很是热闹,作为一名数据分析师自然也是要来试他一试的,万一要失业了不得赶紧准备准备,提前转行是吧(jokeing)?
HsuHeinrich
2023/03/29
9750
chatGPT会替代数据分析师吗
从流水线工人到亚马逊数据分析师,坑多路远,10年小结
10多年前,我大学毕业的那个年代,大部分同学最想做的是产品——那个时候产品改变世界嘛。
朱小五
2020/03/12
6550
数据分析(1)|面试必考——产品日活(DAU)下降,该如何分析
这是一道经典的数据分析师面试题,考察的重点不在于从哪些指标去分析,而是面对这样的问题时的分析框架与逻辑思维,这是一个优秀的数据分析师必须具备的能力。针对数据异常类问题,可参考如下分析框架:
用户8612862
2021/05/13
2K0
数据分析(1)|面试必考——产品日活(DAU)下降,该如何分析
网易数据分析高级总监:10年数据分析老司机的深度思考!
我是一个数据从业者,很早以前就想把自己在工作和学习中的心得做个总结。一方面是对自己过往经历的一个总结和回顾;一方面最近几年大数据是越来越火了,也希望自己的经验能帮到那些对数据有热情、希望从事数据行业的新人们;还有一方面,也非常重要,是希望借助知乎这个平台跟广大同行们做一个交流,互相帮助,共同成长。
肉眼品世界
2020/11/11
6750
网易数据分析高级总监:10年数据分析老司机的深度思考!
【钱塘号专栏】关于数据分析那些事,看这一文章就够了
本文作者:整理自:中国统计网,《谁说菜鸟不会数据分析》 1什么是数据分析; 2数据分析职业介绍; 3数据分析生涯规划; 4数据分析薪酬情况; 5数据分析基本素质。 一:什么是数据分析呢? 数据分析是基于商业目的,有目的的进行收集、整理、加工和分析数据,提炼有价信息的一个过程。 其过程概括起来主要包括:明确分析目的与框架、数据收集、数据处理、数据分析、数据展现和撰写报告等6个阶段。 1、明确分析目的与框架 一个分析项目,你的数据对象是谁?商业目的是什么?要解决什么业务问题?数据分析师对这些都要了然于心。 基
钱塘数据
2018/03/05
8600
【钱塘号专栏】关于数据分析那些事,看这一文章就够了
推荐阅读
相关推荐
怎样判断一个人是否适合做数据分析?
更多 >
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档
本文部分代码块支持一键运行,欢迎体验
本文部分代码块支持一键运行,欢迎体验