Python - 性能分析 profile 使用方法

为为为什么

发布于 2022-08-04 15:13:41

2.6K0

代码性能至关重要，但有时难以弄清性能瓶颈的位置，python的profile包可以解决这个问题并指导提升代码性能。

简介

代码优化的前提是需要了解性能瓶颈在什么地方，程序运行的主要时间是消耗在哪里，对于比较复杂的代码可以借助一些工具来定位，python 内置了丰富的性能分析工具，如 profile, cProfile 与 hotshot 等。其中 Profiler 是 python 自带的一组程序，能够描述程序运行时候的性能，并提供各种统计帮助用户定位程序的性能瓶颈。Python 标准模块提供三种 profilers:cProfile, profile 以及 hotshot。

pycharm 专业版带有 profile 工具，vs code 等其他 ide 的 python 用户就需要自己调用profile了。

性能分析方法

引入python自带的profile或cProfile

import cProfile
# or
import profile

确定需要分析性能的函数

def sub_fun():
    sum = 0
    for i in range(20):
        sum += i
    return sum


def fun():
    sum = 0
    for i in range(100):
        sum += sub_fun()
    return sum

我们分析函数 fun 的性能

性能分析

python 脚本中分析

cProfile.run('fun()')
# or
profile.run('fun()')

输出

  104 function calls in 0.000 seconds

Ordered by: standard name

ncalls  tottime  percall  cumtime  percall filename:lineno(function)
     1    0.000    0.000    0.000    0.000 <string>:1(<module>)
   100    0.000    0.000    0.000    0.000 test.py:23(sub_fun)
     1    0.000    0.000    0.000    0.000 test.py:30(fun)
     1    0.000    0.000    0.000    0.000 {built-in method builtins.exec}
     1    0.000    0.000    0.000    0.000 {method 'disable' of '_lsprof.Profiler' objects}

其中输出每列的具体解释如下：

参数名称	参数信息
ncalls	表示函数调用的次数
tottime	表示指定函数的总的运行时间，除掉函数中调用子函数的运行时间
percall	（第一个 percall）等于 tottime/ncalls
cumtime	表示该函数及其所有子函数的调用运行的时间，即函数开始调用到返回的时间
percall	（第二个 percall）即函数运行一次的平均时间，等于 cumtime/ncalls
filename:lineno(function)	每个函数调用的具体信息

保存日志

如果需要将输出以日志的形式保存，只需要在调用的时候加入另外一个参数。可以在当前文件夹存下日志信息到prof文件中。

profile.run(“fun()”, filename=”result.prof”)

命令行分析

如果不想在程序中调用profile库使用，可以在命令行使用命令。

运行命令查看性能分析结果

python -m cProfile test.py

将性能分析结果保存到result文件

python -m cProfile -o result.prof test.py

读取prof文件中的分析日志

可以用 pstats 读取prof文件中的日志

import pstats
p=pstats.Stats('result.prof')
p.sort_stats('time').print_stats()

可视化

比较推荐的是使用 snakeviz可视化代码运行时间官网：https://jiffyclub.github.io/snakeviz/

安装 snakeviz

pip install snakeviz

运行Python代码的同时用cProfile保存运行时间数据

注意：要用cProfile，使用 profile 会导致 snakeviz 无法读取日志 相关错误信息：

Traceback (most recent call last):
  File ".../site-packages/tornado/web.py", line 1413, in _execute
    result = method(*self.path_args, **self.path_kwargs)
  File ".../site-packages/snakeviz/main.py", line 30, in get
    table_rows=table_rows(s), callees=json_stats(s))
  File ".../site-packages/snakeviz/stats.py", line 65, in json_stats
    (keyfmt(*ck), list(cv)) for ck, cv in stats.stats[k][-1].items())
  File ".../site-packages/snakeviz/stats.py", line 65, in <genexpr>
    (keyfmt(*ck), list(cv)) for ck, cv in stats.stats[k][-1].items())
TypeError: 'int' object is not iterable