首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
社区首页 >问答首页 >是什么占据了这个循环中的记忆?

是什么占据了这个循环中的记忆?
EN

Stack Overflow用户
提问于 2013-09-02 08:20:33
回答 1查看 4.4K关注 0票数 2

我在玩memory_profiler包(从pip下载),更具体地说,我看通过先创建一个临时列表来循环列表的内存效率,而不是通过“迭代器列表”循环。

这是我不久前遇到的一个问题,我想对我的解决方案进行基准测试。问题是,我需要将列表中的每个元素与同一列表中的下一个元素进行比较,直到所有元素都被“处理”为止。因此,我猜这将是一个O(n^2)解决方案(如果选择了最天真的解决方案,对于list中的每个元素,通过list循环)。

无论如何,下面的三个函数都在做相同的事情(或多或少);在一个列表上循环,这个列表被自己抵消了。

代码语言:javascript
代码运行次数:0
运行
复制
import cProfile

@profile
def zips():
    li = range(1,20000000)
    for tup in zip(li,li[1:]):
        pass
    del li

@profile
def izips():
    from itertools import izip
    li = range(1,20000000)
    for tup in izip(li,li[1:]):
        pass
    del li

@profile
def izips2():
    from itertools import izip
    li = range(1,20000000)
    for tup in izip(li,li[1:]):
        del tup
    del li



if __name__ == '__main__':
    zips()
    # izips()
    # izips2()

令人惊讶的部分(对我来说)是内存的使用,首先我运行zip()函数,虽然我认为我确实清理了,但最终我仍然在内存中获得了~1.5GB的内存:

代码语言:javascript
代码运行次数:0
运行
复制
ipython -m memory_profiler python_profiling.py 
Filename: python_profiling.py

Line #    Mem usage    Increment   Line Contents
================================================
    10                             @profile
    11    27.730 MB     0.000 MB   def zips():
    12   649.301 MB   621.570 MB    li = range(1,20000000)
    13  3257.605 MB  2608.305 MB    for tup in zip(li,li[1:]):
    14  1702.504 MB -1555.102 MB        pass
    15  1549.914 MB  -152.590 MB    del li

然后关闭解释器实例并重新打开它以运行下一个测试,即izips()函数:

代码语言:javascript
代码运行次数:0
运行
复制
ipython -m memory_profiler python_profiling.py 
Filename: python_profiling.py

Line #    Mem usage    Increment   Line Contents
================================================
    17                             @profile
    18    27.449 MB     0.000 MB   def izips():
    19    27.449 MB     0.000 MB    from itertools import izip
    20   649.051 MB   621.602 MB    li = range(1,20000000)
    21  1899.512 MB  1250.461 MB    for tup in izip(li,li[1:]):
    22  1746.922 MB  -152.590 MB        pass
    23  1594.332 MB  -152.590 MB    del li

最后,我运行了一个测试(在中间重新启动解释器之后),我试图显式删除for-循环中的元组,以确保它的内存被释放(也许我没有正确地考虑)。事实证明,这并没有什么不同,所以我猜测,要么我没有提示GC,要么这不是我内存开销的来源。

代码语言:javascript
代码运行次数:0
运行
复制
ipython -m memory_profiler python_profiling.py 
Filename: python_profiling.py

Line #    Mem usage    Increment   Line Contents
================================================
    25                             @profile
    26    20.109 MB     0.000 MB   def izips2():
    27    20.109 MB     0.000 MB    from itertools import izip
    28   641.676 MB   621.566 MB    li = range(1,20000000)
    29  1816.953 MB  1175.277 MB    for tup in izip(li,li[1:]):
    30  1664.387 MB  -152.566 MB        del tup
    31  1511.797 MB  -152.590 MB    del li

底线:我认为for循环本身的开销是最小的,因此,我期望的是略多于620.000 MB (存储列表所需的内存),但是看起来我的内存中有两个大小为20.000.000的列表+更多的开销。有人能帮我解释一下这些内存是用来做什么的吗?(在每次运行结束时,这个~1.5GB的容量是多少?)

EN

回答 1

Stack Overflow用户

回答已采纳

发布于 2013-09-02 08:39:53

请注意,操作系统以块的形式分配内存,而不一定一次收回所有内存。我发现内存分析包非常不准确,因为它似乎没有考虑到这一点。

您的li[1:]片创建了一个包含(2*10**7) -1元素的新列表,几乎是一个全新的副本,可以轻松地加倍列表所需的内存空间。zip()调用还返回一个完整的新list对象,即压缩操作的输出,再次需要中间结果的内存,加上2000万个元素元组。

您可以使用一个新的迭代器而不是切片:

代码语言:javascript
代码运行次数:0
运行
复制
def zips():
    from itertools import izip
    li = range(1,20000000)
    next_li = iter(li)
    next(next_li)  # advance one step
    for tup in izip(li, next_li):
        pass
    del li

iter()调用返回的列表迭代器的重量要轻得多;它只保留对原始列表和指针的引用。将此与izip()相结合也可以避免创建输出列表。

票数 3
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/18568564

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档