是什么占据了这个循环中的记忆？
我在玩memory_profiler包(从pip下载)，更具体地说，我看通过先创建一个临时列表来循环列表的内存效率，而不是通过“迭代器列表”循环。
这是我不久前遇到的一个问题，我想对我的解决方案进行基准测试。问题是，我需要将列表中的每个元素与同一列表中的下一个元素进行比较，直到所有元素都被“处理”为止。因此，我猜这将是一个O(n^2)解决方案(如果选择了最天真的解决方案，对于list中的每个元素，通过list循环)。
无论如何，下面的三个函数都在做相同的事情(或多或少)；在一个列表上循环，这个列表被自己抵消了。
import cProfile
@profile
def zips():
li = range(1,20000000)
for tup in zip(li,li[1:]):
pass
del li
@profile
def izips():
from itertools import izip
li = range(1,20000000)
for tup in izip(li,li[1:]):
pass
del li
@profile
def izips2():
from itertools import izip
li = range(1,20000000)
for tup in izip(li,li[1:]):
del tup
del li
if __name__ == '__main__':
zips()
# izips()
# izips2()令人惊讶的部分(对我来说)是内存的使用，首先我运行zip()函数，虽然我认为我确实清理了，但最终我仍然在内存中获得了~1.5GB的内存：
ipython -m memory_profiler python_profiling.py
Filename: python_profiling.py
Line # Mem usage Increment Line Contents
================================================
10 @profile
11 27.730 MB 0.000 MB def zips():
12 649.301 MB 621.570 MB li = range(1,20000000)
13 3257.605 MB 2608.305 MB for tup in zip(li,li[1:]):
14 1702.504 MB -1555.102 MB pass
15 1549.914 MB -152.590 MB del li然后关闭解释器实例并重新打开它以运行下一个测试，即izips()函数：
ipython -m memory_profiler python_profiling.py
Filename: python_profiling.py
Line # Mem usage Increment Line Contents
================================================
17 @profile
18 27.449 MB 0.000 MB def izips():
19 27.449 MB 0.000 MB from itertools import izip
20 649.051 MB 621.602 MB li = range(1,20000000)
21 1899.512 MB 1250.461 MB for tup in izip(li,li[1:]):
22 1746.922 MB -152.590 MB pass
23 1594.332 MB -152.590 MB del li最后，我运行了一个测试(在中间重新启动解释器之后)，我试图显式删除for-循环中的元组，以确保它的内存被释放(也许我没有正确地考虑)。事实证明，这并没有什么不同，所以我猜测，要么我没有提示GC，要么这不是我内存开销的来源。
ipython -m memory_profiler python_profiling.py
Filename: python_profiling.py
Line # Mem usage Increment Line Contents
================================================
25 @profile
26 20.109 MB 0.000 MB def izips2():
27 20.109 MB 0.000 MB from itertools import izip
28 641.676 MB 621.566 MB li = range(1,20000000)
29 1816.953 MB 1175.277 MB for tup in izip(li,li[1:]):
30 1664.387 MB -152.566 MB del tup
31 1511.797 MB -152.590 MB del li底线:我认为for循环本身的开销是最小的，因此，我期望的是略多于620.000 MB (存储列表所需的内存)，但是看起来我的内存中有两个大小为20.000.000的列表+更多的开销。有人能帮我解释一下这些内存是用来做什么的吗？(在每次运行结束时，这个~1.5GB的容量是多少？)
回答 1
Stack Overflow用户
发布于 2013-09-02 08:39:53
请注意，操作系统以块的形式分配内存，而不一定一次收回所有内存。我发现内存分析包非常不准确，因为它似乎没有考虑到这一点。
您的li[1:]片创建了一个包含(2*10**7) -1元素的新列表，几乎是一个全新的副本，可以轻松地加倍列表所需的内存空间。zip()调用还返回一个完整的新list对象，即压缩操作的输出，再次需要中间结果的内存，加上2000万个元素元组。
您可以使用一个新的迭代器而不是切片：
def zips():
from itertools import izip
li = range(1,20000000)
next_li = iter(li)
next(next_li) # advance one step
for tup in izip(li, next_li):
pass
del li从iter()调用返回的列表迭代器的重量要轻得多；它只保留对原始列表和指针的引用。将此与izip()相结合也可以避免创建输出列表。
https://stackoverflow.com/questions/18568564
复制相似问题
腾讯云开发者
