Python3 列表解析和迭代器的内存占用过程分析

列表解析表达式

先来看一个例子~ Leetcode 171 题
解法很简单:

sum = 0
for i in range(0, len(s):
	sum += 26 ** (len(s) - 1 - i) * (ord(s[i]) - ord("A") + 1)
return sum

那么,这里也可以这么写。

return sum([26 ** (len(s) - 1 - i) * (ord(s[i]) - ord("A") + 1) for i in range(0, len(s))])

下面的简写方法,我们称作 python的列表解析表达式 。酷酷的 o(╥﹏╥)o有没有

再来延伸看一下这么写的好处(内存占用)

上代码:

import timeit
import os
import psutil
# 准备一个5000w 元素的列表 备用
list = range(0, 50000000)

# 计算占用内存
def show_memory_info(hint):
    pid = os.getpid()
    p = psutil.Process(pid)

    info = p.memory_full_info()
    memory = info.uss / 1024. / 1024
    print('{} memory used: {} MB'.format(hint, memory))

# 时间
start1 = timeit.default_timer()
# 1.普通方法遍历元素,append 到新列表
list1 = []
for x in (list):
    if x == 20000000:
        show_memory_info('1')
    if x > 4:
        list1.append(x)
show_memory_info('2')
end1 = timeit.default_timer()
print('Running time: {} Seconds'.format(end1 - start1))

start2 = timeit.default_timer()

show_memory_info('3')
# 2. 生成器生成元素到新列表,注意这里没有赋值到新列表
(x for x in (list) if x > 4)
show_memory_info('4')
end2 = timeit.default_timer()
print('Running time: {} Seconds'.format(end2 - start2))

运行程序,得到的结果如下:

1 memory used: 783.5625 MB
2 memory used: 1945.28125 MB
Running time: 11.129049652 Seconds
3 memory used: 1945.28125 MB
4 memory used: 1945.28125 MB
Running time: 0.09404864300000071 Seconds

关注几点:

  1. 时间上的差别1:普通遍历时间为9秒,而生成器遍历 (没有创建新列表时间为0.09秒),这个原因在我之前的迭代和生产的对比 博客也写过了,是因为只调用了算法

  2. 时间上的差别2: 如果我把 list1.apped 给删除了,也就是普通遍历的append 操作删除了,时间是 6s 左右 ,看来普通遍历确实要比生成器占用更多的内存(废话),时间也更长

  3. 时间上的关注点3:如果我把生成器赋值 list2 = (x for x in (list) if x > 4) ,这段代码的时间是4秒。 可得出,生成器本身生生成元素只是调用了算法,而并未赋值(实际占用内存)

  4. 内存上的关注点: 同3所说,生成器赋值才产生内存占用,故而更快。

思考

语法糖其实是迭代的一个延伸,合理的运用不仅可以使代码变酷,让别人看不懂,也是可以优化程序运行速度和内存占用的。

相关推荐
©️2020 CSDN 皮肤主题: 数字20 设计师:CSDN官方博客 返回首页