如何优化Python内存占用

优化 Python 内存占用可以从代码层面、数据结构、运行环境、工具分析等多个角度入手。下面按实用程度分层说明，并给出示例。

一、先搞清楚“内存去哪了”

在优化前，一定要先量化内存使用：

• memory_profiler：逐行分析内存

pip install memory-profiler

from memory_profiler import profile

@profile
def foo():
    a = [i for i in range(10**6)]
    return a

• sys.getsizeof()：看对象大小

import sys
print(sys.getsizeof([1,2,3]))

• tracemalloc：定位内存分配来源

import tracemalloc
tracemalloc.start()
# ...
snapshot = tracemalloc.take_snapshot()

二、数据结构层面的优化（最有效）

1. 用生成器代替列表

# 占用大
nums = [i*i for i in range(10**7)]

# 优化
nums = (i*i for i in range(10**7))

2. 使用更省内存的数据结构

• array 代替 list

from array import array
a = array('i', range(1000000))

• numpy.ndarray（数值计算）

import numpy as np
a = np.arange(10**6, dtype=np.int32)

• tuple 比 list 省

point = (1, 2)

三、避免不必要的对象复制

1. 切片会复制

b = a[:]  # 复制
b = a     # 引用

2. 使用视图而非副本（numpy / pandas）

df_view = df.loc[:, ['col1']]

四、及时释放内存

1. 删除大对象

del large_list
import gc
gc.collect()

2. 控制作用域

def process():
    big = load_big()
    result = big[:10]
    return result
# big 在函数结束自动释放

五、使用更高效的对象表示

1. __slots__ 减少对象开销

class Point:
    __slots__ = ['x', 'y']
    def __init__(self, x, y):
        self.x = x
        self.y = y

2. 用 namedtuple / dataclass(slots=True)

from dataclasses import dataclass

@dataclass(slots=True)
class User:
    id: int
    name: str

六、处理大文件 / 大数据

1. 流式读取

with open('big.txt') as f:
    for line in f:
        process(line)

2. pandas 分块

for chunk in pd.read_csv('big.csv', chunksize=10000):
    process(chunk)

七、进程与内存管理策略

• 多进程 + 及时退出（避免内存累积）
• 使用 resource.setrlimit（Linux）
• 使用 mmap 处理超大文件

import mmap
with open('big.bin', 'rb') as f:
    m = mmap.mmap(f.fileno(), 0, prot=mmap.PROT_READ)

八、极致优化（特定场景）

• pypy：自动优化内存 & 速度
• Cython / Rust 扩展
• 使用 sqlite / hdf5 代替内存数据

九、常见内存陷阱

• 闭包引用大对象
• 全局变量长期存在
• 缓存未限制大小（functools.lru_cache(maxsize=...)）
• 循环中不断 append 到 list

如果你愿意，可以告诉我：

• 是 Web 服务 / 数据分析 / 爬虫 / ML 哪类场景？
• 当前内存瓶颈在哪（list / pandas / 对象太多）？

我可以给你 针对性优化方案或代码重构示例。