Python知识图谱：性能优化技巧有哪些

Python性能优化技巧体系化指南

1. 性能分析与瓶颈定位

优化前需先识别代码中的性能瓶颈，避免盲目修改。常用工具包括：

• cProfile：Python内置的性能分析工具，可统计函数调用次数、执行时间及占比。例如通过cProfile.run("my_function()")生成报告，再用pstats.Stats排序分析（按时间排序）。
• line_profiler：逐行分析代码性能，精准定位耗时行（需安装pip install line_profiler）。
• timeit：测量小段代码的执行时间，避免人为计时误差（如%timeit在IPython中的魔法命令）。

2. 数据结构优化

选择合适的数据结构是提升性能的关键，不同结构的操作复杂度差异大：

• 查找操作：优先使用集合（Set）或字典（Dict）（O(1)时间复杂度），而非列表（O(n)）。例如检查元素是否存在时，if x in set比if x in list快得多。
• 大规模数据：使用**生成器（Generator）**替代列表，避免一次性加载所有数据到内存（如yield关键字或itertools模块）。
• 预分配内存：对于已知大小的序列，使用array.array或numpy数组预分配内存，减少动态扩容的开销。

3. 算法与代码结构优化

• 算法复杂度：选择高效的算法（如二分查找替代线性查找、哈希表替代嵌套循环），将时间复杂度从O(n²)降低到O(n log n)或O(n)。
• 内置函数与库：优先使用Python内置的高效函数（如map()、filter()、sum()），其底层用C实现，比手写循环快。例如[x**2 for x in nums]（列表推导式）比for循环更快。
• 避免全局变量：局部变量访问速度比全局变量快，尽量将变量定义在函数内部，减少全局变量的使用。

4. 并发与并行处理

根据任务类型选择合适的并发模型，提升多核利用率：

• I/O密集型任务（如文件读写、网络请求）：使用多线程（threading）或异步编程（asyncio）。多线程通过threading.Thread创建线程池，异步编程用async/await语法避免阻塞。
• CPU密集型任务（如数值计算、图像处理）：使用**多进程（multiprocessing）**绕过GIL限制，利用多核CPU并行计算（如multiprocessing.Pool的map方法）。

5. 利用优化库与工具

• 数值计算：使用NumPy替代原生列表进行数组运算，NumPy的底层用C实现，支持向量化操作，速度快。
• 数据处理：使用Pandas处理结构化数据，其内置的优化算法（如快速排序、哈希表）比原生代码高效。
• 编译加速：使用Cython将Python代码编译为C扩展，或使用PyPy（带JIT编译器的Python实现）运行代码，提升执行速度。

6. 内存管理优化

• 避免不必要的复制：使用切片（old_list[:]）、视图（如dict.values()）或迭代器，而非list(old_list)这样的深拷贝。
• 及时释放资源：使用del语句删除不再使用的对象，配合gc.collect()手动触发垃圾回收，减少内存泄漏。
• 选择高效容器：优先使用元组（Tuple）替代列表（List）（元组是不可变的，创建和访问更快），或collections.deque替代列表（deque在两端插入/删除的时间复杂度为O(1)，而列表为O(n)）。

7. 高级优化技巧

• Cython集成：将Python代码编译为C扩展，提升计算密集型任务的性能（如用%%cython魔法命令或编写.pyx文件）。
• PyPy替代CPython：PyPy的JIT（即时编译）技术可将热点代码编译为机器码，提升执行速度（尤其适合长期运行的程序）。
• 字符串连接优化：使用"".join(list_of_strings)替代+或+=操作（join方法预先计算总长度，减少内存分配次数）。