1. 优化Python代码本身
cProfile(内置工具,生成性能报告)、line_profiler(逐行分析函数耗时)、memory_profiler(监控内存使用)等工具,识别代码中的慢函数、高频调用或内存泄漏点。例如,python3 -m cProfile -o profile.out script.py生成报告后,用python3 -m pstats profile.out查看详细统计。set)进行成员资格测试(时间复杂度O(1)),而非列表(O(n));处理大规模数据时,用生成器表达式((x*x for x in range(1000)))替代列表推导式([x*x for x in range(1000)]),减少内存占用;数值计算优先使用NumPy的向量化操作(如np.dot(a, b)),避免Python循环的低效。expensive_calculation()移出循环);使用内置函数(如sum()、map())替代自定义循环(内置函数用C实现,速度更快);减少模块和函数属性访问(如用from module import func替代module.func),降低查找开销。asyncio(异步IO)或ThreadPoolExecutor(多线程)实现并行;CPU密集型任务(如数值计算)用multiprocessing(多进程)绕过GIL限制。例如,asyncio.run(main())可并发执行多个IO任务,ThreadPoolExecutor(max_workers=4).map(process_data, data_list)可并行处理数据。2. 优化Python环境配置
--enable-optimizations编译选项提升执行速度)。在Debian上可通过sudo apt update && sudo apt install build-essential libssl-dev libffi-dev zlib1g-dev安装依赖,下载Python源码(如wget https://www.python.org/ftp/python/3.12.0/Python-3.12.0.tgz),编译时添加./configure --enable-optimizations && make altinstall启用优化。python3 -m venv myenv创建虚拟环境,source myenv/bin/activate激活后安装项目依赖(pip install package_name),避免全局包版本冲突导致的性能问题或兼容性问题。pip install --no-compile禁用字节码编译(节省编译时间);用uv(Rust编写的pip替代工具)替代pip,支持并行下载和默认禁用字节码编译,提升包安装速度。3. 使用高性能工具与扩展
.pyx文件),通过setup.py编译为C扩展(python3 setup.py build_ext --inplace),提升执行速度(可接近C语言性能)。例如,my_module.pyx中的def my_function(int a, int b): return a + b可编译为C扩展。sudo apt install pypy3安装,直接运行脚本(pypy3 script.py)即可享受加速。import numpy as np; a = np.array([1,2,3]); b = np.array([4,5,6]); c = a + b比原生列表相加更快。4. 系统级优化
ulimit -n 4096增加文件描述符限制(默认1024可能不足),避免高并发时出现“Too many open files”错误;调整内核参数(如sysctl -w net.core.somaxconn=1024提升TCP连接队列长度),优化网络性能。