以下是PyTorch在Ubuntu上的模型训练与调优技巧：
DataLoader的num_workers参数启用多线程加载，设置pin_memory=True和prefetch_factor来优化数据传输。torch.cuda.amp模块，通过autocast和GradScaler实现，减少内存占用并加速计算。torch.nn.DataParallel或torch.nn.parallel.DistributedDataParallel进行多GPU训练，注意分布式训练需正确设置环境变量和进程组。torch.optim.lr_scheduler中的调度器，如StepLR、LambdaLR等，动态调整学习率。torch.profiler分析模型性能瓶颈，针对性优化。
