以下是在Ubuntu上进行PyTorch分布式训练的指南：
pip install torch torchvision torchaudio安装PyTorch。dist.init_process_group，指定backend（如nccl）、init_method（如tcp://主节点IP:端口）、world_size和rank。DistributedDataParallel包装模型，如model = DDP(model, device_ids=[rank])。DistributedSampler包装数据集，如train_sampler = DistributedSampler(train_dataset)。torch.distributed.launch，命令为python -m torch.distributed.launch --nproc_per_node=GPU数量 --nnodes=节点数 --node_rank=当前节点排名 --master_addr=主节点IP --master_port=端口号 脚本.py。accelerate库，先安装pip install accelerate，再运行accelerate launch 脚本.py。
