pytorch 进行分布式调试debug torch.distributed.launch 三种方式

在PyTorch中使用torch.distributed.launch来启动分布式训练时，可以进行三种方式的分布式调试：

1. 环境变量：通过设置环境变量来启动并调试分布式进程。
2. 日志和打印：在代码中添加日志和打印语句来调试。
3. 远程调试：使用远程调试工具如PyCharm Professional Edition进行调试。

下面是使用这三种方式进行分布式调试的简要说明和示例代码：

方式一：通过设置环境变量

在启动脚本之前，可以设置环境变量来启动并调试分布式进程。例如，可以设置RANK, MASTER_ADDR, MASTER_PORT等环境变量来指定进程的rank，以及master节点的地址和端口。

# 在shell中设置环境变量并运行
export RANK=0
export MASTER_ADDR="localhost"
export MASTER_PORT="12345"
python -m torch.distributed.launch --nproc_per_node=2 your_script.py

方式二：添加日志和打印语句

在代码中，可以添加日志和打印语句来输出重要信息，帮助调试。

import torch
import os
 
def main():
    rank = int(os.environ["RANK"])
    print(f"Rank: {rank}")
    # 初始化分布式环境
    dist.init_process_group("nccl", rank=rank, world_size=2)
    # 模型定义、数据加载和训练代码
 
if __name__ == "__main__":
    main()

方式三：使用PyCharm远程调试

PyCharm Professional Edition提供了远程调试功能，可以用来调试在远程服务器上运行的代码。

1. 在PyCharm中打开你的项目。
2. 点击Run -> Edit Configurations...。
3. 在Remote选项卡中，填写远程服务器的主机名或IP地址，以及SSH端口（如果使用SSH连接）和远程Python解释器的路径。
4. 设置远程代码路径和工作目录。
5. 应用并关闭配置编辑窗口。
6. 点击那个带有远程调试符号的Run或Debug按钮开始调试。

注意：这需要PyCharm Professional Edition，它可能需要购买。