使用DPP进行多卡训练报错

[zhangchi9]

首先非常感谢开源这个库，受益匪浅。

我用单卡训练没有问题，但是尝试多卡训练的时候报错，具体信息：
OS：Window 11
Driver Version: 560.94
CUDA Version: 12.6
显卡：3080 + 3060
运行指令：torchrun --nproc_per_node 2 1-pretrain.py
Error： RuntimeError: use_libuv was requested but PyTorch was build without libuv support

请问这种情况要怎么解决呢？ 谢谢

[heliar-k]

目前看来，pytorch在windows下支持分布式训练比较差，目前并没有一个通用解决方法，可以参考下面这两个链接
https://discuss.pytorch.org/t/how-to-enable-libuv-with-pytorch-on-windows/208836
https://discuss.ray.io/t/executing-ray-train-with-pytorch/21363/2

PS: 或许也可以考虑在wsl里面运行

[jingyaogong]

目前看来，pytorch在windows下支持分布式训练比较差，目前并没有一个通用解决方法，可以参考下面这两个链接 https://discuss.pytorch.org/t/how-to-enable-libuv-with-pytorch-on-windows/208836 https://discuss.ray.io/t/executing-ray-train-with-pytorch/21363/2

PS: 或许也可以考虑在wsl里面运行

yes，建议安装wsl，可参考。 @zhangchi9

[zhangchi9]

感谢 @heliar-k 和 @jingyaogong 的建议，在window11 下安装wsl 成功运行DPP。

具体步骤：

• 用admin 打开terminal
• 运行 wsl --install
• 记得enable CPU virtualization in the BIOS. 否则安装会报错