Dali杂货铺🐰6——torch 分布式训练(多GPU)注意事项

"深度学习, 分布式训练, 多GPU"

Posted by fuhao7i on January 26, 2021

1. ‘SyncBN’: nn.SyncBatchNorm

warning: 当单块GPU训练torch模型时,如果程序内含有SyncBN会报错误: AssertionError: Default process group is not initialized

#. 引用

  1. pytorch指定gpu训练_PyTorch多GPU并行训练方法及问题整理