ARTICLE DETAIL

资讯详情

深耕网站建设与运营推广的一线实战洞察。

多级多卡训练模型时有些参数没有参与loss计算和梯度更新的解决办法

多级多卡训练模型时有些参数没有参与loss计算和梯度更新的解决办法

在运行程序的bash命令中添加 export TORCH_DISTRIBUTED_DEBUG=DETAIL ,这样就可以在log或终端打印没有参与loss计算的权重参数了。

 

返回列表