Pytorch图像去噪实战（三十四）：GroupNorm替代BatchNorm，解决小Batch图像去噪训练不稳定问题

Pytorch图像去噪实战（三十四）：GroupNorm替代BatchNorm，解决小Batch图像去噪训练不稳定问题一、问题场景：batch size太小，BatchNorm反而拖后腿训练图像去噪模型时，很多网络都会写：nn.BatchNorm2d(channels)在分类任务中，BatchNorm非常常见。但在图像去噪任务中，尤其是 batch size 很小时，我经常遇到：loss 震荡输出亮度不稳定推理结果发灰同一张图多次测试效果不一致训练集效果好，验证集不稳定后来定位发现，问题出在 BatchNorm。当 batch size 很小，比如 1、2、4 时，BatchNorm 的统计量不稳定，反而影响图像恢复质量。解决方案：使用 GroupNorm 替代 BatchNorm。