深度 | BatchNorm是如何在深度学习优化过程中发挥作用的？(4)

文中从理论上论证了增加BatchNorm可以降低参数的灵敏度，并很好的改善优化问题的解空间。 [好文分享：www.11jj.com]

[本文来自：www.11jj.com]

不同norm下VGG网络的激活直方图

那么BatchNorm是平滑解空间最好且唯一的方法吗？答案当然不是，作者研究了一些基于自然数据统计的正则化策略，类似BatchNorm修正激活函数一阶矩的方案，用p范数均值进行正则化。不同的是，对于这些正则化方案，层输入的分布不再是高斯（见上图）。因此，用这种p范数进行正则化并不能保证对分布矩和分布稳定性有任何控制。实验结果如下图所示，可以观察到所有的正则化方法都提供了与BatchNorm相媲美的性能。事实上，对于深度线性网络来说，"L1正则化表现的要比BatchNorm更好。

值得注意的是，p范数正则化方法会导致更大的分布covariate shift。但所有这些技术都提高了解空间的平滑度，这点与BatchNorm的效果相似。以上表明BatchNorm对训练的积极影响可能实属偶然。因此，对类似的正则化方案的设计进行深入探索十分有必要，可以为网络训练更好的性能。

 

综上所述，作者研究了BatchNorm能提高深度神经网络训练有效性的根源，并发现BatchNorm与internal covariate shift之间的关系是微不足道的。特别是，从优化的角度来看，BatchNorm并不会减少internal covariate shift。相反，BatchNorm对训练过程的关键作用在于其重新规划了优化问题，使其Lipschitzness稳定和β-smoothness更有效，这意味着训练中使用的梯度更具有良好的预测性和性能，从而可以更快速、有效地进行优化。