深度 | BatchNorm是如何在深度学习优化过程中发挥作用的？(3)

[原创文章：www.11jj.com]

图中蓝色线为添加了BatchNorm的结果，右侧描述了对应Internal covariate shift的变化。
[转载出处：www.11jj.com]

 

那BatchNorm究竟发挥了什么作用呢？

事实上，我们确定了BatchNorm对训练过程的关键影响：它对底层优化问题再参数化，使其解空间更加平滑。首先，损失函数的Lipschitzness得到改进，即损失函数能以较小的速率变化，梯度的幅度也变小。然而效果更强，即BatchNorm的再参数化使损失函数的梯度更加Lipschitz，就有着更加“有效”的β-smoothness。这些平滑效果对训练算法的性能起到主要的影响。改进梯度的Lipschitzness使我们确信，当我们在计算梯度的方向上采取更大步长时，此梯度方向在之后仍是对实际梯度方向的精准估计。

因此，它能使任何基于梯度的训练算法采取更大的步长之后，防止损失函数的解空间突变，既不会掉入梯度消失的平坦区域，也不会掉入梯度爆炸的尖锐局部最小值。这也就使得我们能够用更大的学习速率，并且通常会使得训练速度更快而对超参数的选择更不敏感。因此，是BatchNorm的平滑效果提高了训练性能。

为了证明BatchNorm对损失函数稳定性的影响，即Lipschitzness，对训练过程中每步，我们计算损失函数的梯度，并测量当我们朝梯度方向移动时损失函数如何变化。见下图中（a），我们看到，与用BatchNorm的情况相反，vanilla网络的损失函数的确有着大幅波动，特别是在训练的初始阶段。同样为了证明BatchNorm对损失函数的梯度稳定性/ Lipschitzness影响，我们在下图中（b）绘制了vanilla网络和BatchNorm 整个训练过程中的“有效”β-smoothness（“有效”在这里指，朝梯度方向移动时测量梯度的变化），结果差异性很大。

为了进一步说明梯度稳定性和预测性的增加，我们测量在训练给定点处的损失梯度与沿着原始梯度方向的不同点对应的梯度之间的L2距离。如下图中（c）显示了vanilla网络和BatchNorm网络之间的这种梯度预测中的显着差异（接近两个数量级）。我们还考察了线性深度网络，BatchNorm也有着很好的平滑效果。要强调的是，即使我们值集中探索了沿着梯度方向的损失解空间情况，对于其他任意方向，也有一致的结论。