推翻剪枝固有观点？清华、伯克利提出NN过参数化真的不重要(2)

论文 ICLR 2019 地址：https://openreview.net/forum?id=rJlnB3C5Ym [转载出处：www.11jj.com]

目前该论文提交到了 ICLR 2019 会议，正处于双盲审阶段，但从 arXiv 上我们可以发现该论文是由清华与加州大学伯克利分校的研究者合作的。机器之心对该论文的核心内容进行了介绍，欢迎大家留言探讨。 [原创文章：www.11jj.com]

1 引言

过参数化是深度神经网络的公认特性（Denton et al., 2014; Ba & Caruana, 2014），该特性导致高计算成本和高内存占用。作为一种补救措施，神经网络剪枝（LeCun et al., 1990; Hassibi & Stork, 1993; Han et al., 2015; Molchanov et al., 2016; Li et al., 2017）可以在计算成本有限的情况下，提高深度网络的效率。网络剪枝的典型过程包括三步：1）训练一个大的过参数化模型，2）根据某个标准修剪训练好的模型，3）微调修剪后的模型，以恢复损失的性能。

图 1：典型的三步网络剪枝步骤。

一般来说，剪枝过程背后有两个共识：一，大家都认为首先训练一个大的过参数化模型很重要（Luo et al., 2017），因为这样会提供高性能模型（更强的表征和优化能力），而人们可以安全地删除冗余参数而不会对准确率造成显著损伤。因此，这种观点很普遍，人们认为该方法比从头开始直接训练更小的网络（一种常用的基线方法）更优秀。二，剪枝后的架构和相关的权重被认为是获得最终高效模型的关键。因此大多现有的剪枝技术选择微调剪枝后的模型，而不是从头开始训练它。剪枝后保留下来的权重通常被视为至关重要，因为准确地选择一组重要的权重并不容易。

在本研究中，我们认为上面提到的两种观点都未必正确。针对多个数据集及多个网络架构，我们对当前最优剪枝算法进行了大量实证评估，得出了两个令人惊讶的观察结果。首先，对于具备预定义目标网络架构的剪枝算法（图 2），从随机初始化直接训练小目标模型能实现与使用经典三步流程相同的性能。在这种情况下，我们不需要从训练大规模模型开始，而是可以直接从头训练剪枝后模型。其次，对于没有预定义目标网络的剪枝算法，从头开始训练剪枝后的模型也可以实现与微调相当甚至更好的性能。

这一观察结果表明，对于这些剪枝算法而言，重要的是获得的网络架构而不是保留的权重，尽管这些目标架构还是需要训练大模型才能获得。我们的结果和文献中结果的矛盾之处在于超参数的选择、数据增强策略和评估基线模型的计算力限制。

图 2：预定义和未预定义（自动发现）的目标架构之间的区别。稀疏度 x 是用户指定的，a、b、c、d 由剪枝算法决定。

该论文的结果表明，我们需要重新审视现有的网络剪枝算法。第一阶段的过参数化似乎不像之前想象得那么有效。此外，继承大模型的权重不一定是最优选择，而且可能导致剪枝后的模型陷入局部极小值，即使这些权重按剪枝标准来看是「重要的」。该论文的结果显示自动剪枝算法的价值可能在于识别高效结构、执行隐性架构搜索，而不是选择「重要的」权重。

论文：Rethinking the Value of Network Pruning