推翻剪枝固有观点？清华、伯克利提出NN过参数化真的不重要(4)

4.2 自动发现的目标架构 [原文来自：www.11jj.com]

[好文分享：www.11jj.com]

表 4：Network Slimming (Liu et al., 2017) 的（准确率）结果。「Prune Ratio」表示整个网络中被剪掉的通道的比例。每个模型的 Prune Ratio 都和原论文一致。

4.3 向目标检测任务的迁移学习

表 7：剪枝在检测任务上的（mAP）结果。剪枝后的模型来自于 Li et al. (2017)。Prune-C 指在分类预训练权重上剪枝，Prune-D 指在迁移至检测任务之后的权重上进行剪枝。Scratch-E/B 表示从头开始在分类任务上预训练剪枝后的模型，然后迁移至检测任务。

5 用网络剪枝进行架构搜索

图 3：不同方法的剪枝后架构，所有模型都是从头训练的，平均运行 5 次。自动剪枝方法（左：Network Slimming (Liu et al., 2017)，右：非结构化剪枝 (Han et al., 2015)）获得的架构比在整个网络中均匀修剪通道或稀疏权重的方法具备更高的参数效率。

剪枝后架构的设计原则

如果自动发现的架构参数效率更高，研究者可能会想：可以从中得出如何设计更好架构的普遍原则吗？为解答该问题，我们分别对 Network Slimming 和非结构化剪枝进行了两次实验，使用的数据集分别是 VGG-19 和 CIFAR-100。

对于 Network Slimming，我们使用剪枝后架构每个层阶段（具备相同特征图大小的层）的平均通道数来构建新的架构集合，我们将该方法称为「Guided Pruning」；对于非结构化剪枝，我们分析了剪枝后架构的稀疏度模式（图 4），并用它们构建新的稀疏模型集合，我们将该方法称为「Guided Sparsifying」，结果见图 5。可以看到对于 Network Slimming（左）和非结构化剪枝（右），指导设计出的架构（绿色）性能与剪枝后架构（蓝色）不相上下。

图 4：VGG-16 的非结构化剪枝模型中特定层阶段的 3×3 卷积核的平均稀疏度模式。颜色越深表示权重被保留的概率越高。