推翻剪枝固有观点?清华、伯克利提出NN过参数化真的不重要

机器之心报道 [原创文章:www.11jj.com]

机器之心编辑部

[好文分享:www.11jj.com]

刚刚,reddit 上出现了一篇关于论文《Rethinking the Value of Network Pruning》的讨论,该论文的观点似乎与近期神经网络剪枝方面论文的结论相矛盾。这非常令人惊讶,它甚至会改变我们对神经网络的固有观点,即神经网络的过参数化对模型训练与拟合是有益的。

针对该论文,一些网友提出了自己的看法。

@jiecaoyu:

这个结果倒蛮有趣。它有助于为网络压缩找到一些新的东西。然而,目前我认为它不会改变工作流程。因为基本上,重新训练仍是必需的,而对训练好的模型进行剪枝可以减少再次训练的时间。

 @rantana:

对于任何使用该论文「PREDEFINED TARGET ARCHITECTURES」部分所述方法的工作流程来说,训练大型模型实在没有必要,因为目标模型的总训练时间更少,工作流程总体来说也更简单。在「Generalizable Design Principles from Pruned Architectures」中,作者构建了针对预定义目标架构和非结构化剪枝方法可以从头开始训练的架构。因此,在这两种情况下,大型的架构都没有什么意义(对预定义的情况来说尤其如此)。

也有网友指出了该论文存在的一些问题:

@M4mb0:

我读了摘要,感觉作者似乎忽略了很重要的一点:在没做出模型之前,我们并不知道究竟多大的网络比较合适,因此一种简单的做法就是先训练一个过大的网络,再通过 dropout、剪枝等操作对其进行调整。

在该论文 ICLR 2019 的双盲审评论区,论文「ThiNet」的一作 Jian-Hao Luo 和论文「通道剪枝」的一作 Yihui He 提出了修改意见。Jian-Hao Luo 分别对表 2 中 VGG-16 和 ResNet-50 的结果提出了质疑,但同时也认为这是一篇「Interesting paper」,研究社区应该对「剪枝」方法和「从零开始训练」方法进行更深入的思考。Yihui He 要求作者修改表 1、表 2 和表 4 中关于 VGG-16 的准确率结果。作者也向他们作出了积极的回应。


推翻剪枝固有观点?清华、伯克利提出NN过参数化真的不重要

自媒体 微信号:11jj 扫描二维码关注公众号
爱八卦,爱爆料。

小编推荐

  1. 1

    燕窝有营养价值吗(燕窝的功效与作用及营养)

    大家好,小美今天来为大家解答燕窝有营养价值吗以下问题,燕窝的功效与作用及营养很多人还不知道,现在让我们一起来看看吧!1、燕窝含有丰富

  2. 2

    绝望表情包(绝望表情包搞笑图片)

    大家好,小伟今天来为大家解答绝望表情包以下问题,绝望表情包搞笑图片很多人还不知道,现在让我们一起来看看吧!1、我能怎么办啊我也很绝望

  3. 3

    和平精英怎么换头像qq(和平精英怎么换头像QQ登录)

    大家好,小美今天来为大家解答和平精英怎么换头像qq以下问题,和平精英怎么换头像QQ登录很多人还不知道,现在让我们一起来看看吧!1、点击《和

  4. 4

    副镇长是什么级别(直辖市副镇长是什么级别)

    大家好,小伟今天来为大家解答副镇长是什么级别以下问题,直辖市副镇长是什么级别很多人还不知道,现在让我们一起来看看吧!1、副镇长是副科

  5. 5

    用典型事例写一个人(用典型事例写一个人的品质)

    大家好,小美今天来为大家解答用典型事例写一个人以下问题,用典型事例写一个人的品质很多人还不知道,现在让我们一起来看看吧!1、第一,选择

  6. 6

    双色球有规律(双色球有规律吗新闻)

    大家好,小乐今天来为大家解答双色球有规律以下问题,双色球有规律吗新闻很多人还不知道,现在让我们一起来看看吧!1、双色球开奖有一定的规

  7. 7

    买汽车配件哪个平台好(买汽车配件哪个平台好一点)

    大家好,小娟今天来为大家解答买汽车配件哪个平台好以下问题,买汽车配件哪个平台好一点很多人还不知道,现在让我们一起来看看吧!1、买汽车

  8. 8

    时间定了!要涨?

    2024年的第7次油价调整将于4月1日晚上开启估计本轮油价将大几率上涨,92号汽油生怕要冲破8元/升!3月23日,国内第4个工作日参考原油转变率4.12%,

Copyright 2024.依依自媒体,让大家了解更多图文资讯!