推翻剪枝固有观点？清华、伯克利提出NN过参数化真的不重要(7)

2018-10-22 18:35:23

给定预训练的大模型，且几乎没有训练预算的情况； [原创文章：www.11jj.com]

[转载出处：www.11jj.com]

需要获取不同大小的多个模型，在这种情况下研究者可以训练一个大模型，然后按不同比例进行修剪。

总之，我们的实验展示了从头训练小型剪枝后模型几乎总能得到与按照经典「训练、剪枝、微调」步骤训练出的模型相当或更高的准确率。这改变了我们对过参数化必要性、继承权重有效性的理解。我们进一步展示了自动剪枝算法的价值，它可以用于寻找高效架构和提供架构设计原则。推翻剪枝固有观点？清华、伯克利提出NN过参数化真的不重要(7)

参考内容：https://www.reddit.com/r/MachineLearning/comments/9q5t92/r_recent_rethinking_the_value_of_network_pruning/

本文为机器之心报道，转载请联系本公众号获得授权。

✄------------------------------------------------

加入机器之心（全职记者 / 实习生）：hr@jiqizhixin.com

投稿或寻求报道：content@jiqizhixin.com

广告 & 商务合作：bd@jiqizhixin.com

上一篇：专访Michael Jordan：AI的分布式决策与不确定性
下一篇：中国电信的全新分公司或将浮出水面

小编推荐

1
本周天气上新！有风有雨有浮尘~
新的一周又起头啦本周仍会有大风、浮尘、降水天色将对平常生活和农业生产造成影响请做好防护具体若何？一路来看↓↓↓将来一周天色估计：1
2
这些古诗句富有哲理，写议论文真好用，快摘抄！
这部门内容节选自寨主作文资料，迎接在文末订购全套资料！1.已识乾坤大，犹怜草木青。（马一浮）适用主题：软和硬寨主示范：哪怕是猛火焚烧、
3
雷雨+冰雹+大风返场！广东将有强对流天气，南雄将迎来中雨、局部大雨
热҉热҉热҉热҉热҉这几天广东气温狂飙多地打破30℃想必这初夏的“魅力”人人都已感触到了短袖、短裤、空调是要成为广东人比来的标配了?注重！
4
痛别！著名演员去世！曾带来无数笑声
起原：北京戏曲曲艺圈、北京曲艺大观园、北京电视台文艺频道、央广网、新京报、新浪微博等4月14日，北京曲艺团有名相声表演艺术家陈涌泉家人
5
以色列：将对伊朗做出前所未有的反应
本地时间14日，一名以色列高级官员透露，他承诺将对伊朗的袭击做出“空前未有的回响”，并催促以色列人不要睡眠，以目睹德黑兰即将发生的事情
6
【创建全国文明城市】公益广告：“课本封面”文明礼仪
起原：文明一号快长按二维码存眷松原发布中共松原市委宣传部主办
7
周凯（周楷恒身高）
大家好，小丽今天来为大家解答周凯以下问题，周楷恒身高很多人还不知道，现在让我们一起来看看吧！1、周凯运动生涯介绍 1、2017年1月参加国家队
8
虐心句子（虐心句子）
大家好，小豪今天来为大家解答虐心句子以下问题，虐心句子很多人还不知道，现在让我们一起来看看吧！1、1，忘川之水，在于忘情。2、展开全部

推翻剪枝固有观点？清华、伯克利提出NN过参数化真的不重要(7)

热门文章

小编推荐