选自imaddabbura
机器之心编译 [好文分享:www.11jj.com]
参与:刘天赐、路
本文介绍了如何使用梯度检验方法确认反向传播代码是否准确。
在《Coding Neural Network - Forward Propagation and Backpropagation》一文中,我们借助 numpy 实现了前向传播和反向传播算法。但从头开始实现反向传播很容易遇到 bug 或者报错。因此,在训练数据上运行神经网络之前,必须检验反向传播的实现是否正确。不过首先,我们先复习一下反向传播的概念:从最后的节点开始,沿着拓扑排序的反方向遍历所有节点,计算每个边的尾节点相对于损失函数的导数。换言之,计算损失函数对所有参数的导数:∂J/∂θ,其中θ表示模型中的参数。
我们通过计算数值梯度并比较数值梯度和根据反向传播求出的梯度(解析梯度)间的差异,来测试我们的实现代码。这里有两种数值梯度的计算方法:
右边形式:
(1) [J(θ+ϵ)−J(θ)]/ϵ
双边形式(见图 2):
大家好,小美今天来为大家解答燕窝有营养价值吗以下问题,燕窝的功效与作用及营养很多人还不知道,现在让我们一起来看看吧!1、燕窝含有丰富
大家好,小伟今天来为大家解答绝望表情包以下问题,绝望表情包搞笑图片很多人还不知道,现在让我们一起来看看吧!1、我能怎么办啊我也很绝望
大家好,小美今天来为大家解答和平精英怎么换头像qq以下问题,和平精英怎么换头像QQ登录很多人还不知道,现在让我们一起来看看吧!1、点击《和
大家好,小伟今天来为大家解答副镇长是什么级别以下问题,直辖市副镇长是什么级别很多人还不知道,现在让我们一起来看看吧!1、副镇长是副科
大家好,小美今天来为大家解答用典型事例写一个人以下问题,用典型事例写一个人的品质很多人还不知道,现在让我们一起来看看吧!1、第一,选择
大家好,小乐今天来为大家解答双色球有规律以下问题,双色球有规律吗新闻很多人还不知道,现在让我们一起来看看吧!1、双色球开奖有一定的规
大家好,小娟今天来为大家解答买汽车配件哪个平台好以下问题,买汽车配件哪个平台好一点很多人还不知道,现在让我们一起来看看吧!1、买汽车
2024年的第7次油价调整将于4月1日晚上开启估计本轮油价将大几率上涨,92号汽油生怕要冲破8元/升!3月23日,国内第4个工作日参考原油转变率4.12%,
Copyright 2024.依依自媒体,让大家了解更多图文资讯!