入门 | 如何通过梯度检验帮助实现反向传播

选自imaddabbura

[本文来自:www.11jj.com]

机器之心编译 [好文分享:www.11jj.com]

参与:刘天赐、路


本文介绍了如何使用梯度检验方法确认反向传播代码是否准确。

在《Coding Neural Network - Forward Propagation and Backpropagation》一文中,我们借助 numpy 实现了前向传播和反向传播算法。但从头开始实现反向传播很容易遇到 bug 或者报错。因此,在训练数据上运行神经网络之前,必须检验反向传播的实现是否正确。不过首先,我们先复习一下反向传播的概念:从最后的节点开始,沿着拓扑排序的反方向遍历所有节点,计算每个边的尾节点相对于损失函数的导数。换言之,计算损失函数对所有参数的导数:∂J/∂θ,其中θ表示模型中的参数。

我们通过计算数值梯度并比较数值梯度和根据反向传播求出的梯度(解析梯度)间的差异,来测试我们的实现代码。这里有两种数值梯度的计算方法:

  • 右边形式:

  • (1) [J(θ+ϵ)−J(θ)]/ϵ

  • 双边形式(见图 2):

  • 自媒体 微信号:11jj 扫描二维码关注公众号
    爱八卦,爱爆料。

    小编推荐

    1. 1

      燕窝有营养价值吗(燕窝的功效与作用及营养)

      大家好,小美今天来为大家解答燕窝有营养价值吗以下问题,燕窝的功效与作用及营养很多人还不知道,现在让我们一起来看看吧!1、燕窝含有丰富

    2. 2

      绝望表情包(绝望表情包搞笑图片)

      大家好,小伟今天来为大家解答绝望表情包以下问题,绝望表情包搞笑图片很多人还不知道,现在让我们一起来看看吧!1、我能怎么办啊我也很绝望

    3. 3

      和平精英怎么换头像qq(和平精英怎么换头像QQ登录)

      大家好,小美今天来为大家解答和平精英怎么换头像qq以下问题,和平精英怎么换头像QQ登录很多人还不知道,现在让我们一起来看看吧!1、点击《和

    4. 4

      副镇长是什么级别(直辖市副镇长是什么级别)

      大家好,小伟今天来为大家解答副镇长是什么级别以下问题,直辖市副镇长是什么级别很多人还不知道,现在让我们一起来看看吧!1、副镇长是副科

    5. 5

      用典型事例写一个人(用典型事例写一个人的品质)

      大家好,小美今天来为大家解答用典型事例写一个人以下问题,用典型事例写一个人的品质很多人还不知道,现在让我们一起来看看吧!1、第一,选择

    6. 6

      双色球有规律(双色球有规律吗新闻)

      大家好,小乐今天来为大家解答双色球有规律以下问题,双色球有规律吗新闻很多人还不知道,现在让我们一起来看看吧!1、双色球开奖有一定的规

    7. 7

      买汽车配件哪个平台好(买汽车配件哪个平台好一点)

      大家好,小娟今天来为大家解答买汽车配件哪个平台好以下问题,买汽车配件哪个平台好一点很多人还不知道,现在让我们一起来看看吧!1、买汽车

    8. 8

      时间定了!要涨?

      2024年的第7次油价调整将于4月1日晚上开启估计本轮油价将大几率上涨,92号汽油生怕要冲破8元/升!3月23日,国内第4个工作日参考原油转变率4.12%,

    Copyright 2024.依依自媒体,让大家了解更多图文资讯!