DL学习笔记(一)

BP神经网络白菜入门题

Posted by QIY on June 8, 2020

Deep Learning 的学习需稳扎稳打 积累自己的小厂库

1 概要

对于BP神经网络
1个闭环,2个过程:“前向传播求损失” “反向传播求梯度”
4个名词:
梯度函数
损失函数
权重
激励函数(sigmoid)

2 题干

已知节点1输入0.35,节点2输入0.9,节点5输出0.5,求各节点间合适的权重值。 解: *其中对应的矩阵表示如下

2.1 正向传播求损失

首先我们先走一遍正向传播,公式与相应的数据对应如下: 那么: 同理可以得到: 那么最终的损失为

2.2 反向传播求梯度

我们当然是希望这个值越小越好。这也是我们为什么要进行训练,调节参数,使得最终的损失最小。这就用到了我们的反向传播算法,实际上反向传播就是梯度下降法中链式法则的使用。 下面我们看如何反向传播 根据公式,我们有: 这个时候我们需要求出C对w的偏导,则根据链式法则有: 同理有: 到此我们已经算出了最后一层的参数偏导了.我们继续往前面链式推导: 我们现在还需要求 *下面给出一个推导其它全都类似 同理可得其它几个式子: 则最终的结果为:

2.3 迭代

再按照这个权重参数进行一遍正向传播得出来的Error为0.165。
而这个值比原来的0.19要小,则继续迭代,不断修正权值,使得代价函数越来越小,预测值不断逼近0.5,这次迭代了100次的结果,Error为5.92944818e-07(已经很小了,说明预测值与真实值非常接近了),最后的权值为: bp过程可能差不多就是这样了。