DL学习笔记(三)

RNN 循环神经网络

Posted by QIY on June 8, 2020

Deep Learning 的学习需稳扎稳打 积累自己的小厂库

1 RNN基本架构

与cnn相比多了 存储,输出结果是输入加store的累加; --

2 LSTM

说道RNN一般指的就是LSTM了。 4个输入,都是标量,3个为门电路1/0,1个输出 输入:1 2 3 4

3 LSTM 对比传统rnn的好处

Can deal with gradient vanishing (not gradient explode) 1.01的1000次方等于2w,因为rnn是对t时刻的循环加乘(量的加,权重的乘)容易出现梯度爆炸, Lstm有了门电路后可以防止梯度爆炸;