DL学习笔记(二)

CNN基础

Posted by QIY on June 8, 2020

Deep Learning 的学习需稳扎稳打 积累自己的小厂库

一 CONV

a. 深度depth:神经元个数,决定输出的depth厚度。同时代表滤波器个数。 b. 步长stride:决定滑动多少步可以到边缘。 c. 填充值zero-padding:在外围边缘补充若干圈0,方便从初始位置以步长为单位可以刚好滑倒末尾位置,通俗地讲就是为了总长能被步长整除。 如下: 两个神经元,即depth=2,意味着有两个滤波器。 数据窗口每次移动两个步长取3*3的局部数据,即stride=2。 zero-padding=1。 计算方法 = 1* 0 + 1*0 + -1*0+ -1*0 + 0*0 + 1*1+ -1*0 + -1*0 + 0*1+ -1*0 + 0*0 + -1*0+0*0 + 0*1 + -1*1+1*0 + -1*0 + 0*2+ 0*0 + 1*0 + 0*0+1*0 + 0*2 + 1*0+0*0 + -1*0 + 1*0 +1 (偏置)= 1

二 RELU

际梯度下降中,sigmoid容易饱和、造成终止梯度传递,且没有0中心化。咋办呢,可以尝试另外一个激活函数:ReLU,其图形表示如下 ReLU的优点是收敛快,求梯度简单

三 POOL

池化,简言之,即取区域平均或最大,如下图所示(图引自cs231n)

四 FC

全连接层相当于做特征加权。最后的全连接层在整个卷积神经网络中起到 “分类器” 的作用。