深度学习.ppt

深度学习-许洛1.深度学习（DL）2.深度学习（DL）60、70年代，神经网络（NNs）最早可以追溯的时期，构建出连续非线性层的神经元模型；随后，建立带有梯度下降的BP模型，1981年首次NN得到应用；80年代末，基于BP训练的深度神经网络（DeepNNs）依然很难实现，90年代开始成为研究主体；1991，通过无导学习的深度学习（DeepLearning，DL）在实际中可以运用；2009，有导师学习的DL在大部分国际模式识别竞赛中领先于其他机器学习方法，并且第一个实现超人视觉模式识别，从此赢得广泛关注。文献参考：Deeplearninginneuralnetworks:Anoverview3.深度学习（DL）BP神经网络（BPNNs）网络存在的主要问题：1.一般要得到较好的训练效果，隐层数目不能太少，当图片大的时候，需要的权值会非常多；2.对平移、尺度变化敏感（比如数字偏左上角，右下角时即识别失败）；3.图片在相邻区域是相关的，而这种网络只是一股脑把所有像素扔进去，没有考虑图片相关性。4.深度学习（DL）最早的DL：前馈神经网络feedforward(acyclic)NNs(FNNs)和周期神经网络recurrent(cyclic)NNs(RNNs)；目前应用较普遍的是深度置信网络(deepbeliefnetwork,DBN)和卷积神经网络（CNN），DBN网络可以看作是由多个受限玻尔兹曼机叠加而成，CNN通过localreceptivefields（感受野），sharedweights（共享权值），subsampling（下采样）概念来解决BP网络的三个问题。5.深度学习（DL）6.手写字体识别由手写字体组成图像样本经典数据库：mnist，共60000训练样本，10000个预测样本；训练样本维度：28*28*60000训练标签维度：10*60000图例：CNN经典程序下载:https:/