人工神经网络.pptx
《人工神经网络.pptx》由会员分享,可在线阅读,更多相关《人工神经网络.pptx(90页珍藏版)》请在咨信网上搜索。
1、人工神经网络中国科学院自动化研究所吴高巍2016-11-29联结主义学派 又称仿生学派或生理学派认为人的思维基元是神经元,而不是符号处理过程认为人脑不同于电脑核心:智能的本质是联接机制。原理:神经网络及神经网络间的连接机制和学习算法麦卡洛可(McCulloch)皮茨(Pitts)什么是神经网络所谓的人工神经网络就是基于模仿生物大脑的结构和功能而构成的一种信息处理系统(计算机)。个体单元相互连接形成多种类型结构的图图循环、非循环有向、无向自底向上(Bottom-Up)AI起源于生物神经系统从结构模拟结构模拟到功能模拟功能模拟仿生仿生人工神经网络内容生物学启示多层神经网络Hopfield网络自组织
2、网络生物学启示 神经元组成:细胞体,轴突,树突,突触 神经元之间通过突触两两相连。信息的传递发生在突触。突触记录了神经元间联系的强弱。只有达到一定的兴奋程度,神经元才向外界传输信息。生物神经元神经元神经元特性信息以预知的确定方向传递一个神经元的树突细胞体轴突突触另一个神经元树突时空整合性对不同时间通过同一突触传入的信息具有时间整合功能对同一时间通过不同突触传入的信息具有空间整合功能神经元工作状态兴奋状态,对输入信息整合后使细胞膜电位升高,当高于动作电位的阈值时,产生神经冲动,并由轴突输出。抑制状态,对输入信息整合后使细胞膜电位降低,当低于动作电位的阈值时,无神经冲动产生。结构的可塑性神经元之间
3、的柔性连接:突触的信息传递特性是可变的学习记忆的基础神经元模型从生物学结构到数学模型人工神经元M-P模型x1x2xny12nInputOutputThresholdMcClloch and Pitts,A logical calculus of the ideas immanent in nervous activity,1943f:激活函数激活函数(Activation Function)g:组合函数组合函数(Combination Function)Weighted Sum Radial Distance组合函数 (e)(f)ThresholdLinearSaturating Linear
4、Logistic SigmoidHyperbolic tangent SigmoidGaussian激活函数人工神经网络多个人工神经元按照特定的网络结构联接在一起,就构成了一个人工神经网络。神经网络的目标就是将输入转换成有意义的输出。生物系统中的学习自适应学习适应的目标是基于对环境信息的响应获得更好的状态在神经层面上,通过突触强度的改变实现学习消除某些突触,建立一些新的突触生物系统中的学习Hebb学习律神经元同时激活,突触强度增加异步激活,突触强度减弱学习律符合能量最小原则保持突触强度需要能量,所以在需要的地方保持,在不需要的地方不保持。ANN的学习规则能量最小 ENERGY MINIMIZA
5、TION对人工神经网络,需要确定合适的能量定义;可以使用数学上的优化技术来发现如何改变神经元间的联接权重。ENERGY=measure of task performance error两个主要问题结构 How to interconnect individual units?学习方法 How to automatically determine the connection weights or even structure of ANN?Solutions to these two problems leads to a concrete ANN!人工神经网络前馈结构(Feedforwar
6、d Architecture)-without loops -static 反馈/循环结构(Feedback/Recurrent Architecture)-with loops -dynamic(non-linear dynamical systems)ANN结构General structures of feedforward networksGeneral structures of feedback networks通过神经网络所在环境的模拟过程,调整网络中的自由参数 Learning by data学习模型 Incremental vs.Batch两种类型 Supervised vs
7、.UnsupervisedANN的学习方法若两端的神经元同时激活,增强联接权重Unsupervised Learning学习策略:Hebbrian Learning 最小化实际输出与期望输出之间的误差(Supervised)-Delta Rule(LMS Rule,Widrow-Hoff)-B-P LearningObjective:Solution:学习策略:Error Correction采用随机模式,跳出局部极小 -如果网络性能提高,新参数被接受.-否则,新参数依概率接受Local MinimumGlobal Minimum学习策略:Stochastic Learning“胜者为王”(W
8、inner-take-all)UnsupervisedHow to compete?-Hard competition Only one neuron is activated -Soft competition Neurons neighboring the true winner are activated.学习策略:Competitive Learning重要的人工神经网络模型多层神经网络径向基网络Hopfield网络Boltzmann机自组织网络多层感知机(MLP)感知机实质上是一种神经元模型阈值激活函数Rosenblatt,1957感知机判别规则输入空间中样本是空间中的一个点权向量是
9、一个超平面超平面一边对应 Y=1另一边对应 Y=-1单层感知机学习调整权值,减少训练集上的误差简单的权值更新规则:初始化对每一个训练样本:Classify with current weightsIf correct,no change!If wrong:adjust the weight vector30学习:Binary Perceptron初始化对每一个训练样本:Classify with current weightsIf correct(i.e.,y=y*),no change!If wrong:adjust the weight vector by adding or subtra
10、cting the feature vector.Subtract if y*is-1.多类判别情况If we have multiple classes:A weight vector for each class:Score(activation)of a class y:Prediction highest score wins学习:Multiclass Perceptron初始化依次处理每个样本Predict with current weightsIf correct,no change!If wrong:lower score of wrong answer,raise score
11、 of right answer感知机特性可分性:true if some parameters get the training set perfectly correctCan represent AND,OR,NOT,etc.,but not XOR收敛性:if the training is separable,perceptron will eventually converge(binary case)SeparableNon-Separable感知机存在的问题噪声(不可分情况):if the data isnt separable,weights might thrash泛化性:
12、finds a“barely”separating solution改进感知机线性可分情况Which of these linear separators is optimal?Support Vector MachinesMaximizing the margin:good according to intuition,theory,practiceOnly support vectors matter;other training examples are ignorable Support vector machines(SVMs)find the separator with max
13、marginSVM优化学习问题描述训练数据目标:发现最好的权值,使得对每一个样本x的输出都符合类别标签样本xi的标签可等价于标签向量采用不同的激活函数平方损失:单层感知机单层感知机单层感知机单层感知机采用线性激活函数,权值向量具有解析解批处理模式一次性更新权重缺点:收敛慢增量模式逐样本更新权值随机近似,但速度快并能保证收敛多层感知机(MLP)层间神经元全连接MLPs表达能力3 layers:All continuous functions 4 layers:all functionsHow to learn the weights?waiting B-P algorithm until 198
14、6B-P Network结构 A kind of multi-layer perceptron,in which the Sigmoid activation function is used.B-P 算法学习方法 -Input data was put forward from input layer to hidden layer,then to out layer -Error information was propagated backward from out layer to hidder layer,then to input layerRumelhart&Meclelland
15、,Nature,1986B-P 算法Global Error Measuredesired outputgenerated outputsquared errorThe objective is to minimize the squared error,i.e.reach the Minimum Squared Error(MSE)B-P 算法Step1.Select a pattern from the training set and present it to the network.Step2.Compute activation of input,hidden and output
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 人工 神经网络
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【胜****】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【胜****】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。