感知器网络.pptx
《感知器网络.pptx》由会员分享,可在线阅读,更多相关《感知器网络.pptx(33页珍藏版)》请在咨信网上搜索。
1、2.1标准标准MP模型模型1943年,年,McCulloch和和Pitts发表了他们关于人发表了他们关于人工神经网络的第一个系统研究。工神经网络的第一个系统研究。1947年开发出用年开发出用于模式识别的网络模型于模式识别的网络模型感知器:感知器:MP模型,模型,即阈值加权和模型,单输出的感知器,它实质上即阈值加权和模型,单输出的感知器,它实质上就是一个典型的人工神经元。按照就是一个典型的人工神经元。按照MP模型的模型的要求,该人工神经元的激励函数是阶跃函数。要求,该人工神经元的激励函数是阶跃函数。通常考虑某一神经元要受到其他神经元的作用,因而总是通常考虑某一神经元要受到其他神经元的作用,因而总
2、是以以n个神经元相互连接形成神元计算模型。一个神经元具备个神经元相互连接形成神元计算模型。一个神经元具备相应的输入和输出。但是神经元自身的状态,决定其输出相应的输入和输出。但是神经元自身的状态,决定其输出的有无,即每一个神经元从其他的有无,即每一个神经元从其他n1个神经元接受信息,个神经元接受信息,产生神经兴奋和冲动。在其他条件不变的情况下,不论何产生神经兴奋和冲动。在其他条件不变的情况下,不论何种刺激,只要达到阈值以上就能产生一个动作电位,并以种刺激,只要达到阈值以上就能产生一个动作电位,并以最快速度作非衰减的等幅传递输出。一旦输人的总和小于最快速度作非衰减的等幅传递输出。一旦输人的总和小于
3、阈值,神经元处于抑制状态,没有被激励,也就没有任何阈值,神经元处于抑制状态,没有被激励,也就没有任何输出产生。输出产生。对对n个互连的神经元中的第个互连的神经元中的第i个神经元,外界输入的个神经元,外界输入的总和影响其激励值。总和影响其激励值。i神经元的状态以某种函数形式输神经元的状态以某种函数形式输出,即有出,即有:wji代表神经元代表神经元i与神经元与神经元j之间的连接强度之间的连接强度(模拟生物模拟生物神经元之间突触连接强度神经元之间突触连接强度),称之为连接权;,称之为连接权;ui代表神经元代表神经元i的活跃值,即神经元状态;的活跃值,即神经元状态;vj代表神经元代表神经元j的输出,即
4、是神经元的输出,即是神经元i的一个输入;的一个输入;i代表神经元代表神经元i的阈值。的阈值。函数函数f表达了神经元的输入输出特性。在表达了神经元的输入输出特性。在MP模型中,模型中,f定定义为阶跃函数:义为阶跃函数:如果把阈值如果把阈值i看作为一个特殊的权值,则改写为看作为一个特殊的权值,则改写为为用连续型的函数表达神经元的非线性变换能力,常采为用连续型的函数表达神经元的非线性变换能力,常采用用s型函数:型函数:MP模型在发表时并没有结出一个学习算法来调整神经模型在发表时并没有结出一个学习算法来调整神经元之间的连接权。但是可以根据需要,采用一些常见的算元之间的连接权。但是可以根据需要,采用一些
5、常见的算法来调整神经元连接权,以达到学习目的,法来调整神经元连接权,以达到学习目的,Hebb学习规学习规则就是一个常见学习算法。则就是一个常见学习算法。Hebb学习规则:神经网络具有学习功能,对于人工神学习规则:神经网络具有学习功能,对于人工神经网络而言,这种学习归结为神经元连接权的变化。调整经网络而言,这种学习归结为神经元连接权的变化。调整wji的原则为:若第的原则为:若第i和第和第j个神经元同时处于兴奋状态,则个神经元同时处于兴奋状态,则它们之间的连接应当加强,即:它们之间的连接应当加强,即:2.2简单感知器简单感知器感知器是一种早期的神经网络模型,由美国学者感知器是一种早期的神经网络模型
6、,由美国学者F.Rosenblatt于于1957年提出。由于在感知器中第一次引入了学习的概念,使年提出。由于在感知器中第一次引入了学习的概念,使人脑所具备的学习功能在基于符号处理的数学模型中得到了一人脑所具备的学习功能在基于符号处理的数学模型中得到了一定程度的模拟,所以引起了广泛的关注。定程度的模拟,所以引起了广泛的关注。简单感知器模型实际上仍然是简单感知器模型实际上仍然是MP模型的结构,但是它通过模型的结构,但是它通过采用有监督学习来逐步增强模式划分的能力,达到学习的目的。采用有监督学习来逐步增强模式划分的能力,达到学习的目的。感知器处理单元对感知器处理单元对n个输入进行加权和操作,即:个输
7、入进行加权和操作,即:感知器在形式上与感知器在形式上与MP模型差不多,它们之间的区别在于模型差不多,它们之间的区别在于神经元间连接权的变化。感知器的连接权定义为可变的,这神经元间连接权的变化。感知器的连接权定义为可变的,这样感知器就被赋予了学习的特性。样感知器就被赋予了学习的特性。感知器的学习是有监督学习感知器的学习是有监督学习,感知器的训练算法的基本原感知器的训练算法的基本原理来源于著名的理来源于著名的Hebb学习律,其基本思想是:逐步地将学习律,其基本思想是:逐步地将样本集中的样本输入到网络中,根据输出结果和理想输出样本集中的样本输入到网络中,根据输出结果和理想输出之间的差别来调整网络中的
8、权矩阵。之间的差别来调整网络中的权矩阵。设设W为网络的权向量,为网络的权向量,X为输入向量为输入向量网络的训练样本集为一、离散单输出感知器训练算法一、离散单输出感知器训练算法:1.初始化权向量初始化权向量W;2.重复下列过程,直到训练完成:重复下列过程,直到训练完成:对样本集中的每一个样本对样本集中的每一个样本X(1)输入输入X;(2)计算计算OF(XW);(3)如果输出不正确,则如果输出不正确,则当当O0时,取时,取WW+X当当O1时,取时,取WW-X上述算法中,当上述算法中,当O0时,按时,按W+X修改权向量修改权向量W。这是。这是因为,理想输出本来应该是因为,理想输出本来应该是1,但现在
9、却是,但现在却是0,所以相应,所以相应的权应该增加,而且是增加对该样本的实际输出真正方的权应该增加,而且是增加对该样本的实际输出真正方贡献的权。当贡献的权。当O1时恰好相反。时恰好相反。感知器学习算法感知器学习算法二、离散多输出感知器训练算法二、离散多输出感知器训练算法:1.初始化权向量初始化权向量W;2.重复下列过程,直到训练完成:重复下列过程,直到训练完成:对样本集中的每一个样本对样本集中的每一个样本X(1)输入输入X;(2)计算计算OF(XW);fori1,m执行如下操作执行如下操作oiyiThenifoi0thenforj1,nwij=wij+xielseforj1,nwij=wij-
10、xi在算法中,依次对输出层的每一个神经元的理想输出和在算法中,依次对输出层的每一个神经元的理想输出和实际输出进行比较。如果它们不相同则对相应的联接权实际输出进行比较。如果它们不相同则对相应的联接权进行修改进行修改,相当于将对离散单输出感知器的神经元的处理相当于将对离散单输出感知器的神经元的处理逐个地用于离散多输出感知器输出层的每一个神经元。逐个地用于离散多输出感知器输出层的每一个神经元。三、连续多输出感知器训练算法三、连续多输出感知器训练算法:1.用适当的小伪随机数初始化权矩陈用适当的小伪随机数初始化权矩陈W;2.初始精度控制参数初始精度控制参数、学习率、学习率、精度控制变量、精度控制变量d=
11、+13Whiled dod=0for每个样本每个样本(x,y)do输入样本输入样本x=x1,x2,xn计算计算OF(XW)修改权矩阵修改权矩阵W:for i1,n,j1,mwij=wij+(yj-oj)xi计算累积误差计算累积误差for j1,m dod=d+(yj-oj)2误差型学习规则:误差型学习规则:(1)任选一组初始权值任选一组初始权值Wi(0)(2)计算某一输入模式对应的实际输出与期望输出的误计算某一输入模式对应的实际输出与期望输出的误差差(3)如果如果小于给定值,结束,否则继续。小于给定值,结束,否则继续。(4)更新权值更新权值(阈阈值可视为输入恒为值可视为输入恒为1的一个权值的一
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 感知 网络
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【胜****】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【胜****】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。