神经网络讲解与实例.ppt
《神经网络讲解与实例.ppt》由会员分享,可在线阅读,更多相关《神经网络讲解与实例.ppt(66页珍藏版)》请在咨信网上搜索。
1、人工神经网络(Artificial Neural Netwroks-ANN)11.1 人工神经网络发展概况人工神经网络发展概况人工神经网络(Artificial Neural Networks,ANN):简称神经网络。模拟人脑神经细胞的工作特点:*单元间的广泛连接;*并行分布式的信息存贮与处理;*自适应的学习能力等。优点:(1)较强的容错性;(2)很强的自适应学习能力;(3)可将识别和若干预处理融为一体进行;Page 2(4)并行工作方式;(5)对信息采用分布式记忆,具有鲁棒性。四个发展阶段:第一阶段:启蒙期,始于1943年。形式神经元的数学模型提出。第二阶段:低潮期,始于1969年。感知器(
2、Perceptions)一书出版,指出局限性。第三阶段:复兴期,从1982年到1986年。Hopfield的两篇论文提出新的神经网络模型;并行分布处理出版,提出反向传播算法。第四个阶段:1987年至今,趋于平稳。回顾性综述文章“神经网络与人工智能”。Page 3人工神经网络的基本特点(1)可处理非线性(2)并行结构对神经网络中的每一个神经元来说;其运算都是同样的这样的结构最便于计算机并行处理(3)具有学习和记忆能力一个神经网络可以通过训练学习判别事物;学习某一种规律或规则神经网络可以用于联想记忆(4)对数据的可容性大在神经网络中可以同时使用量化数据和质量数据(如好、中、差、及格、不及格等)(5
3、)神经网络可以用大规模集成电路来实现如美国用 256个神经元组成的神经网络组成硬件用于识别手写体的邮政编码Page 41.2 神经网络基本概念神经网络基本概念1.2.1 生物神经元生物神经元1生物神经元的结构生物神经元的结构细胞体、树突、轴突和突触。Page 52生物神经元的工作机制生物神经元的工作机制兴奋和抑制两种状态。抑制状态的神经元由树突和细胞体接收传来的兴奋电位产生输出脉冲输入兴奋总 量超过阈值神经元被激发进入兴奋状态由突触传递给其它神经元Page 61.2.2 人工神经元及神经网络人工神经元及神经网络人工神经元:生物神经元的简化模拟。人工神经元间的互连:信息传递路径轴突-突触-树突的
4、简化;连接的权值:两个互连的神经元之间相互作用的强弱。图8.2 人工神经元模型接收的信息(其它神经元的输出)互连强度/权值 作比较 的阈值n维输入向量X 输出 输出函数 Page 7神经元的动作:输出函数 f:也称作用函数,非线性。阈值型S型伪线性型f 为阈值型函数时:设 ,点积形式:式中,Page 81.2.3 神经网络的学习神经网络的学习学习:同一个训练集的样本输入输出模式反复作用于网络,网络按照一定的训练规则自动调节神经元之间的连接强度或拓扑结构,使实际输出满足期望的要求或者趋于稳定。实质:1Hebb学习规则学习规则典型的权值修正方法:Hebb学习规则、误差修正学习 如果神经网络中某一神
5、经元与另一直接与其相连的神经元同时处于兴奋状态,那么这两个神经元之间的连接强度应该加强。神经网络的最重要特征之一。Page 9wij(t+1):修正一次后的某一权值;:学习因子,表示学习速率的比例常数;yj(t),yi(t):分别表示t时刻第j个和第i个神经元的状态(输出)。由 有:神经元间的连接 Page 102.学习规则学习规则(3)更新权值,阈值可视为输入恒为(1)的一个权值;(1)选择一组初始权值wij(1);(2)计算某一输入模式对应的实际输出与期望输出的误差;式中,(4)返回(2),直到对所有训练模式网络输出均能满足要求。dj,yj(t):第j个神经元的期望输出与实际输出;xi(t
6、):第j个神经元的第i个输入。神经网络的学习体现在:权值变化;网络结构变化。:学习因子;Page 111.3 前馈神经网络前馈神经网络1.3.1 感知器感知器感知器(Perceptron):FRosenblatt于1957年提出。感知器结构示意图*双层(输入层、输出层);*两层单元之间为全互连;*连接权值可调。结构特点:*输出层神经元个数等于类 别数(两类问题时输出层 为一个神经元)。Page 12设输入模式向量,共M类。输出层第j个神经元对应第j个模式类,j:第j个神经元的阈值;wij:输入模式第i个分量与 输出层第j个神经元间的连接权。令 。取 有输出为 输出单元对所有输入数值加权求和,经
7、阈值型输出函数产生一组输出模式。Page 13M类问题判决规则(神经元的输出函数)为*正确判决的关键:输出层每个神经元必须有一组合适的权值。*感知器采用监督学习算法得到权值;*权值更新方法:学习规则。算法描述第一步:设置初始权值wij(1),w(n+1)j(1)为第j个神经元的阈值。第二步:输入新的模式向量。第三步:计算神经元的实际输出。Page 14设第k次输入的模式向量为Xk,与第j个神经元相连的权向量为第j个神经元的实际输出为第四步:修正权值。dj:第j个神经元的期望输出。第五步:转到第二步。当全部学习样本都能正确分类时,学习过程结束。经验证明,当随k的增加而减小时,算法一定收敛。Pag
8、e 151.3.2 BP网络BP网络主要用于1)函数逼近:用输入向量和相应的输出向量训练一个网络逼近一个函数。2)模式识别:用一个特定的输出向量将它与输入向量联系起来。3)分类:把输入向量 以所定义的合适方式进行分类。4)数据压缩:减少输出向量维数以便于传输或存储。目前,在人工神经网络的实际应用中,绝大部分的神经网络模型是采用BP网络和它的变化形式,它也是前馈网络的核心部分,并体现了人工神经网络最精华的部分。Page 16BP网络:采用BP算法(Back-Propagation Training Algorithm)的多层感知器。误差反向传播算法认识最清楚、应用最广泛。性能优势:识别、分类1多
9、层感知器多层感知器 针对感知器学习算法的局限性:模式类必须线性可分。输入层第 一 隐层第 二 隐层输出层中间层为一层或多层处理单元;前馈网络;结构:只允许一层连接权可调。Page 172BP算法算法两个阶段正向传播阶段:逐层状态更新反向传播阶段:误差BP算法的学习过程 设:某层任一神经元j的 输入为netj,输出为yj;相邻低一层中任一 神经元i的输出为yi。jiwij:神经元i与j之间的连接权;f():神经元的输出函数。Page 18S型输出函数:j:神经元阈值;h0:修改输出函数形状的参数。设:输出层中第k个神经元的实际输出为yk,输入为netk;与输出层相邻的隐层中任一神经元j的输出为y
10、j。Page 19 对输入模式Xp,若输出层中第k个神经元的期望输出为dpk,实际输出为ypk。输出层的输出方差:若输入N个模式,网络的系统均方差为:当输入Xp时,wjk的修正增量:其中,由 式得到:Page 20令 ,可得输出单元的误差:输出单元的修正增量:对于与输出层相邻的隐层中的神经元j和该隐层前低一层中的神经元i:输出层中神经元输出的误差反向传播到前面各层,对各层之间的权值进行修正。Page 21BP算法建模步骤:第一步:对权值和神经元阈值初始化:(0,1)上分布的随机数。第二步:输入样本,指定输出层各神经元的希望输出值。第三步:依次计算每层神经元的实际输出,直到输出层。第四步:从输出
11、层开始修正每个权值,直到第一隐层。若j是输出层神经元,则:若j是隐层神经元,则:第五步:转到第二步,循环至权值稳定为止。Page 22改进的权值修正:收敛快、权值平滑变化:平滑因子,01。BP算法存在问题:*存在局部极小值问题;*算法收敛速度慢;*隐层单元数目的选取无一般指导原则;*新加入的学习样本影响已学完样本的学习结果。Page 23Page 24Page 253 3应用之例:蚊子的分类应用之例:蚊子的分类 已知的两类蚊子的数据如表1:n翼长 触角长 类别n1.78 1.14 Apfn1.96 1.18 Apfn1.86 1.20 Apfn1.72 1.24 Afn2.00 1.26 Ap
12、fn2.00 1.28 Apfn1.96 1.30 Apfn1.74 1.36 Af目标值目标值0.90.90.90.10.90.90.90.1 n翼长 触角长 类别n 1.64 1.38 Afn 1.82 1.38 Afn 1.90 1.38 Afn 1.70 1.40 Afn 1.82 1.48 Afn 1.82 1.54 Afn 2.08 1.56 Af目标t0.10.10.10.10.10.10.1 Page 26n输入数据有15个,即,p=1,15;j=1,2;对应15个输出。n建模:(输入层,中间层,输出层,每层的元素应取多少个?)n建立神经网络Page 27n规定目标为:当t(1
13、)=0.9 时表示属于Apf类,t(2)=0.1表示属于Af类。n设两个权重系数矩阵为:为阈值 其中Page 28分析如下:为第一层的输出,同时作为第二层的输入。其中,为阈值,为激励函数若令(作为一固定输入)(阈值作为固定输入神经元相应的权系数)Page 29则有:取激励函数为=则同样,取 Page 30(1)随机给出两个权矩阵的初值;例如用MATLAB软件时可以用以下语句:令p=0具体算法如下:具体算法如下:=rand(2,3);=rand(1,3);(2)根据输入数据利用公式算出网络的输出=Page 31取取(3)计算 因为 所以(4)取(或其他正数,可调整大小)Page 32(5)计算
14、和 j=1,2,3,i=1,2,3,计算 j=1,2,3 j=1,2,3Page 33n(6)p=p+1,转(2)注:仅计算一圈(p=1,2,15)是不够的,直到当各权重变化很小时停止,本例中,共计算了147圈,迭代了2205次。最后结果是:Page 34n即网络模型的解为:=Page 354.BP网络建模特点:非线性映照能力:神经网络能以任意精度逼近任何非线性连续函数。在建模过程中的许多问题正是具有高度的非线性。并行分布处理方式:在神经网络中信息是分布储存和并行处理的,这使它具有很强的容错性和很快的处理速度。自学习和自适应能力:神经网络在训练时,能从输入、输出的数据中提取出规律性的知识,记忆
15、于网络的权值中,并具有泛化能力,即将这组权值应用于一般情形的能力。神经网络的学习也可以在线进行。数据融合的能力:神经网络可以同时处理定量信息和定性信息,因此它可以利用传统的工程技术(数值运算)和人工智能技术(符号处理)。多变量系统:神经网络的输入和输出变量的数目是任意的,对单变量系统与多变量系统提供了一种通用的描述方式,不必考虑各子系统间的解耦问题。Page 362024/5/9 周四375.BP神经网络的设计分析1、产生数据样本集包括原始数据的收集、数据分析、变量选择以及数据的预处理 首先要在大量的原始测量数据中确定出最主要的输入模式。在确定了最重要的输入量后,需进行尺度变换和预处理。尺度变
16、换常常将它们变换到-1,1或0,1的范围。在进行尺度变换前必须先检查是否存在异常点(或称野点),这些点必须删除。通过对数据的预处理分析还可以检验其是否存在周期性、固定变换趋势或其它关系。对数据的预处理就是要使得经变换后的数据对于神经网络更容易学习和训练。Page 372024/5/9 周四38对于一个问题应该选择多少数据,这也是一个很关键的问题。系统的输入输出关系就包含在数据样本中。一般来说,取的数据越多,学习和训练的结果便越能正确反映输入输出关系。但选太多的数据将增加收集、分析数据以及网络训练付出的代价选太少的数据则可能得不到正确的结果。事实上数据的多数取决于许多因素,如网络的大小、网络测试
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 神经网络 讲解 实例
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【a199****6536】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【a199****6536】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。