B神经网络-(2)ppt课件.ppt
《B神经网络-(2)ppt课件.ppt》由会员分享,可在线阅读,更多相关《B神经网络-(2)ppt课件.ppt(105页珍藏版)》请在咨信网上搜索。
1、BP人工神人工神经网网络Back-propagationArtificialNeuralNetworks2024/3/17 周日1.张凌凌数数计学院学院联系系电话:13605935915Email:2024/3/17 周日2.主要参考主要参考书目目1、Philip D.Wasserman,Neural Computing:TheoryandPractice,VanNostrandReinhold,19892、胡胡守守仁仁、余余少少波波、戴戴葵葵,神神经网网络导论,国防科技大学出版社,国防科技大学出版社,1993年年10月月3、杨行行峻峻、郑君君里里,人人工工神神经网网络,高高等等教教育出版社,
2、育出版社,1992年年9月月4、闻新、周露、王丹力、熊新、周露、王丹力、熊晓英,英,MATLABMATLAB神神经网网络应用用设计,科学出版社,科学出版社,2001.5.2001.5.2024/3/17 周日3.课程目的和基本要求程目的和基本要求 作作为人工神人工神经网网络的入的入门课程,用于将学程,用于将学生引入人工神生引入人工神经网网络及其及其应用的研究用的研究领域。域。介介绍BPBP人工神人工神经网网络及其基本网及其基本网络模型,模型,使学生了解智能系使学生了解智能系统描述的基本模型描述的基本模型掌握人工神掌握人工神经网网络的基本概念、的基本概念、单层网、多网、多层网、网、循循环网等各种
3、基本网网等各种基本网络模型的模型的结构、特点、典构、特点、典型型训练算法、运行方式、典型算法、运行方式、典型问题掌握掌握软件件实现方法。方法。2024/3/17 周日4.课程目的和基本要求程目的和基本要求 了解了解BPBP人工神人工神经网网络的有关研究思想,从中的有关研究思想,从中学学习开拓者开拓者们的部分的部分问题求解方法。求解方法。通通过实验进一步体会有关模型的用法和性一步体会有关模型的用法和性能,能,获取一些初步的取一些初步的经验。查阅适当的参考文献,将所学的知适当的参考文献,将所学的知识与自与自己未来研究己未来研究课题相相结合起来,达到既丰富合起来,达到既丰富学学习内容,又有一定的研究
4、和内容,又有一定的研究和应用的目的。用的目的。2024/3/17 周日5.主要内容主要内容 基于基于Matlab的的BP神神经网网络设计与与应用用 BPBP(BackpropagationBackpropagation)网)网络的构成及其的构成及其训练过程;程;隐藏藏层权调整方法的直整方法的直观分析,分析,BPBP训练算法中使用的算法中使用的DeltaDelta规则(最速下降(最速下降法)的理法)的理论推推导;算法的收;算法的收敛速度及其改速度及其改进讨论;BPBP网网络中的几个重要中的几个重要问题。实验:实现BP算法。算法。2024/3/17 周日6.引言引言1人工神人工神经网网络的提出的提
5、出2人工神人工神经网网络的特点的特点3历史回史回顾2024/3/17 周日7.第第1章章引言引言 人人类对人人工工智智能能的的研研究究可可以以分分成成两两种种方方式式对应着着两种不同的技两种不同的技术:传统的人工智能技的人工智能技术:心理的角度模心理的角度模拟基于人工神基于人工神经网网络的技的技术:生理的角度模生理的角度模拟2024/3/17 周日8.人工神人工神经网网络的提出的提出 人工神人工神经网网络(ArtificialNeuralNetworks,简记作作ANN),是),是对人人类大大脑系系统的一的一阶特性的一种描述。特性的一种描述。简单地地讲,它是一个,它是一个数学模型数学模型,可以
6、用,可以用电子子线路路来来实现,也可,也可以用以用计算机程序算机程序来模来模拟,是人工智能研究,是人工智能研究的一种方法。的一种方法。2024/3/17 周日9.人工神人工神经网网络的提出的提出智能与人工智能智能与人工智能 一、一、智能的含智能的含义智能是个体有目的的行智能是个体有目的的行为,合理的思,合理的思维,以,以及有效的、适及有效的、适应环境的境的综合能力合能力。智能是个体智能是个体认识客客观事物和运用知事物和运用知识解决解决问题的能力的能力。人人类个体的智能是一种个体的智能是一种综合能力。合能力。2024/3/17 周日10.人工神人工神经网网络的提出的提出智能可以包含智能可以包含8
7、个方面个方面感知与感知与认识客客观事物、客事物、客观世界和自我的能力世界和自我的能力感知是智能的基感知是智能的基础最基本的能力最基本的能力通通过学学习取得取得经验与与积累知累知识的能力的能力这是人是人类在世界中能在世界中能够不断不断发展的最基本能力。展的最基本能力。理解知理解知识,运用知,运用知识和和经验分析、解决分析、解决问题的能力的能力这一一能能力力可可以以算算作作是是智智能能的的高高级形形式式。是是人人类对世世界界进行适当的改造,推行适当的改造,推动社会不断社会不断发展的基本能力。展的基本能力。2024/3/17 周日11.人工神人工神经网网络的提出的提出联想、推理、判断、决策想、推理、
8、判断、决策语言的能力言的能力这是智能的高是智能的高级形式的又一方面。形式的又一方面。预测和和认识主主动和被和被动之分。之分。联想、推理、判断、决策的能想、推理、判断、决策的能力是主力是主动的基的基础。运用运用进行抽象、概括的能力行抽象、概括的能力上述上述这5 5种能力,被种能力,被认为是人是人类智能最智能最为基本基本的能力的能力2024/3/17 周日12.1.1人工神人工神经网网络的提出的提出作作为5 5种能力种能力综合表合表现形式的形式的3 3种能力种能力发现、发明、明、创造、造、创新的能力新的能力 实时、迅速、合理地、迅速、合理地应付复付复杂环境的能力境的能力 预测、洞察事物、洞察事物发
9、展、展、变化的能力化的能力 2024/3/17 周日13.人工神人工神经网网络的提出的提出二、人工智能二、人工智能人工智能:研究如何使人工智能:研究如何使类似似计算机算机这样的的设备去去模模拟人人类的的这些能力。些能力。研究人工智能的目的研究人工智能的目的增加人增加人类探索世界,推探索世界,推动社会前社会前进的能力的能力进一步一步认识自己自己三大学三大学术流派流派符号主符号主义(或叫做符号(或叫做符号/逻辑主主义)学派)学派联接主接主义(或者叫做(或者叫做PDP)学派)学派进化主化主义(或者叫做行(或者叫做行动/响响应)学派)学派2024/3/17 周日14.人工神人工神经网网络的提出的提出物
10、理符号系物理符号系统 人人脑的反映的反映形式化形式化现实信息信息数据数据物理系物理系统物理符号系物理符号系统表表现智能智能2024/3/17 周日15.人工神人工神经网网络的提出的提出 Newell Newell和和SimonSimon假假说 :一个物理系:一个物理系统表表现智智能行能行为的充要条件是它有一个物理符号系的充要条件是它有一个物理符号系统 概念:物理符号系概念:物理符号系统需要有一需要有一组称称为符号符号的的实体体组成,它成,它们都是物理模型,可以在都是物理模型,可以在另一另一类称称为符号符号结构的构的实体中作体中作为成分出成分出现,以构成更高,以构成更高级别的系的系统 2024/
11、3/17 周日16.人工神人工神经网网络的提出的提出困困难:抽象抽象:舍弃一些特性,同舍弃一些特性,同时保留一些特性保留一些特性形形式式化化处理理:用用物物理理符符号号及及相相应规则表表达达物物理理系系统的存在和运行。的存在和运行。局限:局限:对全局性判断、模糊信息全局性判断、模糊信息处理、多粒度的理、多粒度的视觉信信息息处理等是非常困理等是非常困难的。的。2024/3/17 周日17.人工神人工神经网网络的提出的提出联接主接主义观点点 核心:智能的本核心:智能的本质是是联接机制。接机制。神神经网网络是一个由大量是一个由大量简单的的处理理单元元组成的高度复成的高度复杂的大的大规模非模非线性自适
12、性自适应系系统 ANNANN力求从四个方面去模力求从四个方面去模拟人人脑的智能行的智能行为物理物理结构构 计算模算模拟 存存储与操作与操作 训练 2024/3/17 周日18.人工神人工神经网网络的提出的提出两种模型的比两种模型的比较心理心理过程程逻辑思思维高高级形式(思形式(思维的表象)的表象)生理生理过程程形象思形象思维低低级形式(思形式(思维的根本)的根本)仿生仿生人工神人工神经网网络联结主主义观点点物理符号系物理符号系统2024/3/17 周日19.人工神人工神经网网络的提出的提出物理符号系物理符号系统和人工神和人工神经网网络系系统的差的差别 项目目物理符号系物理符号系统人工神人工神经
13、网网络处理方式理方式逻辑运算运算模模拟运算运算执行方式行方式串行串行并行并行动作作离散离散连续存存储局部集中局部集中全局分布全局分布2024/3/17 周日20.人工神人工神经网网络的提出的提出两种人工智能技两种人工智能技术的比的比较项目目传统的的AIAI技技术 ANN技技术 基本基本实现方式方式串行串行处理;由程序理;由程序实现控制控制并行并行处理;理;对样本数据本数据进行多目行多目标学学习;通通过人工神人工神经元之元之间的相互作用的相互作用实现控制控制基基本本开开发方法方法设计规则、框框架架、程程序序;用用样本本数数据据进行行调试(由由人人根根据据已已知知的的环境境去构造一个模型)去构造一
14、个模型)定定义人工神人工神经网网络的的结构原型,通构原型,通过样本本数据,依据基本的学数据,依据基本的学习算法完成学算法完成学习自自动从从样本数据中抽取内涵(自本数据中抽取内涵(自动适适应应用用环境)境)适适应领域域 精精确确计算算:符符号号处理理,数数值计算算非精确非精确计算:模算:模拟处理,感理,感觉,大,大规模数模数据并行据并行处理理模模拟对象象 左左脑(逻辑思思维)右右脑(形象思(形象思维)2024/3/17 周日21.人工神人工神经网网络的特点的特点信息的分布表示信息的分布表示运算的全局并行和局部操作运算的全局并行和局部操作处理的非理的非线性性 2024/3/17 周日22.人工神人
15、工神经网网络的概念的概念1、定、定义 1)HechtNielsen(1988年)年)人工神人工神经网网络是一个并行、分布是一个并行、分布处理理结构,它由构,它由处理理单元及其称元及其称为联接的无向接的无向讯号通道互号通道互连而成。而成。这些些处理理单元(元(PEProcessingElement)具有局)具有局部内存,并可以完成局部操作。每个部内存,并可以完成局部操作。每个处理理单元有元有一个一个单一的一的输出出联接,接,这个个输出可以根据需要被出可以根据需要被分枝成希望个数的分枝成希望个数的许多并行多并行联接,且接,且这些并行些并行联接都接都输出相同的信号,即相出相同的信号,即相应处理理单元
16、的信号,元的信号,信号的大小不因分支的多少而信号的大小不因分支的多少而变化。化。2024/3/17 周日23.人工神人工神经网网络的概念的概念(1)HechtNielsen(1988年)(年)(续)处理理单元的元的输出信号可以是任何需要的出信号可以是任何需要的数学模型,每个数学模型,每个处理理单元中元中进行的操行的操作必作必须是完全局部的。也就是是完全局部的。也就是说,它,它必必须仅仅依依赖于于经过输入入联接到达接到达处理理单元的所有元的所有输入信号的当前入信号的当前值和存和存储在在处理理单元局部内存中的元局部内存中的值。2024/3/17 周日24.人工神人工神经网网络的概念的概念强调:并行
17、、分布并行、分布处理理结构;构;一一个个处理理单元元的的输出出可可以以被被任任意意分分枝枝,且且大大小不小不变;输出信号可以是任意的数学模型;出信号可以是任意的数学模型;处理理单元完全的局部操作元完全的局部操作 2024/3/17 周日25.人工神人工神经网网络的概念的概念(2)Rumellhart,McClelland,Hinton的的PDP 1)一一组处理理单元(元(PE或或AN););2)处理理单元的激活状元的激活状态(ai););3)每个每个处理理单元的元的输出函数(出函数(fi););4)处理理单元之元之间的的联接模式;接模式;5)传递规则(wijoi););6)把把处理理单元元的的
18、输入入及及当当前前状状态结合合起起来来产生生激激活活值的激活的激活规则(Fi););7)通通过经验修改修改联接接强度的学度的学习规则;8)系系统运行的运行的环境(境(样本集合)。本集合)。2024/3/17 周日26.人工神人工神经网网络的概念的概念(3)Simpson(1987年)年)人工神人工神经网网络是一个非是一个非线性的有向性的有向图,图中中含有可以通含有可以通过改改变权大小来存放模式的加大小来存放模式的加权边,并且可以从不完整的或未知的,并且可以从不完整的或未知的输入入找到模式。找到模式。2024/3/17 周日27.人工神人工神经网网络的概念的概念2、关、关键点点(1 1)信息的分
19、布表示信息的分布表示(2 2)运算的全局并行与局部操作运算的全局并行与局部操作(3 3)处理的非理的非线性特征性特征3、对大大脑基本特征的模基本特征的模拟1)形式上:神形式上:神经元及其元及其联接;接;BN对AN2)表表现特征:信息的存特征:信息的存储与与处理理2024/3/17 周日28.人工神人工神经网网络的概念的概念4、别名名人工神人工神经系系统(ANS)神神经网网络(NN)自自适适应系系统(AdaptiveSystems)、自自适适应网(网(AdaptiveNetworks)联接模型(接模型(Connectionism)神神经计算机(算机(Neurocomputer)2024/3/17
20、 周日29.人工神人工神经元的基本构成元的基本构成 人工神人工神经元模元模拟生物神生物神经元的元的一一阶特性特性。输入:入:X=(x1,x2,xn)联接接权:W=(w1,w2,wn)T网网络输入:入:net=xiwi向量形式:向量形式:net=XWxnwnx1w1x2w2net=XW2024/3/17 周日30.激活函数激活函数(ActivationFunction)激激活活函函数数执行行对该神神经元元所所获得得的的网网络输入入的的变换,也也可可以以称称为激激励励函函数数、活活化化函函数数:o=f(net)1、线性函数(性函数(LinerFunction)f(net)=k*net+c neto
21、oc2024/3/17 周日31.2、非、非线性斜面函数性斜面函数(RampFunction)ifnetf(net)=k*netif|net|0为一常数,被称一常数,被称为饱和和值,为该神神经元的元的最大最大输出。出。2024/3/17 周日32.2、非、非线性斜面函数(性斜面函数(RampFunction)-neto2024/3/17 周日33.3、阈值函数(函数(ThresholdFunction)阶跃函数函数ifnetf(net)=-ifnet、均均为非非负实数,数,为阈值二二值形式:形式:1ifnetf(net)=0ifnet双极形式:双极形式:1ifnetf(net)=-1ifnet
22、 2024/3/17 周日34.3、阈值函数(函数(ThresholdFunction)阶跃函数函数-onet02024/3/17 周日35.4、S形函数形函数 压缩函函数数(SquashingFunction)和和逻辑斯斯特函数(特函数(LogisticFunction)。)。f(net)=a+b/(1+exp(-d*net)a,b,d为常数。它的常数。它的饱和和值为a和和a+b。最最简单形式形式为:f(net)=1/(1+exp(-d*net)函数的函数的饱和和值为0和和1。S形函数有形函数有较好的增益控制好的增益控制 2024/3/17 周日36.4、S形函数形函数 a+bo(0,c)n
23、etac=a+b/22024/3/17 周日37.课内容回内容回顾生物神生物神经网网六个基本特征六个基本特征神神经元元及及其其联接接、信信号号传递、训练、刺刺激激与与抑抑制制、累累积效果效果、阈值。人工神人工神经元的基本构成元的基本构成xnwnx1w1x2w2net=XW2024/3/17 周日38.上次上次课内容回内容回顾激活函数与激活函数与M-P模型模型 线性函数、非性函数、非线性斜面函数、性斜面函数、阈值函数函数S形函数形函数 M-P模型模型x2w2fo=f(net)xnwnnet=XWx1w12024/3/17 周日39.简单单级网网x1x2xno1o2omwnmw11w1mw2mwn
24、1输出出层输入入层2024/3/17 周日40.简单单级网网W=(wij)输出出层的的第第j个个神神经元元的的网网络输入入记为netj:netj=x1w1j+x2w2j+xnwnj其中其中,1jm。取。取NET=(net1,net2,netm)NET=XWO=F(NET)2024/3/17 周日41.单级横向反横向反馈网网输出出层x1o1w11w1mx2o2w2mxnomwn1输入入层V2024/3/17 周日42.单级横向反横向反馈网网 V=(vij)NET=XW+OVO=F(NET)时间参数参数神神经元的状元的状态在主在主时钟的控制下同步的控制下同步变化化考考虑X总加在网上的情况加在网上的
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 神经网络 ppt 课件
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,个别因单元格分列造成显示页码不一将协商解决,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【可****】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【可****】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。