人工神经网络第二章.ppt

单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,2.1 生物神经元网络,生物神经系统是一个有高度组织和相互作用的数量巨大的细胞组织群体。人类大脑的神经细胞大约在10,11,一10,13,个左右。神经细胞也称神经元，是神经系统的基本单元，它们按不同的结合方式构成了复杂的神经网络。通过神经元及其联接的可塑性，使得大脑具有学习、记忆和认知等各种智能。,人工神经网络的研究出发点是以生物神经元学说为基础的。生物神经元学说认为，神经细胞即神经元是神经系统中独立的营养和功能单元。生物神经系统，包括中枢神经系统和大脑，均是由各类神经元组成。其独立性是指每一个神经元均有自己的核和自己的分界线或原生质膜。,生物神经元之间的相互连接从而让,信息传递的部位,被称为,突触,(Synapse)。突触按其传递信息的不同机制，可分为化学突触和电突触、其中化学突触占大多数，其神经冲动传递借助于化学递质的作用。生物神经元的结构大致描述如下图所示。,细胞体是神经元的主体,。细胞体相当于一个初等处理器，,对来自其它神经元的神经信号总体求和，产生一神经输出信号,。由于细胞膜将细胞体内外分开，因此细胞体内外具有不同的电位，通常是内部电位比外部电位低。把细胞膜内外电位差称为,膜电位,。没有神经信号输入时的膜电位称为,静息膜电位,，一般在-70mv左右。,当,膜电位比静息膜电位高出约20mv,时，该细胞被激活，其膜电位自发地急速升高，在1ms内上升100mv左右。此后，膜电位又急速下降，回到静息时的值，这一过程称作细胞的,兴奋过程,。当外部输入信号使膜电位下降低于阈值电位时，神经元处于抑制状态，无脉冲输出。,“兴奋抑制”状态满足“01”律,神经元输出一个脉冲后，一段时间内对激励不响应，称之为,不应期,，一般为几个ms。,神经元之间的联系主要依赖其突触的联接作用,。这种突触的联接是可塑的，也就是说突触特性的变化是受到外界信息的影响或自身生长过程的影响。生理学的研究归纳有以下几个方面的变化：,(1)突触传递效率的变化。,首先是突触的膨胀以及由此产生的突触后膜表面积扩大，从而突触所释放出的传递物质增多，使得突触的传递效率提高。其次是突触传递物质质量的变化，包括比例成分的变化所引起传递效率的变化。,突触接触间隙的变化。,在突触表面有许多形状各异的小凸芽，调节其形状变化可以改变接触间隙，并影响传递效率。,(3),突触的发芽。,当某些神经纤维被破坏后，可能又会长出新芽，并重新产生附着于神经元上的突触形成新的回路。由于新的回路的形成，使得结合模式发生变化，也会引起传递效率的变化。,(4)突触数目的增减。,由于种种复杂环境条件的刺激等原因，或者由于动物本身的生长或衰老，神经系统的突触数目会发生变化，并影响神经元之间的传递效率。,神经元对信息的接受和传递都是通过突触来进行的。单个神经元可以从别的细胞接受多个输入。由于输入分布于不同的部位，对神经元影响的比例(权重)是不相同的。另外，各突触输入抵达神经元的先后时间也不一祥。因此，一个神经元接受的信息，在时间和空间上常呈现出一种复杂多变的形式，需要神经元对它们进行积累和整合加工，从而决定其输出的时机和强度。正是神经元这种整合作用，才使得亿万个神经元在神经系统中有条不紊、夜以继日地处理各种复杂的信息，执行着生物中枢神经系统的各种信息处理功能。,多个神经元以突触联接形成了一个神经网络。研究表明，生物神经网络的功能决不是单个神经元生理和信息处理功能的简单叠加，而是一个有层次的、多单元的动态信息处理系统。它们有其独特的运行方式和控制机制，以接受生物内外环境的输入信息，加以综合分折处理，然后调节控制机体对环境作出适当的反应。,从信息系统研究的观点出发，对于人脑这个智能信息处理系统，有如下一些固有特征：,(1)并行分布处理的工作模式。,实际上大脑中单个神经元的信息处理速度是很慢的，每次约1毫秒，比通常的电子门电路要慢几个数量级。每个神经元的处理功能也很有限，估计不会比计算机的一条指令更复杂。,但是人脑对某一复杂过程的处理和反应却很快，一般只需几百毫秒。,例如：要判定人眼看到的两个图形是否一样，实际上约需400 ms，而在这个处理过程中，与脑神经系统的一些主要功能，如视觉、记亿、推理等有关。,按照上述神经元的处理速度，如果采用串行工作模式，就必须在几百个串行步内完成，这实际上是不可能办到的。因此只能把它看成是一个由众多神经元所组成的超高密度的并行处理系统。,例如：在一张照片寻找一个熟人的面孔，对人脑而言，几秒钟便可完成，但如用计算机来处理，以现有的技术，是不可能在短时间内完成的。,由此可见，大脑信息处理的并行速度已达到了极高的程度。,(2)神经系统的可塑性和自组织性。,神经系统的可塑性和自组织性与人脑的生长发育过程有关。,例如，人的幼年时期约在9岁左右，学习语言的能力十分强，说明在幼年时期，大脑的可塑性和柔软性特别良好。从生理学的角度看，它体现在突触的可塑性和联接状态的变化，同时还表现在神经系统的自组织特性上。例如在某一外界信息反复刺激下接受该信息的神经细胞之间的突触结合强度会增强。这种可塑性反映出大脑功能既有先天的制约因素，也有可能通过后天的训练和学习而得到加强。神经网络的学习机制就是基于这种可塑性现象，并通过修正突触的结合强度来实现的。,(3)信息处理与信息存贮合二为一。,大脑中的信息处理与信息存贮是有机结合在一起的，而不像现行计算机那样存贮地址和存贮内容是彼此分开的。由于大脑神经元兼有信息处理和存贮功能，所以在进行回忆时，不但不存在先找存贮地址而后再调出所存内容的问题，而且还可以由一部分内容恢复全部内容。,(4)信息处理的系统性,大脑是一个复杂的大规模信息处理系统，单个的元件“神经元”不能体现全体宏观系统的功能。实际上，可以将大脑的各个部位看成是一个大系统中的许多子系统。各个子系统之间具有很强的相互联系，一些子系统可以调节另一些子系统的行为。,例如，视觉系统和运动系统就存在很强的系统联系，可以相互协调各种信息处理功能。,(5)能接受和处理模糊的、模拟的、随 机的信息。,(6)求满意解而不是精确解。,人类处理日常行为时，往往都不是一定要按最优或最精确的方式去求解，而是以能解决问题为原则，即求得满意解就行了,(7)系统的鲁棒性和容错性。,人工种经网络的研究方兴末艾，很难准确地预测其发展方向。但就目前来看，人工神经网络的研究首先须解决全局稳定性、结构稳定性、可编程性等问题。现今的研究工作应包含以下的一些基本内容：,2.2 人工神经网络研究与应,用的主要内容,(1)人工神经网络模型的研究。,神经网络原型研究，即大脑神经网络的生理结构、思维机制。,神经元的生物特性如时空特性、不应期、电化学性质等的人工模拟。,易于实现的神经网络计算模型。,利用物理学的方法进行单元间相互作用理论的研究，如：联想记忆模型。,神经网络的学习算法与学习系统。,(2)神经网络基本理论研究。,神经网络的非线性特性，包括自组织、自适应等作用。,神经网络的基本性能，包括稳定性、收敛性、容错性、鲁棒性、动力学复杂性。,神经网络的计算能力与信息存贮容量。,开展认知科学的研究，探索包括感知、思考、记忆和语言等的脑信息处理模型，采用诸如连接机制等方法，将认知信息处理过程模型化，并通过建立神经计算学来代替算法论。,(3)神经网络智能信息处理系统的应用。,认知与人工智能：包括模式识别、计算机视觉与听觉、特征提取、语音识别语言翻译、联想记忆、逻辑推理、知识工程、专家系统、故障诊断、智能机器人等。,优化与控制，包括优化求解、决策与管理、系统辨识、鲁棒性控制、自适应控制、并行控制、分布控制、智能控制等。,信号处理：自适应信号处理(自适应滤波、时间序列预测、谱估计、消噪、检测、阵列处理)和非线性信号处理(非线性滤波、非线性预测、非线性谱估计、非线性编码、中值处理)。,传感器信息处理：模式预处理变换、信息集成、多传感器数据融合。,(4)神经网络的软件模拟和硬件实现。,在通用计算机、专用计算机或者并行计算机上进行软件模拟，或由专用数字信号处理芯片构成神经网络仿真器。,由模拟集成电路、数字集成电路或者光器件在硬件上实现神经芯片。软件模拟的优点是网络的规模可以较大，适合于用来验证新的模型和复杂的网络特性。硬件实现的优点是处理速度快，但由于受器件物理因素的限制，根据目前的工艺条件，网络规模不可能做得太大。仅几千个神经元。但代表了未来的发展方向，因此特别受到人们的重视。,(5)神经网络计算机的实现。,计算机仿真系统，专用神经网络并行计算机系统。,关于智能本质的研究是自然科学和哲学的重大课题之一，对于智能的模拟和机器再现肯定可以开发拓展出一代新兴产业。由于智能本质的复杂性，现代智能研究已超越传统的学科界限，成为脑生理学、神经科学、心理学、认知科学、信息科学、计算机科学、微电子学，乃至数理科学共同关心的“焦点”学科。人工神经网络的重大研究进展有可能使包括信息科学在内的其他学科产生重大突破和变革。展望人工神经网络的成功应用，人类智能有可能产生一次新的飞跃。,