第八课-随机神经网络-人工神经网络理论及应用.ppt

单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,人工神经网络理论及应用,8.随机神经网络,主要内容,模拟退火算法,Boltzmann,机,Boltzmann,机学习规则,模拟退火物理过程,金属或固态晶体退火处理过程：,先用高温融化，使粒子自由运动；,逐渐降低温度，粒子自由运动减弱。,如在凝结点附近下降的速度足够慢，则会形成具有最低能量的基态,(,最稳定,),在降温过程中，粒子整体趋势：高能,-,低能；暂时：可能低能,-,高能。,模拟退火算法(SAA),类似,Hopfield,网络结构，,神经元作用函数进行了扩展：,T,:,网络温度,Boltzmann分布,当网络进行状态更新，次数足够多后，则有：,J,q:,网络能量，计算方法与Hopfield网络相同。,状态能量越小，出现概率越大。所以，,能量最小的状态以最大概率出现,(1),从网络中随机选取某神经元,i,;,(2),求下一时刻该神经元输入和,p,i,，,(3),按下式概率更新该神经元状态：,其余神经元状态不变,(4),计算新的温度：,(5),返回步骤(1)，直到,T,小于事先给定阈值,T,d,Boltzmann机工作规则,更新网络状态使,u,i,(,k,+1)=1,，两种方法：,(1),当,p,i,0时,，直接令,u,i,(,k,+1)=1;,当,p,i,0时,，产生随机数 ，当,时，使,u,i,(,k,+1)=1;否则,u,i,(,k,+1)=,u,i,(,k,),(2),当,p,i,0时,，直接令,u,i,(,k,+1)=1;,当,p,i,0时,，当 时，,使,u,i,(,k,+1)=1;否则,u,i,(,k,+1)=,u,i,(,k,),Boltzmann机状态更新,Boltzmann机实例,u,1,u,2,E,P,?,0,0,0,0,1,-8,1,0,-10,1,1,-8,w,ij,=-10,1,=-10,12,=-8.,T,0,=100,T,d,=10,Boltzmann机学习算法目标,设网络可视层神经元数为,m,隐层神经元数为,h,，,m,+,h=n.,则可视层状态数,2,m,隐层状态数,2,h,期望可视层状态为,a,的概率；,可视层实际状态为,a,的概率,目标：调整,w,ij,使,Boltzmann机学习算法推导II,进而可得,Boltzmann机学习步骤,(,1)初始化,(2)计算 ，进而计算,(3)计算,(4)修正权值,w,ij,(5)重复(2)(4),直到收敛,王伟，,人工神经网络原理,入门与应用,，,阎平凡，张长水,.,人工神经网络与模拟进化计算,(2,版,).,清华大学出版社，,386-395,本讲参考文献,