人工神经网络2.ppt

单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,*,6.1 RBF,技术的理论基础,6.1.1,基于,RBF,技术的函数逼近与内插,6.1.2,正则化理论与正则化,RBF,网络,6.1.3,模式可分性观点与广义,RBF,网络,2025/9/19 周五,1,6.1.1,基于,RBF,技术的函数逼近与内插,考虑一个由,N,维输入空间到一维输出空间的映射。设,N,维空间有,P,个输入向量,X,p,p=1,2,P,，它们在输出空间相应的目标值为,d,p,，,P,对输入,-,输出样本构成了训练样本集。插值的目的是寻找一个非线性映射函数,F(X),，使其满足如下插值条件：,2025/9/19 周五,2,6.1.1,基于,RBF,技术的函数逼近与内插,x,y,拟合函数,训练集,数据,2025/9/19 周五,3,插值函数,基于径向基函数的插值函数定义为基函数的线性组合：,2025/9/19 周五,6,内插法,x,y,拟合函数,训练集,数据,径向基函数,2025/9/19 周五,7,x,y,径向基函数,Function,Learned,2025/9/19 周五,8,插值矩阵,2025/9/19 周五,9,Micchelli,定理,如果 是,R,m,0,中,N,个互不相同的点的集合，则,NN,阶的插值矩阵,（第,ji,个元素是 ）是非奇异的。,2025/9/19 周五,10,Radial functions,Gassian RBF:,c,:center,r,:radius,多二次,RBF,2025/9/19 周五,11,Gaussian RBF,multiqradric RBF,2025/9/19 周五,12,完全内插存在的问题,由于插值曲面必须通过所有训练数据点，当训练数据中存在噪声时，神经网络将拟合出一个错误的插值曲面，从而降低其泛化能力。,由于径向基函数的数量与训练样本数量相等，当训练样本数远大于物理过程中固有的自由度时，插值矩阵求逆时可能导致不稳定。,2025/9/19 周五,13,过拟合,Underfit,Overfit,2025/9/19 周五,14,6.1.2,正则化理论与正则化,RBF,网络,2025/9/19 周五,15,Green,函数,1,、,对于固定的,，,G(x,),是,x,的函数，且满足规定的边界条件。,2,、除了在点,x=,外，,G(x,),对于,x,的导数是连续的。导数的次数由线性算子,L,的阶数决定。,3,、将,G(x,),看作,x,的函数，除了在点,x=,奇异外，它满足偏微分方程,LG(x,)=0,。,因此上述函数,G(x,),叫做微分算子,L,的,Green,函数。,Green,函数对于线性微分算子的作用类似于一个矩阵的逆矩阵对该矩阵方程的作用。,2025/9/19 周五,16,Green,函数,令,(x),表示一个关于,x,的连续或者分段函数，则函数,就是算子方程,LF(x)=,(x),的解，其中,G(x,),是线性微分算子,L,的,Green,函数。,2025/9/19 周五,17,正则化问题的解,2025/9/19 周五,18,6.1.2,正则化理论与正则化,RBF,网络,对于某一特定中心,x,i,，,Green,函数的特性只取决于算子,D,，如果,D,是平移不变和旋转不变的，则,2025/9/19 周五,19,6.1.3,模式可分性观点与广义,RBF,网络,Cover,定理：将复杂的模式分类问题非线性的投射到高维空间将比投射到低维空间更可能是线性可分的。,RBF,网络中，将输入空间的模式点非线性地映射到一个高维空间的方法是，设置一个隐层，令,(X),为隐层节点的激活函数，并令隐层节点数,M,大于输入节点数,N,，从而形成一个维数高于输入空间的高维隐空间。,2025/9/19 周五,20,维数灾难,在,p,维超立方体中，想要取到体积为,r,的子立方体，需要取边长为,r,1/p,2025/9/19 周五,21,维数灾难,这就意味着在高维空间内,数据几乎永远是,稀疏的,.,如果一个,1,维的“稠密”样本需要,N=10,个样本点的话,一个,10,维的“稠密”样本就需要,N=10,10,个样本点,.,因此想要取得“局部邻域”几乎是不可能的,.,这也就是不能用微积分的方法来处理学习问题的原因,.,2025/9/19 周五,22,XOR,问题与模式的可分性,设计一个单隐层神经网络，定义其两个隐节点的激活函数为,Gauss,函数,轮流以,XOR,问题的,4,个模式作为,2,个隐节点的输入，映射关系为,1,-,2,：,(0,0)(0.135,1),、,(0,1)(0.368,0.368),(1,0)(0.368,0.368),、,(1,1)(1,0.135),2025/9/19 周五,23,可以看出：隐层节点的上述非线性映射将模式,(0,1),和,(1,0),映射为隐空间中的同一个点。,2,(0,0),(1,1),(0,1),(1,0),1,0.2 0.4 0.6 0.8 1,XOR,问题与模式的可分性,2025/9/19 周五,24,2025/9/19 周五,25,广义,RBF,网络,与正则化,RBF,网络相比，广义,RBF,网络有以下几点不同：,RBF,的个数,M,与样本个数,N,不相等，且,MN,；,RBF,的中心不再限制在数据点上，而是由训练算法确定；,各,RBF,的扩展常数不再统一，其值由训练算法确定；,输出函数的线性中包含阈值参数。,2025/9/19 周五,26,6.2 RBF,网络学习算法,当采用广义,RBF,网络结构时，,RBF,学习算法应该解决的问题包括：如何确定网络隐层节点数，如何确定各径向基函数的数据中心及扩展常数，如何修正输出权值。,2025/9/19 周五,27,6.2.1,数据中心聚类算法,1989,年，,Moody,和,Darken,，两阶段法：,无监督自组织学习：,K-means,监督学习：单层感知器,2025/9/19 周五,28,无导师学习,+,+,+,+,+,2025/9/19 周五,29,6.2.1 K-means,算法,1,初始化：取,M,个互不相同的向量,c,1,(0),c,M,(0),为初始聚类中心，,c(k),为第,k,次迭代中心。,2,当,c,(k)0,，则判定,x,属于,C,1,，,如果,g(x)0,；当,x,点在超平面的负侧时，,g(x)0,，则判定,x,属于,C,1,，如果,g(x)0,，则判定,x,属于,C,2,，如果,g(x)=0,，则可以将,x,任意分到某一类或者拒绝判定。,2025/9/19 周五,59,广义线性判别函数,2025/9/19 周五,60,广义线性判别函数,2025/9/19 周五,61,Outline,SVM,的理论基础,线性判别函数和判别面,最优分类面,支持向量机,SVM,的研究与应用,2025/9/19 周五,62,线性分类器,a,y,est,f,x,f,(,x,w,b,)=sign(,w,.x,-,b,),denotes+1,denotes-1,How would you classify this data?,2025/9/19 周五,63,线性分类器,f,x,a,y,est,denotes+1,denotes-1,f,(,x,w,b,)=sign(,w,.x,-,b,),How would you classify this data?,2025/9/19 周五,64,线性分类器,f,x,a,y,est,denotes+1,denotes-1,f,(,x,w,b,)=sign(,w,.x,-,b,),How would you classify this data?,Copyright 2001,2003,Andrew W.Moore,2025/9/19 周五,65,线性分类器,f,x,a,y,est,denotes+1,denotes-1,f,(,x,w,b,)=sign(,w,.x,-,b,),How would you classify this data?,Copyright 2001,2003,Andrew W.Moore,2025/9/19 周五,66,线性分类器,f,x,a,y,est,denotes+1,denotes-1,f,(,x,w,b,)=sign(,w,.x,-,b,),How would you classify this data?,Copyright 2001,2003,Andrew W.Moore,2025/9/19 周五,67,最优分类面,SVM,是从线性可分情况下的最优分类面发展而来的,基本思想可用图,2,的两维情况说明,.,图中,方形点和圆形点代表两类样本,H,为分类线,H1,H2,分别为过各类中离分类线最近的样本且平行于分类线的直线,它们之间的距离叫做,分类间隔,(margin),。,所谓最优分类线就是要求分类线不但能将两类正确分开,(,训练错误率为,0),而且使分类间隔最大,.,推广到高维空间，最优分类线就变为,最优分类面,。,2025/9/19 周五,68,最优分类面,2025/9/19 周五,69,如何求最优分类面,2025/9/19 周五,70,最优分类面,2025/9/19 周五,71,Outline,SVM,的理论基础,线性判别函数和判别面,最优分类面,支持向量机,SVM,的研究与应用,2025/9/19 周五,72,支持向量机,上节所得到的最优分类函数为：,该式只包含待分类样本与训练样本中的支持向量的内积 运算，可见,要解决一个特征空间中的最优线性分类问题,我们只需要知道这个空间中的内积运算即可。,对非线性问题,可以通过非线性变换转化为某个高维空间中的线性问题,在变换空间求最优分类面,.,这种变换可能比较复杂,因此这种思路在一般情况下不易实现,.,2025/9/19 周五,73,支持向量机,2025/9/19 周五,74,核函数的选择,2025/9/19 周五,75,SVM,方法的特点,非线性映射是,SVM,方法的理论基础,SVM,利用内积核函数代替向高维空间的非线性映射,;,对特征空间划分的最优超平面是,SVM,的目标,最大化分类边际的思想是,SVM,方法的核心,;,支持向量是,SVM,的训练结果,在,SVM,分类决策中起决定作用的是支持向量。,SVM,是一种有坚实理论基础的新颖的小样本学习方法。它基本上不涉及概率测度及大数定律等,因此不同于现有的统计方法。从本质上看,它避开了从归纳到演绎的传统过程,实现了高效的从训练样本到预报样本的“转导推理”,(transductive inference),大大简化了通常的分类和回归等问题。,2025/9/19 周五,76,SVM,方法的特点,SVM,的最终决策函数只由少数的支持向量所确定,计算的复杂性取决于支持向量的数目,而不是样本空间的维数,这在某种意义上避免了“维数灾难”。,少数支持向量决定了最终结果,这不但可以帮助我们抓住关键样本、“剔除”大量冗余样本,而且注定了该方法不但算法简单,而且具有较好的“鲁棒”性。这种“鲁棒”性主要体现在,:,增、删非支持向量样本对模型没有影响,;,支持向量样本集具有一定的鲁棒性,;,有些成功的应用中,SVM,方法对核的选取不敏感。,2025/9/19 周五,77,Outline,SVM,的理论基础,线性判别函数和判别面,最优分类面,支持向量机,SVM,的研究与应用,2025/9/19 周五,78,SVM,应用,近年来,SVM,方法已经在图像识别、信号处理和基因图谱识别等方面得到了成功的应用,显示了它的优势。,SVM,通过核函数实现到高维空间的非线性映射,所以适合于解决本质上非线性的分类、回归和密度函数估计等问题。,支持向量方法也为样本分析、因子筛选、信息压缩、知识挖掘和数据修复等提供了新工具。,2025/9/19 周五,79,SVM package,2025/9/19 周五,80,第,7,章 非确定方法,主要内容,：,统计网络的基本训练算法,模拟退火算法与收敛分析,Cauchy,训练,人工热与临界温度在训练中的使用,BP,算法与,Cauchy,训练的结合。,重点：,统计网络的基本训练算法，,BP,算法与,Cauchy,训练的结合,难点：,模拟退火算法与收敛分析,2025/9/19 周五,81,第,7,章 非确定方法,7.1,基本的非确定训练算法,7.2,模拟退火算法,7.3 Cauchy,训练,7.4,相关的几个问题,2025/9/19 周五,82,第,7,章 非确定方法,确定的方法,前几章所给方法的共同特征,非确定的方法,生物神经网络按照概率运行,别称,统计方法（,Statistical Method,）。,既可以用于训练，又可以用于运行,2025/9/19 周五,83,7.1,基本的非确定训练算法,基本思想,从所给的网络中“,随机地,选取一个联接权”，对该联接权提出一个,“伪随机调整量”,，当用此调整量对所选的联接权进行修改后，如果“,被认为,”修改改进了网络的性能，则保留此调整；否则放弃本次调整。,2025/9/19 周五,84,7.1,基本的非确定训练算法,基本数据结构,样本集,：,S=(X,1,Y,1,),(X,2,Y,2,),(X,s,Y,s,),输入向量,：,X=(x,1,，,x,2,，,，,x,n,),理想输出向量,：,Y=(y,1,，,y,2,，,，,y,m,),L,层,：,W,(1),，,W,(2),，,，,W,(L),2025/9/19 周五,85,7.1,基本的非确定训练算法,拓扑结构,x,1,o,1,输出层,隐藏层,输入层,x,2,o,2,o,m,x,n,W,(1),W,(L),W,(2),2025/9/19 周五,86,算法,7-1,基本统计训练算法,1,从样本集,S,中取一样本（,X,Y,）；,2,将,X,输入到网络中，计算出实际输出,O,；,3,求出网络关于,Y,，,O,的误差测度,E,；,4,随机地从,W,(1),，,W,(2),，,，,W,(L),中选择一个联接权,w,ij,(p),；,5,生成一个小随机数,w,ij,(p),；,6,用,w,ij,(p),修改,w,ij,(p),；,2025/9/19 周五,87,算法,7-1,基本统计训练算法,7,用修改后的,W,(1),，,W,(2),，,，,W,(L),重新计算,X,对应的实际输出,O,；,8,求出网络关于,Y,，,O,的误差测度,E,；,9,如果,EE,，则保留本次对,W,(1),，,W,(2),，,，,W,(L),的修改，,否则，根据概率判断本次修改是否有用，如果认为有用，则保留本次对,W,(1),，,W,(2),，,，,W,(L),的修改，如果认为本次修改无用，则放弃它；,10,重复上述过程，直到网络满足要求。,2025/9/19 周五,88,算法,7-1,基本统计训练算法,目标函数（,Objective Function,）,误差测度函数：实际输出与理想输出方差和,计算量,从,W,(1),，,W,(2),，,，,W,(L),中随机地选择,w,ij,共有,n,H,1,+H,1,H,2,+H,2,H,3,+,+H,M-1,m,个“变量”可供选择,伪随机数,伪随机数发生器来产生,w,ij,(p),；,按照所谓的“能量”函数的分布去计算它,2025/9/19 周五,89,算法,7-1,基本统计训练算法,局部极小点,当,EE,2,P(E,2,)P(E,1,),。即，系统处于高能量状态的可能性小于处于低能量状态的可能性,2025/9/19 周五,97,能量与温度,2025/9/19 周五,98,能量与温度,低温情况下：,T,非常小，,E,的大小对,P(E),的影响非常大，设,E,1,E,2,P(E,2,)P(E,1,),。即，当温度趋近于,0,时，系统几乎不可能处于高能量状态,2025/9/19 周五,99,模拟退火组合优化法,目标函数,能量函数,人工温度,T,一个初值较大的数,依据网络的能量和温度来决定联接权的调整量（称为步长）。,与金属的退火过程（,Annealing,）非常相似,2025/9/19 周五,100,模拟退火组合优化法,基本思想,随机地为系统选择一个初始状态,w,ij,(p),，在此初始状态下，给系统一个小的随机扰动,w,ij,(p),，计算系统的能量变化,E=E(w,ij,(p),+w,ij,(p),)-E(w,ij,(p),),若,E0 then,2.6.1,按均匀分布在,0,1,区间取一随机数,r,；,2.6.2,按,Boltzmann,分布计算接受本次调整的概率：,P(E(w,ij,(p),+w,ij,(p),)=,2.6.3 if P(E(w,ij,(p),+w,ij,(p),),j,0if net,j,0,，,o,k,=1&o,k,=0,，,o,k,由,0,变到,1,，,net,k,k,，,net,k,-,k,0,所以，,-,(,net,k,-,k,),o,k,0,故,0,结论：网络的目标函数总是下降,o,k,0,o,k,=0&o,k,=1,，,o,k,由,1,变到,0,net,k,k,，,net,k,-,k,0,-,(,net,k,-,k,),o,k,0,故,0,2025/9/19 周五,151,当,AN,k,的状态从,o,k,变成,o,k,2,、,AN,k,不是输入神经元,2025/9/19 周五,152,当,AN,k,的状态从,o,k,变成,o,k,无论,AN,k,的状态是如何变化的，总有,0,2025/9/19 周五,153,8.4,联想记忆,2025/9/19 周五,154,(a),测试离散,Hopfield,网络的八个样本图样,(b),原样本图样“,6”,被噪声干扰后，经由,网络收敛至图样“,6”,（完全正确回想）,2025/9/19 周五,155,(c),原样本图样“,2”,被噪声干扰后，,经由网络收敛至图样“,6”,（错误回想）,(d),原样本图样“,9”,被噪声干扰后，,经由网络收敛至图样“,9”,（部分错误回想）,(,本图摘自,：,S.Haykin,Neural Networks,),2025/9/19 周五,156,Hopfield,型网络的特性,离散Hopfield网络利用能量函数的局部极小特性来存储资料。,我们利用,Hebbian,规则来调整网络的连接权值，有可能使得网络能量的局部极小值的数目超过原来存储的资料数目，也就是会有“伪造状态”,(Spurious states),的产生。,离散,Hopfield,网络的记忆容量有其上限，若人工神经元的数目是,p,，在记忆提取有,99%,正确率的情况下，则可存储的模式数不会超过：,2025/9/19 周五,157,8.5 Hopfield,网解决,TSP,问题,Given,n,cities with distances,d,ij,what is the,shortest,tour?,2025/9/19 周五,158,8.5 Hopfield,网解决,TSP,问题,1985,年，,J.J.Hopfield,和,D.W.Tank,用循环网求解,TSP,。试验表明，当城市的个数不超过,30,时，多可以给出最优解的近似解。而当城市的个数超过,30,时，最终的结果就不太理想了,n,个城市间存在,n!/(2n),条可能路径,设问题中含有,n,个城市,用,n*n,个神经元构成网络,2025/9/19 周五,159,8.5 Hopfield,网解决,TSP,问题,d,xy,城市,X,与城市,Y,之间的距离；,y,xi,城市,X,的第,i,个神经元的状态：,1,城市,X,在第,i,个被访问,y,xi,=,0,城市,X,不在第,i,个被访问,w,xi,yj,城市,X,的第,i,个神经元到城市,Y,的第,j,个神经元的连接权。,2025/9/19 周五,160,8.5 Hopfield,网用于解决,TSP,问题,例如：四个城市,X,、,Y,、,Z,、,W,城市名,访问顺序标示,1,2,3,4,X,0,1,0,0,Y,0,0,0,1,Z,1,0,0,0,W,0,0,1,0,2025/9/19 周五,161,网络的能量函数,2025/9/19 周五,162,网络的能量函数,仅当所有的城市最多只被访问一次时取得极小值,0,。,A,、,B,、,C,、,D,为惩罚因子,第,1,项,2025/9/19 周五,163,网络的能量函数,仅当每次最多只访问一个城市时取得极小值,0,。,第,2,项,2025/9/19 周五,164,网络的能量函数,当且仅当所有的,n,个城市一共被访问,n,次时才取得最小值,0,。,第,3,项,2025/9/19 周五,165,网络的能量函数,表示按照当前的访问路线的安排，所需要走的路径的总长度,第,4,项,2025/9/19 周五,166,8.5 Hopfield,网的模拟电路拓扑结构,由于模拟电路中的全部元件都是并行工作的，所以求解时间与城市数的多少无关，仅是运算放大器工作所需的微秒级时间。,2025/9/19 周五,167,8.5 Hopfield,网的模拟电路拓扑结构,2025/9/19 周五,168,8.5 Hopfield,网用于解决,TSP,问题,联接矩阵,w,xi,yj,=-A,xy,(1-,ij,)B,ij,(1-,xy,)C,d,xy,(,ji+1,+,ji-1,),1,如果,i=j,ij,=,0,如果,i,j,2025/9/19 周五,169,循环网络：本章小结,8.1,循环网络的组织,8.2,稳定性理论,8.3,网络的,稳定性分析,8.4,联想记忆,8.5 Hopfield,网用于解决,TSP,问题,2025/9/19 周五,170,总结,人工神经网络的重点问题,神经网络的研究进展,神经计算,神经网络的集成,机器学习,其他群体智能,学习的理论,2025/9/19 周五,171,人工神经元,模型,x,2,w,2,f,o=f,（,net,）,x,n,w,n,net=XW,x,1,w,1,2025/9/19 周五,172,联接模式,层内联接：,SOFM,循环联接：,Hopfield,层间联接：,BP,、,CPN,、,RBF,2025/9/19 周五,173,分层结构,单级网：单层感知器,多级网：,BP,、,CPN,、,RBF,循环网,2025/9/19 周五,174,训练,无导师学习：,Kohonen,、,RBF,有导师学习：,BP,、,CPN,误差曲面,灌输式学习：,Hopfield,2025/9/19 周五,175,人工神经网络的训练,2025/9/19 周五,176,寻找全局最小值,逃离局部极小点,梯度最速下降法,模拟退火算法,逼近方式,全局逼近：,BP,局部逼近：,RBF,2025/9/19 周五,177,分类标准,误差最小,泛化能力,2025/9/19 周五,178,总结,人工神经网络的重点问题,神经网络的研究进展,神经计算,神经网络的集成,机器学习,其他群体智能,学习的理论,2025/9/19 周五,179,神经计算,从神经元到脑,神经系统各层次的神经计算,神经细胞膜：动作电位产生和传导模型,神经元模型,神经网络模型,神经回路模型（功能性神经模型）,宏观神经信息处理和相关的神经计算模型,2025/9/19 周五,180,神经信息：神经放电串,神经元（群体）的放电序列,作用：编码神经信息，和其他神经元通信,2025/9/19 周五,181,突触,突触是神经元间的接触部位，是神经元之间的信息传递通道。突触分为三类：,化学性突触,电传递突触,混合型突触,2025/9/19 周五,182,突触,2025/9/19 周五,183,兴奋性突触和抑制性突触,2025/9/19 周五,184,脑电图（,EEG,）,2025/9/19 周五,185,功能磁共振成像技术（,FMRI,）,2025/9/19 周五,186,神经细胞膜的动作电位产生和传导模型,Hodgkin,和,Huxley,模型描述一小块电可兴奋细胞膜的电特性（动作电位的产生和传递）,神经元兴奋的过程呈现为动作电位序列,兴奋通过轴突输出,经过突触传递给其他神经细胞,2025/9/19 周五,187,动作电位,动作电位是神经元编码信息的主要手段,H-H,模型描述神经细胞膜上的离子通道电导状态如何产生沿着轴突传导的动作电位,2025/9/19 周五,188,H-H,方程成功应用范例,可对不同钳位电压的作用下所产生的膜电流做出理论计算,预测细胞膜传播动作电位的波形和传递速度,可以反映神经元的不应期特性,Hodgkin,和,Huxley,获得了,1962,年的诺贝尔奖金,2025/9/19 周五,189,M-P,模型,x,2,w,2,f,o=f,（,net,）,x,n,w,n,net=XW,x,1,w,1,McCullochPitts,（,MP,）模型，也称为处理单元（,PE,）,2025/9/19 周五,190,单个神经元的放电模型,2025/9/19 周五,191,研究方法：高通量神经信号的采集和分析,2025/9/19 周五,192,研究方法：高通量神经信号的采集和分析,2025/9/19 周五,193,总结,人工神经网络的重点问题,神经网络的研究进展,神经计算,神经网络的集成,机器学习,其他群体智能,学习的理论,2025/9/19 周五,194,神经网络的集成学习,集成学习（,Ensemble Learning,）是一种机器学习范式，它使用多个（通常是同质的）学习器来解决同一个问题,问题,.,.,问题,2025/9/19 周五,195,集成学习的重要性,由于集成学习技术可以有效地提高学习系统的泛化能力，因此它成为国际机器学习界的研究热点，并被国际权威,T.G.Dietterich,称为当前机器学习四大研究方向之首,T.G.Dietterich,AIMag97,问题：对,20,维超立方体空间中的区域分类,左图中纵轴为错误率,从上到下的四条线分别表示：,平均神经网络错误率,最好神经网络错误率,两种神经网络集成的错误率,令人惊奇的是，集成的错误率比最好的个体还低,L.K.Hansen&P.Salamon,TPAMI90,2025/9/19 周五,196,如何构建好的集成,期望结果,个体,1(,精度,33.3%),个体,2(,精度,33.3%),个体,3(,精度,33.3%),集成,(,精度,33.3%),投票,个体必须有差异,期望结果,个体,1(,精度,33.3%),个体,2(,精度,33.3%),个体,3(,精度,33.3%),集成,(,精度,0%),投票,个体精度不能太低,个体学习器越精确、差异越大，集成越好,A.Krogh&J.Vedelsby,NIPS94,2025/9/19 周五,197,一些集成算法,Bagging,（,bootstrap aggregation,自助聚集）,AdaBoost,NCL,（,Negative Correlation Learning,负相关学习）,2025/9/19 周五,198,总结,人工神经网络的重点问题,神经网络的研究进展,神经计算,神经网络的集成,机器学习,其他群体智能,学习的理论,2025/9/19 周五,199,蚁群算法（,ant colony optimization,）,2025/9/19 周五,200,蚂蚁规则,范围,环境,觅食规则,移动规则,避障规则,播撒信息素规则,2025/9/19 周五,201,机器学习是人工智能的核心研究领域之一,任何一个没有学习能力的系统都很难被认为是一个真正的智能系统,经典定义：利用经验改善系统自身的性能,随着该领域的发展，主要做,智能数据分析,并已成为智能数据分析技术的源泉之一,典型任务：预测,（例如：天气预报）,机器学习,2025/9/19 周五,202,美国航空航天局,JPL,实验室的科学家在,Science,（,2001,年,9,月）上撰文指出：,机器学习对科学研究的整个过程正起到越来越大的支持作用，,，该领域在今后的若干年内将取得稳定而快速的发展,生物,信息学,计算,金融学,分子,生物学,行星,地质学,工业过程控制,机器人,遥感信,息处理,信息安全,机 器 学 习,机器学习的重要性,2025/9/19 周五,203,美国航空航天局,JPL,实验室的科学家在,Science,（,2001,年,9,月）上撰文指出：,机器学习对科学研究的整个过程正起到越来越大的支持作用，,，该领域在今后的若干年内将取得稳定而快速的发展,机器学习的重要性,2025/9/19 周五,204,入侵检测：,是否是入侵？是何种入侵？,如何检测？,历史数据：,以往的正常访问模式及其表现、以往的入侵模式及其表现,对当前访问模式分类,这是一个典型的机器学习问题,常用技术：,神经网络 决策树,支持向量机 贝叶斯分类器,k,近邻,序列分析 聚类,例子,1,：网络安全,2025/9/19 周五,205,常用技术：,神经网络 支持向量机,隐马尔可夫模型,贝叶斯分类器,k,近邻,决策树 序列分析 聚类,例子,2,：生物信息学,2025/9/19 周五,206,例子,3,：搜索引擎,Google,的成功，使得,Internet,搜索引擎成为一个新兴的产业,不仅有众多专营搜索引擎的公司出现（例如专门针对中文搜索的就有慧聪、百度等），而且,Microsoft,等巨头也开始投入巨资进行研发,Google,掘到的第一桶金，来源于其创始人,Larry Page,和,Sergey Brin,提出的,PageRank,算法,机器学习技术正在支撑着各类搜索引擎,（尤其是贝叶斯学习技术）,2025/9/19 周五,207,美国的,PAL,计划,DARPA 2003,年开始启动,PAL,（,Perceptive Assistant that Learns,）计划,5,年期，首期（,1-1.5,年）投资,2,千,9,百万美元,以机器学习为核心的计划,（涉及到,AI,的其他分支，如知识表示和推理、自然语言处理等）；包含,2,个子计划,目标：,“,is expected to yield new technology of significant value to the military,business,and academic sectors,”,“,develop software that will help decision-makers manage their complex worlds of multiple simultaneous tasks and unexpected events,”,2025/9/19 周五,208,历史回顾,(1),下述事件（大致）标志着机器学习正式成为一个学科,1983,年，,R.S.Michalski,等人撰写机器学习：通往人工智能的途径一书,1986年，,Machine Learning,杂志创刊,与人工智能乃至计算机科学中很多其他分支学科相比，机器学习还非常年轻、很不成熟,以,Tom Mitchell,的,经典教科书（,McGraw Hill,出版社，,1997,）为例，很难看到基础学科（例如数学、物理学）教科书中那种贯穿始终的体系，也许会让人感到这不过是不同方法和技术的堆砌,2025/9/19 周五,209,历史回顾,(2),主要范式的发展：,80,年代中叶以前：符号主义，代表：,ILP,受到传统人工智能研究的深刻影响，以逻辑推理为基础,80,年代中叶至,90,年代初：连接主义，代表：,NN,对传统人工智能的批评：,“,看上去漂亮，但解决不了实际问题,”,对上述批评，,AI,的不同分支学科实际上都做出了自己的回应，,ML,的回应是连接主义受到重视,NN,并不漂亮（至少在理论体系上远远没有,ILP,那么漂亮），但解决了很多实际问题,2025/9/19 周五,210,历史回顾,(3),90,年代中叶至今：统计学习，代表：,SVM,NN,虽然解决了不少问题，但解决问题时的,“,试错性,”,引来了,“,trick,”,的批评,作为回应，统计学习开始占据支配地位。虽然,SVM,仍然有,“,试错性,”,，但毕竟在理论基础上比,NN,漂亮得多（实际上，统计学习与连接主义一脉相承）,现在：？,统计学习并不是万能的，有很多问题不能解决（或不能很好地解决），例如结构化数据的学习,作为回应，以逻辑为基础的符号主义与统计学习的结合开始受到重视,2025/9/19 周五,211,从主要范式的发展可以看出，,ML,实际上是一个应用驱动的学科，其根本的驱动力是,“,更多、更好地解决实际问题,”,由于近,20,年的飞速发展，机器学习已经具备了一定的解决实际问题的能力，似乎逐渐开始成为一种,基础性、透明化的,“,支持技术、服务技术,”,基础性：在众多的学科领域都得以应用,（,“,无所不在,”,）,透明化：用户看不见机器学习，看见的是防火墙、生物信息、搜索引擎；,（,“,无所不在,”,）,“,机器更好用了,”,(,正如,CALO,的一些描述：,“,you won,t leave home without it,”,；,”,embodied as a software environment that transcends workstations,PDA,s,cell phones,”,),似乎的趋势,“,普适机器学习”,2025/9/19 周五,212,作为支持和服务技术的,“,普适机器学习,”,带来了挑战和机遇：,出现了很多被传统,ML,研究忽视、但非常重要且尚无好的解决方案的问题,（下面将以医疗和金融为代表来举几个例子）,ML,支持和服务的学科领域越多，新问题越多,ML,与众多学科领域产生了交叉，而交叉领域正是大有可为处,挑战与机遇,2025/9/19 周五,213,医疗：,以乳腺癌诊断为例，,“,将病人误诊为健康人的代价,”,与,“,将健康人误诊为病人的代价,”,是不同的,金融：,以信用卡盗用检测为例，,“,将盗用误认为正常使用的代价,”,与,“,将正常使用误认为盗用的代价,”,是不同的,传统的,ML,技术基本上只考虑同一代价,如何处理代价敏感性？,在教科书中找不到现成的答案，,例如：,Tom Mitchell,Machine Learning,McGraw-Hill,1997,Nils J.Nilsson,Introduction to Machine Learning,draft 1996-2004,例子,1,：代价敏感,2025/9/19 周五,214,医疗：,以乳腺癌诊断为例，,“,健康人,”,样本远远多于,“,病人,”,样本,金融：,以信用卡盗用检测为例，,“,正常使用,”,样本远远多于,“,被盗用,”,样本,传统的,ML,技术基本上只考虑平衡数据,如何处理数据不平衡性？,在教科书中找不到现成的答案,例子,2,：不平衡数据,2025/9/19 周五,215,医疗：,以乳腺癌诊断为例，需要向病人解释,“,为什么做出这样的诊断,”,金融：,以信用卡盗用检测为例，需要向保安部门解释,“,为什么这是正在被盗用的卡,”,传统的,ML,技术基本上只考虑泛化不考虑理解,如何处理可理解性？,在教科书中找不到现成的答案,例子,3,：可理解,2025/9/19 周五,216,走向普适机器学习,把机器学习真正当成一种支持技术、服务技术，,考虑不同学科领域对机器学习的需求，找出其中具有共性的、必须解决的问题,，并进而着手研究,一方面可以促进和丰富,ML,本身的发展，另一方面可以促进使用,ML,技术的学科领域本身的发展,作为,“,应用基础,”,，与,“,ML,应用,”,有根本的区别：,基础性：不是直接做应用，而是做,“,更广泛的应用,”,或,“,更成功的应用,”,所需要的方法和技术,广泛性：重点不是去解决单一应用所面临的问题，而是要解决众多应用领域所面临的共性问题,2025/9/19 周五,217,