基于改进麻雀搜索算法的优化型极限学习机.pdf
《基于改进麻雀搜索算法的优化型极限学习机.pdf》由会员分享,可在线阅读,更多相关《基于改进麻雀搜索算法的优化型极限学习机.pdf(7页珍藏版)》请在咨信网上搜索。
1、第26卷第9期2023年9月软件工程 S O F T W A R E E N G I N E E R I N GVol.26 No.9Sep.2023文章编号:2096-1472(2023)09-0018-07DOI:10.19644/ki.issn2096-1472.2023.009.004收稿日期:2 0 2 3-0 2-0 3基金项目:国家自然科学基金(6 2 2 0 3 3 3 2);大学生创新创业训练计划项目(2 0 2 2 1 0 0 6 9 0 1 3)基于改进麻雀搜索算法的优化型极限学习机张恩辅,段冰冰,刘津平,马云鹏,金 音(天津商业大学信息工程学院,天津 300134);摘
2、 要:为提升极限学习机的性能,文章利用改进的麻雀搜索算法对极限学习机的参数进行优化。首先,提出一种菱形分组机制用于增加算法种群多样性和融合模拟退火思想改善算法陷入局部极值点的缺陷。其次,通过1 0个基准函数进行仿真测试,实验结果表明,改进的麻雀搜索算法在大部分测试函数上表现出更好的性能。最后,将改进的算法用于优化极限学习机的输入权阈值,通过基准数据集仿真测试,优化后的极限学习机在建模精度上平均提高了7.4%。关键词:极限学习机;麻雀搜索算法;分组机制;模拟退火中图分类号:T P 1 8 1 文献标志码:AA n O p t i m i z e d E x t r e m e L e a r n
3、 i n g M a c h i n e B a s e d o n I m p r o v e d S p a r r o w S e a r c h A l g o r i t h mZHANG Enfu,DUAN Bingbing,LIU Jinping,MA Yunpeng,JIN Yin(College of Information Engineering,Tianjin University of Commerce,Tianjin 300134,China); A b s t r a c t:In order to improve the performance of the Ex
4、treme Learning Machine(ELM),this paper proposes to optimize the parameters of the ELM with an Improved Sparrow Search Algorithm(ISSA).Firstly,a rhombus grouping mechanism is proposed to increase the diversity of the algorithm population and to improve the defect of the algorithm trapped in local ext
5、reme points by incorporating the Simulated Annealing idea.Then,the simulation test is carried out through 10 benchmark functions,and the experimental results show that ISAA has better performance on most test functions.Finally,ISSA is used to optimize the input weight threshold of the ELM.Through th
6、e simulation test of the benchmark data set,the optimized ELM has an average improvement of 7.4%in modeling accuracy.K e y w o r d s:Extreme Learning Machine;Sparrow Search Algorithm;grouping mechanism;Simulated Annealing0引言(I n t r o d u c t i o n)极限学习机1(E x t r e m e L e a r n i n g M a c h i n e,
7、E L M)是黄广斌教授于2 0 0 4年提出的一种单隐层前馈神经网络模型,该模型简单、运算速度高,具有较好的回归预测能力2。然而,E L M存在随机的权阈值,可能导致其出现稳定性差和泛化性能不高等问题,而群体智能优化算法可以解决以上问题。X U E等3于2 0 2 0年提出麻雀搜索算法(S p a r r o w S e a r c h A l g o r i t h m,S S A),但该算法仍存在种群多样性不足和易陷入局部最优等缺点,为进一步提高S S A的性能,S U N等4将混沌映射机制与柯西变异扰动策略结合,提升了原始算法的种群多样性,增强了全局搜索能力。L I U等5首先利用教与
8、学的策略扩大算法的搜索范围,其次结合滑动窗口技术对E L M的参数进行优化,最后应用于预测赤铁矿的研磨粒度,经过改进的第 26卷第 9期张恩辅等:基于改进麻雀搜索算法的优化型极限学习机E L M拥有更快的收敛速度和预测准确度,但算法的稳定性仍有待提高。为解决S S A存在的问题,本文提出一种改进的麻雀搜索算法(I m p r o v e d S p a r r o w S e a r c h A l g o r i t h m,I S S A)。首先在麻雀的位置更新策略中引入一种菱形结构的分组机制,可以有效地提升算法的种群多样性,其次在更新种群的最优值时,引入模拟退火的思想,增加种群的全局搜索
9、范围和获取最优解的概率,最后对I S S A的收敛精度和稳定性等进行测试,并应用于优化E L M的模型参数。实验结果表明:I S S A有更高的收敛精度和更好的稳定性,并且可有效地提高E L M的模型精度。1知识简介(K n o w l e d g e i n t r o d u c t i o n)1.1极限学习机E L M的核心是将单隐层神经网络的训练学习过程转化为求解线性最小二乘问题,再通过求解广义逆矩阵计算隐藏层与输出层连接权值。设E L M中目标函数的输出为公式(1):T=H(1)公式(1)中,H表示隐藏层的输出矩阵,表示隐含层与输出层的连接权值,T表示期望输出矩阵,具体表示如下:H
10、(W,b,X)=g(w1x1+b1)g(wlx1+bl)g(w1xN+b1)g(wlxN+bl)Nl(2)=1,2,l Tml(3)T=t1,t2,tN TmN(4)其中,N为样本个数,m为输出层神经元个数,l代表隐藏层神经元个数。连接权值可以通过最小二乘法求解公式(5):a r g m i nH-T(5)获得解如下:=H+T(6)公式(6)中的H+为矩阵H的广义逆矩阵。1.2麻雀搜索算法在麻雀搜索算法中,将麻雀主要分为探索者、追随者。探索者的任务主要是探索食物,而追随者的任务是跟随探索者觅食,这两类麻雀的角色在它们的竞争过程中可能发生互换,并且均会对周围环境保持警惕,以防止天敌的到来。在该模
11、型中规定,适应度值较优的麻雀角色为探索者,在捕获食物的过程中拥有优先权且有更宽阔的搜索范围,因此探索者位置的更新公式由公式(7)表示:Xt+1i,j=Xti,je x p-ii t e rm a x ,R2n2Xt+1P+Xti,j-Xt+1PA+L,其他(8)在麻雀种群位置不断更新的过程中,假设有1 0%2 0%的麻雀会意识到有危险发生,它们的初始位置将随机产生,并由公式(9)进行位置的更新。Xt+1i,j=Xtb e s t+Xti,j-Xtb e s t,fifgXti,j+KXti,j-Xtw o r s t(fi-fw)+,fi=fg(9)2改进的麻雀搜索算法(I m p r o v
12、 e d S p a r r o w S e a r c h A l g o r i t h m)2.1分组机制为增加麻雀种群的多样性和让种群分布更加均匀,本文将采用一种分组机制对麻雀追随者的位置进行更新。首先将所有的追随者按照适应度值从优到劣进行排序,其次根据混合蛙跳算法中的分组思想,将所有的追随者分为若干个大组6。我国城市流动人口网络是以菱形结构为核心的,这样的结构使得我国流动人口的变化相对稳定,也在一定程度上验证菱形结构的稳定性较强,最后将每一大组的麻雀根据菱形结构划分为三个小组,如图1所示,菱形结构上部2 0%的麻雀为高级麻雀,菱形结构下部2 0%的麻雀为低级麻雀,中间部分6 0%的麻
13、雀作为中级麻雀,级别越高麻雀的其适应度值更优7。在三类麻雀中,由于高级麻雀的学习能力较强,因此将其与探索者中最优的麻雀进行学习。中级麻雀的学习能力一般,因此将其与组内最优的麻雀进行学习,并利用一个非线性的动态权重值,让其学习速度随着迭代次数的增加而增大。低级麻雀的学习能力一般,因此利用它进行全局的搜索,可防止麻雀后期陷入局部最优。追随者的位置由公式(1 0)和公式(1 1)进行更新。图1 麻雀数量分布图F i g.1 D i s t r i b u t i o n m a p o f s p a r r o w p o p u l a t i o nXt+1p o s=Xt+1P+Xtp o
14、s-Xt+1PA+L,j4 t N u m5t x B e s t+Xtp o s-t x B e s tr a n d nw,其他 (1 0)w=c o s2ti t e rm a x (1 1)其中,t N u m为每大组的麻雀数量,t x B e s t为第i组最优麻雀的位置,r a n d n是一个均值为0、方差为1的标准正态分布随机数,t为当前的迭代次数,i t e rm a x为最大的迭代次数。p o s=n u m+g C n t(j-1)+i,n u m是探索者的数量,g C n t是划分的大组数量,i表示麻雀所在的大组序号,j表示麻雀在大组内的位置编号。2.2模拟退火思想麻雀
15、搜索算法的种群更新机制依赖于每一次的最优适应度91软件工程2023年9月值,并以贪婪的方式对最优位置和最优适应度值进行更换,因此在算法的后期容易产生陷入局部最优、全局的搜索范围变窄等现象。模拟退火算法8可以解决上述问题。模拟退火算法的全局搜索能力较强,它会根据算法的迭代次数评估算法获取最优解的可靠性,并以一定的概率接受“较差”的结果,有助于扩大麻雀种群在后期的整体搜索范围,获取到更高精度的解。因此,根据公式(1 2)对麻雀最优的适应度值及其位置进行更新。b e s t X=Xti,fb e s t=fti,ftir a n d(1 2)其中,b e s t X表示当前麻雀最优适应度值的位置,X
16、ti表示第i个麻雀在迭代第t次时的位置。fb e s t表示当前最优的适应度值,fti表示第i个麻雀在迭代第t次时的适应度值。T表示当前退火的温度值,r a n d表示一个(0,1)的随机数。当ftir a n d的条件下,同样对麻雀最优的适应度值及位置进行更新,从而在一定程度上提升了种群的多样性,避免了麻雀在后期的搜索过程中陷入局部最优解,并且平衡了算法的全局搜索和局部搜索能力。为了使I S S A的流程更加的简洁明了,给出其流程图如图2所示。图2 I S S A流程图F i g.2 I S S A f l o w c h a r t2.3基准函数集测试为了更好地展现I S S A算法的改进
17、效果,将I S S A分别与S S A3、P S O9、GWO1 0、B A1 1等经典群体智能优化算法进行对比。为了体现实验的公平性,此次测试设置相同的基础参数。所有群体智能优化算法的最大迭代次数i t e rm a x均为1 0 0 0,优化的问题变量维数d i m相同。为了测试算法在不同维度下函数的性能,分别将d i m设为1 0、3 0和5 0,并观察算法改进后的效果。在S S A和I S S A中,麻雀个体数量n均为1 0 0,探索者的占比为2 0%,追随者的占比为8 0%,并随机从麻雀种群中寻找2 0%的个体作为可以意识到危险会发生的物种,安全阈值S T均为0.8。模拟退火算法的初
18、始温度T为2 0 0 0 0,温度变化率为0.2。本次实验采用的C P U型号是I n t e l(R)C o r e(TM)i 7-8 5 6 5 U C P U 1.8 0 G H z,并在MA T L A B 2 0 2 0 b仿真软件上对代码进行编译和运行。由于每一次单独的实验具有偶然性,因此本实验将对基准函数集(表1)的1 0个函数进行测试,使算法对每个函数独立运行3 0次,并取平均收敛值和标准差作为实验结果。这两个性能指标越小,意味着算法的收敛精度越高、稳定性越好。实验最终结果记录在表2、表3和表4中,最优性能参数以加粗形式呈现。表 1 基准函数集Tab.1 Benchmark f
19、unction set函数函数表达式迭代次数/次取值范围理论最优值F1f(x)=ni=1(xi)21 0 0 0-1 0 0,1 0 00F2f(x)=ni=1xi+ni=1xi1 0 0 0-1 0,1 00F3f(x)=ni=1(ij=1xj)21 0 0 0-1 0 0,1 0 00F4f(x)=m a xxi1in1 0 0 0-1 0 0,1 0 00F5f(x)=n-1i=11 0 0(xi+1-x2i)2+(x2i-1)1 0 0 0-3 0,3 00F6f(x)=ni=1(i xi)4-r a n d o m0,1)1 0 0 0-1.2 8,1.2 80F7f(x)=ni=1
20、(-xis i nxi)1 0 0 0-5 0 0,5 0 0-4 1 8.9 8 2 9nF8f(x)=ni=1x2i-1 0 c o s(2 xi)+1 01 0 0 0-5.1 2,5.1 20F9f(x)=-2 0 e x p-0.2 s q r t1nni=1c o s(x2i)-e x p1nni=1c o s(2 xi)+2 0+e1 0 0 0-3 2,3 20F1 0f(x)=14 0 0 0ni=1x2i-ni=1c o s(xii)+11 0 0 0-6 0 0,6 0 0002第 26卷第 9期张恩辅等:基于改进麻雀搜索算法的优化型极限学习机 通过表2可以发现,I S
21、S A除了在函数F8、F9和F1 0的平均收敛值与S S A相等,剩余函数的平均收敛值均优于S S A。此外,尽管S S A在函数F7的标准差略优于I S S A,但I S S A的标准差在函数F4、F5和F6均小于S S A。表3中,I S S A除了在函数F8、F9和F1 0的平均收敛值与S S A相等,剩余函数的平均收敛值均优于S S A。尽管S S A在函数F6和F7的标准差略优于I S S A,但除了二者标准差在函数F8、F9和F1 0相等,I S S A的标准差均小于S S A。表4中,除了函数F7的标准差,I S S A在剩余函数的平均收敛值和标准差为全局最优。此外,在三个维度下
22、,I S S A在大部分的函数性能均优于G WO、P S O和B A。表 2 实验结果对比(d i m=1 0)Tab.2 Comparison of experimental results(dim=10)函数 性能I S S AS S AGWOP S OB AF1M e a n06.8 8 71 0-2 4 05.2 3 81 0-1 7 85.2 6 81 0-5 65.9 8 51 0-5S t d0002.7 3 71 0-5 51.4 8 81 0-5F2M e a n01.4 7 81 0-2 1 01.1 3 71 0-8 74.4 4 51 0-1 97.6 8 81 0-5
23、S t d006.0 6 71 0-8 71.3 7 31 0-1 81.4 8 71 0-5F3M e a n01.2 4 21 0-2 2 11.0 3 31 0-8 71.8 01 0-1 87.1 0 71 0-5S t d003.2 9 11 0-8 74.4 2 51 0-1 82.0 8 31 0-5F4M e a n 8.5 5 21 0-2 1 12.8 7 41 0-1 0 81.0 7 31 0-5 61.1 5 51 0-1 60.0 0 4S t d01.5 7 41 0-1 0 74.5 7 41 0-5 63.3 9 71 0-1 66.4 8 61 0-4F5M
24、 e a n9.1 9 71 0-82.7 8 61 0-65.9 3 02.6 6 30.9 2 8 7S t d3.4 0 71 0-78.6 1 01 0-60.5 3 71.1 7 91.7 9 9F6M e a n4.6 4 91 0-59.0 2 31 0-59.1 8 61 0-50.0 0 1 70.0 0 4S t d4.4 3 21 0-56.2 0 31 0-55.0 3 41 0-50.0 0 10.0 0 2F7M e a n-3 1 2 3.0 0 8-2 8 5 2.9 4 6-3 0 6 7.3 0 1-2 7 0 1.9 5 6-I n fS t d5 1 2
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 基于 改进 麻雀 搜索 算法 优化 极限 学习机
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【自信****多点】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【自信****多点】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。