基于代价敏感思想和自适应增强集成的SVM多分类算法.pdf
《基于代价敏感思想和自适应增强集成的SVM多分类算法.pdf》由会员分享,可在线阅读,更多相关《基于代价敏感思想和自适应增强集成的SVM多分类算法.pdf(3页珍藏版)》请在咨信网上搜索。
1、Microcomputer Applications Vol.39,No.9,2023文章编号:10 0 7-7 57 X(2 0 2 3)0 9-0 0 0 1-0 3基于代价敏感思想和自适应增强集成的SVM多分类算法基金项目微型电脑应用2 0 2 3年第39 卷第9 期何旭,席佩瑶,辛云宏*(陕西师范大学物理学与信息技术学院,陕西,西安7 10 0 7 2)摘要:针对数据识别分类在传统的支持向量机(SVM)个体分类器上正确识别率不理想的问题,提出一种基于代价敏感思想(cost-sensitive)和自适应增强(AdaBoost)的SVM集成数据分类算法(CAB-SVM)。在自适应增强算法每
2、次选代训练SVM弱分类器之前,根据样本总数设置初始样本权值,并抽取样本组成临时训练集训练SVM弱分类器。其中在权重选代更新阶段,赋予被分错样本更高的误分代价,使得被分错样本权重增加更快,有效地减少了算法选代次数。同时,算法迭代过程极大地优化了个体分类器的识别鲁棒性能,使得提出的CAB-SVM算法获得了更优越的数据分类性能。利用UCI数据样本集的实验结果表明CAB-SVM分类算法的正确识别率高于SVM和SVME算法。关键词:支持向量机;自适应增强算法;代价敏感思想;数据识别分类中图分类号:TP391Based on Cost-sensitive Thought and AdaBoost Inte
3、gration(College of Physics and Information Technology,Shaanxi Normal University,Xian 710072,China)Abstract:Aiming at the problem that the correct recognition rate of data recognition and classification is not ideal on the tradi-tional support vector machine(SVM)individual classifier,an integrated da
4、ta classification algorithm based on cost-sensitiveand AdaBoost SVM(CAB-SVM)is proposed.This method first sets the initial sample weights according to the total number ofsamples before training the SVM weak classifier in each iteration of AdaBoost algorithm,and extracts samples to form a tempo-rary
5、training set to train the SVM weak classifier.Among them,in the weight iteration update stage,a higher misclassificationcost is given to the wrong sample,so that the weight of the wrong sample increases faster,and the number of algorithm itera-tions is effectively reduced.At the same time,the algori
6、thm iterative process greatly optimizes the robust performance of indi-vidual classifiers,which makes the proposed CAB-SVM algorithm obtain better data classification performance.The experi-mental results,by the UCI data sample set,show that the correct recognition rate of the CAB-SVM classification
7、 algorithm ishigher than that of the SVM and SVME algorithms.Key words:SVM;AdaBoost algorithm;cost-sensitive thought;data recognition and classification0引言在科学研究和实际应用中,人工智能1-2 1越来越受到研究者的青睐,而数据挖掘是人工智能重要组成部分,数据分类作为数据挖掘的基本手段和重要方法,也被深入研究和优化。文献 3 为提高下肢表面肌电信号步态识别的准确性,提出了一种基于粒子群(PSO)算法优化SVM的模式识别方法;文献 4 将最小闭
8、合球算法引人AdaBoost-SVM算法框架中构成CSVM算法;文献 5 提出了基于贝叶斯分类器和Boosting算法的SVM组合模型,有效提高了软测量模型的泛化能力;文献6 提出了自适应增强的SVM集成算法(SVME)在一定程度上提高了对风机故障类型诊断的识别正确率。本文通过采用SVM对数据样本进行识别分类,提基金项目:国家自然科学基金(6 17 7 2 32 5);陕西省自然科学基金(2 0 16 GY-110)作者简介:何旭(1996 一),女,亿佬族,硕士,研究方向为机器学习、红外小目标检测;席佩瑶(1996 一),女,硕士,研究方向为机器学习、红外小目标检测。通信作者:辛云宏(196
9、 7 一),男,博士,教授,研究方向为微弱光电信号检测与处理、被动目标定位跟踪、多传感器信息融合。1文献标志码:ASVM Multi-classification AlgorithmHE Xu,XI Peiyao,XIN Yunhong*1 CAB-SVM 算法CAB-SVM算法的基本框架如图1所示,首先输人样本数据集,利用AdaBoost算法迭代训练SVM弱分类器,同时计算弱分类器的分类误差和在弱分类器中所占权重。在权重更新阶段,要增加被分错样本权值,为了加快这部分样本权值增加,引入代价敏感思想,即当被分错的样本权值快速增加,被正确分类的样本权值加快减小。更新结束后得到新的样本集的权重分布,
10、再抽取样本组成临时训练集训练下一出一种基于代价敏感思想和自适应增强的SVM集成数据分类算法(CAB-SVM)。通过实验结果表明,CAB-SVM集成算法与个体SVM和SVME集成算法相比正确识别率提高了。Microcomputer Applications Vol.39,No.9,2023个新的SVM弱分类器。继续进行迭代训练,直至结束。最后将训练出的所有SVM弱分类器根据权重线性相加,得到强分类器集成模型。SVMSVM初始入样本弱分弱分SVM类器类器弱分分类所占类器错误分误差权重图1CAB-SVM算法体系结构1.1支持向量机支持向量机是在结构风险最小化门原则的基础上提出的一种机器学习方法,它是
11、定义在特征空间上间隔最大的分类器。对于实现二分类问题,假设训练集G中存在d维t个样本,G=(t,y),其中a;ER,yE+1,1),i=l,t。超平面()十b=0把这些样本分类,设定决策函数为f()=sign(wx+b)接下来引入松弛变量;和松弛因子以构造约束最优化问题,构造Lagrange函数,再对、b、;求偏导,分别使其等于0,根据KKT条件,可得到和b的最优解*和6*:b=y-ai y:(2i 2,)(2)i-1W*一i=1再将最优解和b*代人式(1),对于引人核函数K(ai,y)的核支持向量机的情况,判别函数为f()=sign(Z1.2构建CAB-SVM模型算法AdaBoostL81算
12、法在1995年由Freund等提出,是典型的Boosting算法,AdaBoost-SVM算法近年来被许多有关学者广泛关注 9。本文提出基于SVM分类器上引人自适应增强算法和代价敏感思想 10-11的分类算法CAB-SVM,详细流程图见算法1。算法1:CAB-SVM算法步骤输人:训练样本集X=(a t.y t)输出:H()1:式(5)计算初始化样本权值分布D12:计算每类样本的数目nk.3:式(9)计算样本的错分代价C4:forq=1,Qa.式(7)计算抽中概率b.优化参数。和cc.训练弱分类器d.式(8)计算分类误差ege.式(9)计算分类器所占权重gf.式(10)(11)更新训练集的权值分
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 基于 代价 敏感 思想 自适应 增强 集成 SVM 分类 算法
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【自信****多点】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【自信****多点】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。