多激活函数的立体神经网络设计.pdf
《多激活函数的立体神经网络设计.pdf》由会员分享,可在线阅读,更多相关《多激活函数的立体神经网络设计.pdf(6页珍藏版)》请在咨信网上搜索。
1、第2 2 卷第3期2023年9 月济源职业技术学院学报Journal of Jiyuan Vocational and Technical CollegeVol.22No.3Sep.2023多激活函数的立体神经网络设计王春波,果福明(黑龙江财经学院财经信息工程学院,黑龙江哈尔滨150 0 2 5)摘要:合适的激活函数和参数可大幅提高神经网络预测的准确率,因此,工作人员会耗费大量时间和精力对激活函数进行多轮对比测试,通过评价指标的表现做出最终选择。为减少这种无效科研工作时间,建立了激活函数池,将传统神经网络进行叠加,形成了立体神经网络。该网络可对激活函数池中的多个函数同时进行训练,自动调整参数,
2、通过ROC和AUC对各个维度的网络进行评价,选出主网络对未知数据进行预测。该立体神经网络可以帮助工作人员节省大约2 5%的手工比对和调整参数时间,预测准确率与使用正确激活函数的传统神经网络持平。关键词:人工神经网络;激活函数;评价指标;ROC;AUCD0I:10.3969/j.issn.1672-0342.2023.03.012中图分类号:TP183人工神经网络(artificial neural networks,ANNs)或称作连接模型(connection model,CM),它可根据设定的激活函数,进行分布式并行信息处理。合适的激活函数,对神经网络输出结果有着决定性的作用。通常,为了选
3、择最适合的激活函数,工作人员往往要做大量的测试和比对工作为了让工作人员从重复枯燥的工作中解脱出来,拟通过启发法和结果验证法,以现有神经网络模型为基础,设计一种基于激活函数池的多维立体神经网络,允许该网络能自动比较激活函数池中所收录的激活函数的性能指标,进而选择出最优的激活函数。一、建立激活函数池激活函数(activation functions,A F)也称激励函数,是人工神经网络的神经元上运行的函数,负责将神经元的输入映射到输出端。在图1的单个神经元中,输入与权重w相乘,其结果求和后与偏置值相加,作为另外一个函数的输人得出结果y,这个函数就是激活函数。该神经元运算过程参考公式(1)、(2)。
4、2=Wix+W2*2+Wx;+.+wmxm+0。(1)(2)收稿日期:2 0 2 3-0 4-2 2基金项目:黑龙江财经学院校级科研课题(XJZD202308)作者简介:王春波(19 7 8 一),男,黑龙江海伦人,副教授,研究方向为软件工程、机器学习与大数据挖掘。62文献标识码:Ay=f(z2)。文章编号:16 7 2-0 342(2 0 2 3)0 3-0 0 6 2-0 6X1W1X2:W2m-1Wm-1Wmxm输入激活函数并不唯一,常用的激活函数有:阶跃函数、Sigmoid 函数、Tanh函数、ReLU函数等2 。上述函数对应的数学公式参考公式(3)一(6)。函数池是用于收录若干激活函
5、数,并根据函数的数学公式逐一编程实现,以备调用的一种数据结构。阶跃函数:y=step(z)。(z 0,s t e p(z)=l;z0,step(z)=0)(3)Sigmoid 函数:=1+(1(-8z+8)(4)Z激活函数权重图1激活函数王春波,果福明:多激活函数的立体神经网络设计Tanh 函数:y:-ee+eReLU 函数:y=max(0,z)。(z 0,y=z;z 0,y=0)(-8 z+8)(5)(6)二、构建多维立体网络传统神经网络一般由输人层、隐含层和输出层构成,如图2 所示。11一输入此类神经网络需要提前设定激活函数,当发现结果不如意时,需要重新调整。为了能让神经N个隐含层图2 传
6、统神经网络网络允许设定多个激活函数,可将原有单维度的神经网络进行叠加3,如图3所示。输出第1维第2 维第n维输入N个隐含层输出图3立体神经网络总数在图3所示的网络中,每一个维度的神经网络除激活函数以外,其它结构均保持一致。每一个维度都是一个完整的神经网络,它们共享输入,但每一层的训练保持独立4。因此,在训练结束后,每一层都会有独立的输出结果,这个结果将作为选择激活函数的依据。三、评价各个维度网络输出通过接收者操作特征曲线(receiver operating表1ROC定义真实值P预测P输出n总数characteristic curve,RO C)计算曲线下面积(areaunder curve,
7、AUC),对各个维度的网络进行打分,该分值能够有效评价立体神经网络各个维度预测效果。(一)ROC 和AUC 的定义ROC,又称感受性曲线,其主要针对的是二分类的情况。设原始类为p(p o s i t i v e)、n(n e g a t i v e),分类后的类别为p、n。排列组合后得到4种结果,如表1 所示。n真阳性(true positive,TP)伪阳性(false positive,FP)伪阴性(false negative,FN)真阴性(true negative,TN)PNPN63济源职业技术学院学报在表1中,可得到四个指标,分别是:TP、FP、FN、T N。RO C 空间将伪阳性
8、率(false positiverate,FPR)定义为X轴,真阳性率(true positiverate,TPR)定义为Y轴,遍历网络的所有阈值,会得到一系列FPR值和TPR值,将这些值在ROC空间内连成线,就得到ROC,参考图4所示。其中FPR和TPR的解释及计算如下。TPR:在所有实际为阳性的样本中,被正确地判断为阳性之比率,计算方法参考公式(7)。TPR=TP/(TP+FN)。FPR:在所有实际为阴性的样本中,被错误地判断为阳性之比率,计算方法参考公式(8)。FPR=FP/(FP+TN)。ROC空间1.00.9-0.80.7-0.60.4-0.3-0.2-0.1-0.00.00.1 0
9、.20.30.4FPR图4ROC示意图图4中,ROC所覆盖的区域即为AUC(图4中阴影区域),该值介于0 和1之间,可以直观地评价分类器的好坏,值越大越好。(二)计算多分类网络的AUC神经网络的输出并不都是二分类,也可能是多分类。通过对神经网络结果进行编码,也可以绘制多分类神经网络的ROC,进而计算AUC5假设测试样本个数为m,类别个数记为n(分类标签分别为:1,2,,n)。可以将这些样本及对应的标签表示为矩阵形式,每行一个样本,每列为该样本是否属于该分类,从而形成一个m行n列的标签矩阵Lmxn,参考表2。在训练完成后,网络会计算出测试每个样本在各个分类下的概率,可生成一个行n列的矩阵,每一行
10、表示样本在各个类别下的概率,记该矩阵为P,参考表3。64表2 标签矩阵LID分类1ml1m2m3m4m5m6(7)IDmlm2(8)m3m4m5m6对每种分类,都可以从矩阵P中得到m个测试样本在该分类下的打分(矩阵P中的列),从矩阵L中获取样本的分类,从而形成一个类似二分AUC类的得分矩阵,以表2 和表3为例,得出分类1的打分矩阵,参考表4。表4分类1标签概率对应矩阵ID分类1-标签ml10.60.70.80.9分类2010010001表3根概率矩阵P分类1分类20.620.400.20.350.450.260.370.510.460.180.140.76分类1-概率0.621.0m2m3m4
11、m5m6根据表4所示矩阵,可计算出各个阈值下的预测分类,例如取值分别为0.5和0.4,可得出表5所示的预测结果。表5分类1预测结果ID分类1分类1预测分类(0.5)预测分类(0.4)ml10.62m200.2m31m400.37m500.46m600.14依据表5,可分别得出阅值0.5和0.4的ROC 矩阵,参考表6 和表7。分类3010010分类30.180.450.290.120.360.1600.210.4500.3700.4600.1411000.450000010王春波,果福明:多激活函数的立体神经网络设计表6 ROC 矩阵(0.5)真实值Pn预测P输出n总数表7ROC 矩阵(0.4
12、)真实值Pn预测2输出n总数依据公式(7)和(8),可分别计算出阈值0.5和0.4条件下TPR和FPR的值:TPRo.5=0.5、FPRo.s=0、T PRo.4=1、FPRo.4=0.2 5。遍历所有可能阈值即可获得该分类在ROC空间内的ROC6-,由于有n个分类,根据该方法可获得n个ROC,只需依次计算同一阈值下,每个分类的TPR和FPR的平均值,即可获得该模型的AUC。(三)动态设置主网络通过计算每个维度神经网络的AUC,选取AUC最大的那个网络作为主网络,输出结果。通过训练好的网络进行预测后,工作人员会对结果是工是模型训练将数据加人到样本集否图5立体神经网络程序流程示意图进行必要的修正
13、,修正后的结果和输人数据会充实到训练样本中,在适当的时候重新对网络进行总数训练,更新各个维度网络的AUC。当某个时刻,其它网络的AUC超过作为主网络使用的AUC值时,10142410324否加载配置文件读取模型参数加载要预测的数据启动主网络进行分类输出预测结果对结果手动校正15总数33可切换主网络,从而达到动态切换为主网络的目的。四、立体神经网络的设计与实现立体神经网络程序的实现过程8 可参考图5。在图5所示的流程图中,标识的地方,在程序实现时应重点考虑9 :标识:为了充分利用CPU或GPU资源,此处应使用多线程实现,可有效减少训练时间,提高计算机资源利用率10 标识:由于启用多线程,各个维度
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 激活 函数 立体 神经网络 设计
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【自信****多点】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【自信****多点】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。