复杂光照条件下自适应的车脸重识别模型.pdf
《复杂光照条件下自适应的车脸重识别模型.pdf》由会员分享,可在线阅读,更多相关《复杂光照条件下自适应的车脸重识别模型.pdf(9页珍藏版)》请在咨信网上搜索。
1、第 49卷 第 8期2023年 8月Computer Engineering 计算机工程复杂光照条件下自适应的车脸重识别模型马娜1,温廷新1,贾旭2,李晓会2(1.辽宁工程技术大学 工商管理学院,辽宁 葫芦岛 125105;2.辽宁工业大学 电子与信息工程学院,辽宁 锦州 121001)摘要:为提高车脸特征提取对于复杂光照条件的自适应性,降低图像采集过程中光照变化对车脸重识别带来的影响,提出一种对光照强度变化具有较好鲁棒性的基于自适应特征提取的车脸重识别模型。利用 YOLOv3模型对采集的图像进行预处理后,采用改进的 MobileNetV3-Small模型提取车脸图像的原始特征。由于光照条件变
2、化时不同类型的车脸特征受影响程度不同,因此通过训练获得 2种特征转换矩阵,将原始特征划分为不受光照条件影响的稳定特征和易受光照条件影响的易变特征。在训练网络模型时,对鉴别网络的输出结果进行信息熵约束,保证样本间稳定特征分布的一致性,同时通过融合稳定特征和基于时间注意力机制调整的易变特征,实现对车脸样本的有监督学习。实验结果表明,在 3种车脸图像数据集中,该模型的识别准确率分别达到 0.866、0.872、0.923,较对比模型中的最优值提升了 0.033、0.026、0.080,并且对光照差异较大的车脸图像对也能获得较好的识别效果。关键词:车脸重识别;鉴别网络;有监督学习;自适应特征提取;时间
3、注意力机制开放科学(资源服务)标志码(OSID):中文引用格式:马娜,温廷新,贾旭,等.复杂光照条件下自适应的车脸重识别模型 J.计算机工程,2023,49(8):275-282,290.英文引用格式:MA N,WEN T X,JIA X,et al.Adaptive vehicle face re-identification model under complex illumination conditions J.Computer Engineering,2023,49(8):275-282,290.Adaptive Vehicle Face Re-identification Mode
4、l Under Complex Illumination ConditionsMA Na1,WEN Tingxin1,JIA Xu2,LI Xiaohui2(1.School of Business Administration,Liaoning Technical University,Huludao 125105,Liaoning,China;2.School of Electronics and Information Engineering,Liaoning University of Technology,Jinzhou 121001,Liaoning,China)【Abstract
5、】To improve the adaptability of vehicle face feature extraction to complex illumination conditions and reduce the impact of illumination variation on vehicle face re-identification during image acquisition,this study proposes an adaptive feature extraction-based vehicle face re-identification model
6、with better robustness to illumination intensity variations.First,the captured image undergoes preprocessing based on the YOLOv3 model,following which an improved MobileNetV3-Small model extracts the original features of the vehicle face image.Then,because different types of vehicle face features ar
7、e affected variably by alterations in illumination conditions,two feature transformation matrices obtained through training allow for the division of original features into stable features that are not influenced by illumination variation and volatile features that are easily influenced by illuminat
8、ion variation.Finally,when training the network model,the proposed discrimination network ensures distribution consistency of stable features among samples by constraining the information entropy of output results.Concurrently,supervised learning of the model is achieved by fusing the volatile featu
9、res that are adjusted based on the time attention mechanism and stable features.The experimental results show that for three vehicle face image datasets,the recognition accuracies of the proposed model are 0.866,0.872,and 0.923,which are improvements of 0.033,0.026,and 0.080,respectively,over the be
10、st values of the comparison models.Particularly,for pairs of vehicle images with large differences in illumination,the proposed model still achieves superior recognition performance.【Key words】vehicle face re-identification;discriminant network;supervised learning;adaptive feature extraction;time at
11、tention mechanismDOI:10.19678/j.issn.1000-3428.0065453基金项目:国家自然科学基金(61802161);辽宁省教育厅高等学校基本科研项目青年项目(LJKQZ2021142);辽宁省应用基础研究计划(2022JH2/101300279)。作者简介:马 娜(1985),女,讲师、博士研究生,主研方向为机器学习、智能决策;温廷新、贾 旭,教授、博士;李晓会,副教授、博士。收稿日期:2022-08-08 修回日期:2022-10-05 Email:开发研究与工程应用文章编号:1000-3428(2023)08-0275-08 文献标志码:A 中图分类
12、号:TP391.42023年 8月 15日Computer Engineering 计算机工程0概述 传统的套牌车辆检测更多依赖于人工查阅监控视频,而这种人工检测的方式将耗费大量人力与时间。因此,与行人重识别技术1类似,对车辆进行重识别的研究具有重要理论意义与实用价值2。受安装位置与角度的限制,摄像头只能采集到车辆的车脸区域,相对于整车图像来说有效特征较少。此外,由于同一车辆被 2 次拍摄的时间一般是不一致的,使得不同图像的采集光照强度存在一定差异,也会使识别效果受到一定程度的影响。基于以上分析,本文提出一种对光照条件变化具有较好鲁棒性的车脸重识别模型。模型设计的创新之处主要体现在以下 2 个
13、方面:1)考虑光照条件对采集图像的影响,通过训练自适应地将车脸特征划分为不受光照影响的稳定特征与易受光照影响的易变特征,并基于鉴别网络保证样本间稳定特征的一致性;2)考虑光照条件与图像采集时间之间的关联性,利用时间注意力机制对图像采集时间与易变特征的变化情况进行建模,重新确定易变特征在识别过程中的可信度,从而保证模型对于光照变化的鲁棒性。1相关研究 当前,许多学者围绕车辆重识别问题从多角度展开了研究,具体如下:1)关于特征表示的研究大致可分为人工特征提取与深度特征表示 2 个方面。在人工特征提取方面,文献 3-4 分别提出 BoW 模型与 LOMO 模型,将行人重识别模型直接应用到车辆重识别中
14、。随着深度学习在计算机视觉领域的广泛应用,其在处理车辆重识别问题上也取得了较好的效果,在相关研究中:文献 5-6 提出 PROVID 模型与 DRDL 模型,分别基于 GoogLeNet 与 VGGNet 来提取车辆的特征;文献 7 提出深度联合判别学习模型,对三元组卷积神经网络的损失函数进行了改进;文献 8 提出一种轻量级卷积神经网络结合空间金字塔的识别模型,进一步提升了模型的有效性;文献 9 提出将图网络与深度神经网络相结合的模型,更全面地探索了多尺度特征图的空间意义。2)相似性度量对于车辆重识别也是较为关键的技术。在相关研究中:文献 10 基于欧氏距离来测量图像在有鉴别零空间中的相似性;
15、文献 11 提出基于群敏感三元组嵌入深度度量学习的方法;文献 12 提出基于三重约束的网络模型训练方法;文献 13 提出一种异类关系互补网络,构建了更为鲁棒的车辆特征,并设计了相机敏感评估策略。3)传统的深度学习方式虽然取得了一定的效果,但忽略了视角变化对车辆重识别产生的影响。对此,在相关研究中:文献 14 基于方向不变嵌入特征 来 解 决 视 角 变 化 对 车 辆 重 识 别 的 影 响;文献 15-16 提出的对抗性双向长短期记忆网络和双向循环网络同样有效解决了车辆重新识别中的视角变化问题;文献 17 提出基于解析的视图感知嵌入网络,实现了车辆特征的有效对齐;文献 18 提出的部分对齐网
16、络也较好地解决了车辆错位问题。4)近年来,生成对抗网络在计算机视觉领域取得了良好的效果,也被应用于车脸重识别。在相关研究中:文献 19-20 分别基于嵌入对抗网络和条件生成网络,利用原始图像生成了类似的车辆图像;文献 21 基于生成对抗网络提出一个视图变换模型用于生成不同视图下的车辆图像,同时也克服了视角问题。5)注意力机制旨在专注于与任务相关的信息,也被引入用于解决车辆重识别问题。在相关研究中:文献 22 提出包含 1个主干和 2个显著分支的模型,对车辆的全局和显著部分特征进行了有效的特征表示;文献 23 提出视点感知注意力模型,通过对抗结构进一步提取了车辆核心区域的有效特征;文献 24 提
17、出多尺度注意力框架,通过融合全局和局部特征获得了更全面的特征表示;文献 25 通过使用注意力机制堆叠多头机制来修改网络,进一步提升了识别准确率;文献 26 将图网络与注意力机制进行结合,通过消息传播来更新图节点的特征;文献 27 提出一种局部注意和多属性的学习网络,提高了车辆重识别的辨别力和鲁棒性。6)为缓解车辆图像人工标注的压力,迁移学习近年来也被应用于车辆识别。在相关研究中:文献 28 提出一种卷积神经网络与迁移学习融合的模型结构,使用来自互联网的数据标签实现车辆的识别;文献 29 提出的深度迁移模型同样使识别具有较好的普适性;文献 30 提出一种多领域学习方法,将真实世界和合成数据结合起
18、来共同训练模型;文献 31 提出一种基于域间自适应标签平滑正则化的多域联合学习方法,生成了更为丰富的训练数据。7)一些学者也将车辆识别问题看作是一种流形特征学习,并将深度玻尔兹曼机(Deep Boltzmann Machine,DBM)应用到车辆特征学习中。在相关研究中:文献 32 采用 DBM 学习车辆的多层次特征,并通过训练学习到潜在的流形知识;文献 33 设计一种基于 DBM 与双线性投影的模型,在保证效果的同时,降低了模型规模并缩短了处理时间;文献 34提出一种混合判别受限玻尔兹曼机模型,使识别对于光照变化和天气条件具有较好的鲁棒性。8)近年来,也有一些学者利用非负矩阵分解在构造基图像
19、上的优势,将其思想应用到车脸重识别中35-37。2车脸图像预处理 在摄像头采集的图像中,只有目标车辆区域对276第 49卷 第 8期马娜,温廷新,贾旭,等:复杂光照条件下自适应的车脸重识别模型于车脸重识别是有价值的,而其他区域为无效区域。因此,在重识别之前,需要先对采集的图像进行车脸区域分割38。YOLOv3模型因具有运行速度快与检测效果好的优点,被用于车脸区域的分割。之后,对分割后的车脸图像进行归一化处理,尺寸为224224像素。采集的图像与分割后的图像分别如图 1(a)和图 1(b)所示。3本文模型 3.1模型结构本文提出模型的目的在于:当输入 2 幅车脸图像x()1与x()2时,能够自动
20、输出匹配结果y,从而判别出 2幅车脸图像是否表示同一车辆。本文模型结构如图 2所示,其中包括 5个部分,以结构结构表示:结构实现了基于深度神经网络的车脸初始特征提取;结构实现了车脸图像稳定特征与易变特征的划分;结构实现了基于时间注意力机制的易变特征调整;结构通过鉴别网络保证了不同车脸图像中包含的稳定特征的分布一致性;结构实现了基于稳定特征与调整后易变特征融合的车脸重识别有监督学习。3.2基于 MobileNetV3网络的初始特征提取深度神经网络特征提取模型的输入由成对的车脸图像x()1与x()2组成。其中,x()1与x()2可以是表示同一车辆的正样本对,也可以是表示不同车辆的负样本 对。在 众
21、 多 深 度 神 经 网 络 模 型 中,由 于MobileNetV3-Small模型是一种参数少、复杂度小的轻量级网络,在保证性能的同时简化了网络结构39,因此本文选用该模型进行车脸特征提取,见图 2 结构 中 的Gf。基 于 车 脸 图 像 的 特 点,对MobileNetV3-Small模型做如下修改:1)为降低边界效应,减小填充(padding)操作对提取特征真实性的影响,将 MobileNetV3-Small模型中的卷积核尺寸统一为3 3。2)由于车脸图像中各子区域(如车灯、后视镜、栅格等)之间具有稳定的位置关系,而车辆重识别又有较高的实时性要求,因此对 MobileNetV3-Sm
22、all模型结构做进一步的简化,删除其中 2个卷积层。综上,本文采用的改进 MobileNetV3-Small模型结构如表 1 所示,图像x()i经处理后得到的初始特征为f()i。3.3稳定特征与易变特征分离由于不同光照条件下采集的车辆图像存在一定的差异性,因此将车脸图像特征分为 2类:一类是不受光照影响的稳定特征(如形状特征、结构特征等),如图 3(a)所示;另一类是受光照影响的易变特征(如颜色特征等),如图 3(b)所示。图 1摄像头抓拍图像Fig.1The images captured by camera图 2模型结构Fig.2The model structure表 1改进 Mobil
23、eNetV3-Small模型结构 Table 1The improved MobileNetV3-Small model structure输入22422431121121656561628282428282414144014144014144814144877967796卷积核conv2d,33bneck,33bneck,33bneck,33bneck,33bneck,33bneck,33bneck,33bneck,33bneck,33conv2d,11通道膨胀16728896240120144288576输出通道16162424404048489696576使用SE激活函数HSRERERE
24、HSHSHSHSHSHSHS步长222121112112772023年 8月 15日Computer Engineering 计算机工程基于以上分析,对提取的车脸图像初始特征f()i做进一步划分。通过训练,自适应地学习到稳定特征与易变特征的作用矩阵S与V,见图2中的结构。稳定特征f()is与易变特征f()iv的获取如式(1)和式(2)所示:f()is=Sf()i(1)f()iv=Vf()i(2)其中:f()i Rn;f()is Rns;f()iv Rnv;S Rns n;V Rnv n;ns+nv=n。3.4基于时间注意力机制的易变特征调整车脸图像中存在一些容易受环境变化影响的易变特征(如夜间
25、行车会将车灯开启、车身颜色会随光线变化而改变等),如图 4所示。由图 4 可以看出,图像的光照条件很大程度上是受车脸图像采集时间影响的。为了使易变特征能够随图像采集时间不同而自适应调整,本文提出一种时间注意力矩阵Ft对易变特征f()iv进行作用,从而形成带有时间属性的易变特征f()itv,见图 2 中的结构。f()itv获取如式(3)所示:f()itv=Ftf()iv(3)其 中:Ft Rnv nv;t表 示 采 集 时 间 的 小 时 部 分,t 0123。3.5基于鉴别网络的特征分布一致性约束对所有类别的车脸图像来说,一些区域之间的位置关系是基本一致的,如前挡风玻璃、栅格、车标、车灯、后视
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 复杂 光照 条件下 自适应 车脸重 识别 模型
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【自信****多点】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【自信****多点】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。