生成式方法在戴面罩热红外人脸识别中的研究.pdf
《生成式方法在戴面罩热红外人脸识别中的研究.pdf》由会员分享,可在线阅读,更多相关《生成式方法在戴面罩热红外人脸识别中的研究.pdf(6页珍藏版)》请在咨信网上搜索。
1、187第40 卷第6 期2023年6 月真机仿计算文章编号:10 0 6-9348(2 0 2 3)0 6-0 18 7-0 5生成式方法在戴面罩热红外人脸识别中的研究郭诗嘉1,2,郭婷!,张天序2(1.武汉工程大学电气信息学院,湖北武汉430 2 0 5;2.华中科技大学图像识别与人工智能研究所,湖北武汉430 0 7 0)摘要:随着人工智能技术的发展,可见光人脸识别大放光彩。但是可见光无法解决面部有遮挡的问题,因此限制了它在国家安全方面的应用范围。因为可见光无法透过遮挡物从而被相机接收,所以丢失了大量信息。现实中如果佩戴面罩,鼻子、嘴巴、脸颊等大部分的特征将会丢失,则会导致可见光人脸识别的
2、识别率大大下降。而热红外技术有解决该问题的可能,因为人脸散发的热量可以透过面罩,被热红外相机获取。首先提出了一种面罩检测的神经网络,通过对目标检测方法进行改进,设计并实现了适用于热红外戴面罩检测的算法。实验表明,上述方法在保证检测精度的同时,具有更快的检测速度。在研究构建的数据集上,mAP为96.5%,Fps为38。其次,被面罩遮挡后,鼻子嘴巴等热可以透过面罩,并在热红外图像中有体现。利用佩戴面罩和未佩戴面罩的数据作为样本训练对抗生成网络,训练一个可以去除戴面罩样本的网络。最后提出一种九宫格损失函数,用于对去面罩后的人脸进行识别的方法。上述方法在采集8 6 名志愿者戴面罩和未戴面罩的中波红外图
3、像数据库中,进行了识别验证,识别率为8 9.6 8%。还提出了将来的工作方向,包括戴口罩人脸识别的研究。关键词:面罩;人脸识别;深度学习;中波热红外图像;生成模型中图分类号:TP183文献标识码:BResearch of Generative Method in Thermal InfraredFace Recognition with Face MaskGUO Shi-jia 1,2,GUO Ting,ZHANG Tian-xu?2(1.School of Electrical Information,Wuhan University of Engineering,Wuhan Hubei 4
4、30205,China;2.Institute of Image Recognition and Artificial Intelligence,Huazhong University of Scienceand Technology,Wuhan Hubei 430070,China)ABSTRACT:With the development of artificial intelligence technology,visible light face recognition is becomingmore and more popular.But visible light cannot
5、solve the problem of facial occlusion,so it limits its application in na-tional security.Because the visible light cannot pass through the occlusion and is received by the camera,a lot of in-formation is lost.In reality,most of the features such as nose,mouth and cheek are lost,which will lead to a
6、great de-cline in the accuracy of visible light face recognition.Thermal infrared technology can solve this problem because theheat emitted by the face can be captured by the thermal infrared camera through the mask.In this paper,a kind ofneural network for mask detection is proposed.Through improvi
7、ng the target detection method,an algorithm suitablefor thermal infrared mask detection is designed and implemented.The experimental results show that this method hasa faster detection speed while ensuring the detection accuracy.When the confidence threshold is 0.9 and the mini-mum cross-union ratio
8、 is 0.85,the detection accuracy is 98.54%.Secondly,after being covered by the mask,theheat such as nose and mouth can pass through the mask and be reflected in the thermal infrared image.In this paper,the data from both wearing masks and without wearing masks are used as samples to train the confron
9、tation generationnetwork,and a network that can remove wearing mask samples is trained.Finally,a nine-palace loss function is pro-posed for face recognition after mask removal.This method has been applied to the MWIR image database of 86 vol-unteers with or without face masks,and the recognition rat
10、e is 89.72%.This paper also puts forward the direction of收稿日期:2 0 2 1-0 9-0 7修回日期:2 0 2 1-0 9-15188future work,including the research on face recognition with masks.KEYWORDS:Mask;Face recognition;Deep learning;Medium wave thermal infrared image;Generation model1引言可见光的人脸识别技术已经广泛应用于各个领域。但可见光的人脸识别技术无法在
11、无外界光源的情况下进行工作,也无法对面部有遮挡物的人脸进行识别。当用面罩等遮蔽脸部时,基于反射的可见光相机无法探知被遮蔽的信息。COVID-19 是一场前所未有的危机,为了减少冠状病毒的传播,人们经常戴口罩保护自己。戴上口罩后,面部的某些部分被隐藏,这使得可见光人脸识别成为非常困难的任务。2020年,BadjiMokhtar等人通过丢弃可见光图像被遮蔽区域和深度学习的方法,来解决戴口罩人脸识别过程中的问题。2 0 2 0 年,Wang,Zhongyuan等人建立了目前世界上最大的真实可见光蒙面人数据集(largestreal-worldmaskedfacedataset),并且可以达到95%的
12、精度2 热红外图像是热辐射成像,它是根据物体的红外辐射差异成像,红外热成像仪能够把物体表面自然发射的红外辐射分布转变为可见图像3。当有面罩遮蔽脸部时,面部的热会以不可抵挡的趋势,通过热传导和热辐射的方式被热红外相机获取,这一技术可以弥补可见光相机完全丢失被遮挡部分特征的不足。目前世界上还没有公开发表过利用热红外技术针对面罩遮挡问题的解决方法。本文利用自主建立的HUST-MIRMaskFaceDatabase,其中包括8 6 名志愿者佩戴面罩和未佩戴面罩的数据,约2 7 万张。本文通过神经网络的方法,首先实现面罩的检测任务,之后实现去除面罩的技术,最后对去除面罩的图像进行识别。2戴面罩热红外人脸
13、识别算法流程本文热红外人脸识别的算法流程:采集戴面罩的热红外人脸图像,建立了自己的戴面罩的红外图像人脸数据库。本数据库采集了8 6 名志愿者的戴面罩和未戴面罩的热红外人脸数据,总计2 7 万张。之后将图像做灰度归一化处理。本文的算法均在该人脸数据库上测试。训练部分:)对于灰度归一化后的戴面罩和未戴面罩的热红外人脸图像,手动标记出图像中人脸的位置,送人卷积神经网络,进行代多次训练。生成面罩检测神经网络CNN1。将未戴面罩的热红外人脸图像和戴面罩的图像一起送人生成对抗网络学习,迭代训练出去除面罩网络CNN2。将去除面罩后的热红外人脸图像和未戴面罩的图像送人卷积神经网络CNN3训练特征提取器和分类器
14、测试部分:利用训练好的面罩检测网络CNN1进行验证,检测出是否戴面罩。利用训练好的去面罩网络CNN2,去除戴面罩样本的面罩。利用网络CNN3训练的特征提取器和分类器,对验证集中去面罩后的图像和未戴面罩的人(a)戴面罩的可见光图像(b)戴面罩的热红外人脸图像图1戴面罩的可见光和红外图像对比图脸图像进行识别。3热红外人脸的面罩检测算法3.1数据集的处理本文利用14位数据的中波红外热像仪,建立了华中科技大学中波面罩热红外数据库(HUST-MIRMaskFaceData-base)。H U ST-M I R M a s k Fa c e D a t a b a s e 包含8 6 名志愿者的热红外人脸
15、数据,每位志愿者均包含戴面罩的数据和未佩戴面罩的数据,共计2 7 万张。对热红外图像Img进行标准化处理,取最大灰度值为MAX,最小灰度值为MIN,对图像上所有像素进行如式(1)变换得到灰度归一化的图像Img。Img;-MIN;Img214(1)MAX,-MIN,在标记戴口罩和未戴面罩的人脸框时,选取眉毛为最上方,下巴处为最下方。标记2 50 0 0 张戴面罩的人脸图像和25000张未戴面罩的人脸图像。1893.2训练面罩检测的神经网络Yolov3是一种用于目标检测的算法4,其可以用于各种大小且不同形状的目标进行检测,直接将其用于热红外面罩检测中,其速度较慢,且误检框较多。人脸框近似为一个正方
16、形,且其在数据集中的大小范围可以预知。本文采用修改Yolov3网络的锚点框(anchor box)可以达到检测准确和速度快的效果。Yolov3修改前拥有三个规模的anchor box,大规模的anchorbox为(116,90),(156,198),(37 3,32 6)。中规模的适合一般大小的物体,anchorbox为(30,6 1),(6 2,45),(59,119)。小规模的感受野最小,适合检测小目标,anchorbox为(10,13),(16,30),(33,2 3)。本文的FastAnchor的算法通过设计两个规模的anchorbox,大规模的anchorbox为(37 9,38 7
17、),(2 51,2 92),(142,18 9),小规模的anchorbox为(190,193),(110,116),(54,45)。两种规模的框如图2所示。(a)大规模的三个anchorboxes(b)小规模的三个anchorboxes图2两种规模的anchorboxes标记S,张戴面罩和S,张未戴面罩的图像作为训练集,输人面罩检测网络中进行训练。本文次数(epoch)设置为200,批(batch)设置为8,输人图像设置为416*416,动量(mo me n t)设置为0.9,衰减(decay)设置为0.0 0 0 5,学习率(Ir)设置为0.0 0 1,色彩饱和度(saturation)设
18、置为1.5,曝光度(exposure)设置为1.5,色调变化范围(hue)设置为.18 ,训练时间为8 3个小时。3.3测试面罩检测的神经网络本文采用mAP作为热红外面罩检测的评价指标,采用Fps作为检测速率的评价指标,文中的检测网络在测试集上mAP为96.5%,Fps为38。检测未戴面罩如图3(a),检测戴面罩如图3(b)。(a)检测出未戴面罩的人脸(b)检测出戴面罩的人脸图3面罩检测结果图热红外人脸的面罩检测算法4.1训练去除面罩的神经网络当人脸佩戴面罩后,被面罩遮挡的部分的热依旧可以以热的形式透出,被红外热像仪捕捉。本文的思想是通过神经网络寻找有无戴面罩人脸之间的映射关系,之后通过映射关
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 生成 方法 面罩 外人 识别 中的 研究
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【自信****多点】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【自信****多点】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。