基于面部多特征的驾驶员疲劳状态检测_陈立潮.pdf
《基于面部多特征的驾驶员疲劳状态检测_陈立潮.pdf》由会员分享,可在线阅读,更多相关《基于面部多特征的驾驶员疲劳状态检测_陈立潮.pdf(6页珍藏版)》请在咨信网上搜索。
1、2023 年第 3 期计算机与数字工程收稿日期:2022年8月1日,修回日期:2022年9月12日基金项目:山西省应用基础研究项目(编号:201801D221179);太原科技大学校博士科研启动基金项目(编号:20162036)资助。作者简介:陈立潮,男,教授,研究方向:大数据与智能软件、区块链。王冠男,男,硕士研究生,研究方向:智能图像识别。1引言交通事故是现今世界上每个国家都非常重视的社会危害,已经被全球各个国家一致认为是目前全球范围内对人类生命安全造成最大伤害的隐患。每年有超过60万人在交通事故中失去生命。根据欧洲和美国在交通事故中的伤亡人数统计表明,大约八到九成的交通事故是因为人为因素
2、造成的1。依照美国国家安全局的数据显示,随着社会的发展和人均车辆数目的增加,美国每年都会因为司机疲劳驾驶而造成十多万起以上的交通事故,其中死亡人数超过两万人2。在欧洲因为这种因疲劳驾驶而导致的交通事故也具有高死亡率。比如在德意志联邦共和国境内,高速公路上因为疲劳驾驶而造成的驾驶员或者乘客伤亡的交通事故超过四分之一3。新世纪以来,我国交通事业飞速发展,交通产业高速发展的背后也隐藏着巨大的危险。每年我国因为交通事故都会造成巨大的人员伤亡和经济损失。其中超过一半的交通事故是因为驾驶员疲劳操作引起的,经济损失高达百万美元基于面部多特征的驾驶员疲劳状态检测陈立潮王冠男(太原科技大学计算机科学与技术学院太
3、原030024)摘要鉴于传统的疲劳检测模型通过驾驶员单一疲劳特征检测具有局限性的问题,提出了一种新的驾驶员疲劳检测模型。首先使用改进的AdaBoost算法进行人脸检测,解决复杂光源和背景的影响,提高人脸检测效率。然后用LBF算法进行人眼检测,用三庭五眼法进行嘴部检测,通过人眼高宽比和像素比检测人眼闭合程度,通过嘴部高宽比和圆形度检测嘴部打哈欠状态,再综合眼部疲劳特征计算闭眼时间,利用打哈欠频率计算嘴部疲劳。最后综合上述疲劳特征检测驾驶员疲劳状态。实验表明该方法可有效检测驾驶员疲劳状态,满足疲劳检测系统对实时性、鲁棒性的要求。关键词疲劳驾驶;人脸检测;局部约束模型;Adaboost中图分类号U4
4、71.3DOI:10.3969/j.issn.1672-9722.2023.03.034Driver Fatigue State Detection Based on Facial Multi-featuresCHEN LichaoWANG Guannan(College of Computer Science and Technology,Taiyuan University of Science and Technology,Taiyuan030024)AbstractIn view of the limitation of the traditional fatigue detectio
5、n model,a new driver fatigue detection model is proposed.Firstly,the improved AdaBoost algorithm is used for face detection to solve the influence of complex light source and backgroundand improve the efficiency of face detection.Then LBF algorithm is used to detect human eyes,and mouth is detected
6、bythree-court five-eye method.The degree of human eyes closure is detected by eye height-width ratio and pixel ratio,and the stateof mouth yawning is detected by mouth height-width ratio and circular degree,then,the time of closing eyes is calculated by combining the features of eye fatigue,and the
7、frequency of yawning is used to calculate mouth fatigue.Finally,the drivers fatigue stateis detected by synthesizing the above fatigue characteristics.The experimental results show that the method can detect the fatiguestate of the driver effectively and meet the requirements of real-time and robust
8、ness of the fatigue detection system.Key Wordsfatigue driving,face detection,local constraint model,AdaboostClass NumberU471.3总第 401期2023 年第 3期计算机与数字工程Computer&Digital EngineeringVol.51No.3721第 51 卷之巨4。有关汽车驾驶员的疲劳检测问题已经迫在眉睫,全球很多国家和地区也都将疲劳驾驶预警系统的开发工作列入一级任务。各国对于疲劳驾驶的研究总体可以分为三类5:基于驾驶员生理信号的检测,基于驾驶员脑电信号的检
9、测和基于驾驶员面部特征的检测。2014年王少楠等通过采集测试人员的脑电信号使用小波包变换进行特征提取,利用SVM分类,从而分析驾驶员的疲劳状态6。2015年陈志勇、杨佩等通过分析对车辆数据产生影响的多个指标如速度、方向盘转角等,选择疲劳评价指标,使用BP神经网络搭建疲劳状态识别模型7。但是基于驾驶员生理信号的检测方法具有侵入性,驾驶员需要佩戴较为精密且繁重的仪器,会对司机进行驾驶干扰而且仪器价格昂贵无法普及。而基于车辆运动特征的疲劳检测,会受到类似于路况信息,天气状况以及驾驶员行车习惯等多种外部条件的干扰,一般来说只能作为辅助参考,不具有全面性。近年来随着计算机视觉的发展,基于面部特征的检测成
10、为疲劳检测的主要方法。2009年,尹宝才等采用Gabor小波提取嘴角纹理特征,使用线性判别分析法进行打哈欠检测,从而判断疲劳状态8。2014年田祎提出了一种新的度量人眼状态变化的方法,并结合PERCLOS方法对疲劳状态进行分析9。2017年ZHAO等通过构建深度集成神经网络表示眼部区域信息,使用迁移学习提取眼部特征构建驾驶员睡意识别数据集10。2019年潘志庚、刘志飞等使用模糊综合评价算法对眼部疲劳的影响因子进行分析,推断出眼部状态,根据PERCLOS 原理进行疲劳检测11。同年,NgxandeM,Tapamo J R等使用生成对抗网络增加基于群体偏见的可视化策略的有针对性的数据,提高了疲劳检
11、测性能12。2020 年 Younes Ed-Doughmi 等提出了一种递归神经网络来分析和预测驾驶员睡意,利用数据集对模型进行建模和验证,实现了基于重复神经网络体系结构的多层模型三维卷积网络的驾驶疲劳检测13。但是上述研究大多数均是通过对驾驶员人眼或者其他单一部位进行疲劳检测,而且场景单一,在复杂场景下检测精度比较低。因此针对上述问题,本文提出一种多场景下的多特征驾驶员疲劳检测模型。首先使用改进的AdaBoost算法对复杂场景下的驾驶员人脸进行精准定位,然后使用使用改进后的LBF算法和三庭五眼法检测人眼和嘴部信息。再通过对人眼和嘴部的二值化图像进行多参数的疲劳特征计算,构建疲劳检测模型,如
12、图1所示。最后通过模型分析驾驶员的疲劳状态。实验表明本模型具有较高的准确率。图1疲劳检测模型结构2人脸检测2.1图像预处理当待检测图像存在背景复杂、人脸姿态有角度变化等问题时,误检率就会大大提升,最终导致检测结果的性能大打折扣。为此,本文在驾驶员人脸检测之前引入肤色区域分割算法缩小检测区域,从而达到缩短检测时间的效果。在待检测图像中,使用肤色区域分割算法排除较大部分非肤色区域,有效避免了复杂背景对驾驶员人脸检测的影响。肤色区域分割的效果对比如图2和图3所示。从图中可以看到通过YCbCr空间的肤色区域分割,减小了待检测区域,为后续的驾驶员人脸检测缩短了检测时间。图2肤色分割前的原图陈立潮等:基于
13、面部多特征的驾驶员疲劳状态检测7222023 年第 3 期计算机与数字工程图3肤色分割效果图据国家安全部和天津交警总队的数据表明,疲劳驾驶易发时段为深夜的24时至2时和凌晨的4时至6时。这两个时段中采集到的驾驶员人脸图像由于光照强度过低,导致人脸检测效率和检测率大大降低。因此,本文引入光照补偿算法,对待检测的夜间驾驶员人脸进行光照增强,提高夜间驾驶员人脸检测效率。光照补偿效果如图4和图5所示。在光照强度差的环境下,提升驾驶员人脸待检测图像的光照强度,为下一步的驾驶员人脸检测打好基础。图4光照补偿前的原图图5光照补偿效果图2.2人脸检测本文采用改进的 AdaBoost 算法进行人脸检测。现行Ad
14、aBoost算法的样本权重更新规则注重困难样本,即被分错的样本在算法后续可得到更多重视,但它存在缺点:很难对训练样本中包含的噪声样本或一些罕见困难样本进行正确分类,算法会将训练重点转移到分类困难的样本上,即这些样本的权重会成倍增加,这样就可能造成梯度爆炸的现象。而且过分重视困难样本,随着迭代次数的增加,正确的分类规则会慢慢丢失,从而大大影响算法性能。为了解决上述问题,本文将弱分类器的权重系数进行动态调整,得到训练样本在传统AdaBoost算法中弱分类器和其相对应的权重系数mt,计算每一个弱分类器对待检测样本周围多个训练样本的分类准确率nt,将各个弱分类器的权重系数改为mt*nt,利用局部敏感哈
15、希方法的余弦相似性寻找待检测样本的近邻点14。再将待检测样本通过局部敏感哈希方式哈希到一起,则该区域的其它数据是待检测样本的近邻样本数据,这些数据构建成新的测试集 D,然后各个弱分类器对 D 进行分类测试,从而判断各个弱分类器与M的匹配程度,最后,将其分类的准确率作为M的动态权重系数,如下式(1)所示。=K个近邻点中分类正确的样本数量近邻样本数量K(1)动态权重系数算法如下:Step1.利用局部敏感哈希方式来从训练集中找到相似的样本数据,并将它们组合成一个新的测试集D;Step2.使用弱分类器i对新的测试集合进行分类测试,利用式(1)计算动态权重系数;Step3.得到最终的强分类器。本文通过改
16、进的AdaBoost算法对驾驶员人脸进行检测,使用矩形框标记人脸区域,返回该区域的宽度与高度值。检测结果如图6所示。图6人脸检测3面部特征检测检测到人脸后,本文通过改进的LBF算法进行人眼定位,利用三庭五眼的方法进行嘴部定位。3.1人眼定位在驾驶员人眼的检测中,人眼图像往往会因为光照、遮挡等复杂场景而难以定位,从而影响检测精度。因此提出了一种改进的人眼检测算法。本文首先通过样本训练好局部约束模型模型,然后利用基于回归的局部二值特征法检测人眼图像,最后把人眼的位置和图像信息传递给约束局部模型,精确检测到人眼特征点。步骤如下:Step1.构建人眼形状模型。首先手工标定训练样本,通过标定特征点表示人
17、眼形状,将样本的723第 51 卷特征点用向量表示,将所有的向量构建成的向量组所求均值表示人眼。Step2.构建局部补丁模型,让每个特征点在邻域内寻找最佳匹配点。Step3.使用LBF算法进行人眼检测。Step4.CLM拟合。对新图像中的目标建立新模型,用训练好的模型与新模型进行拟合定位特征点。Step5.利用优化策略优化模型参数直到精确定位人眼。3.2嘴部定位本文基于三庭五眼的方法对嘴部进行定位。三庭五眼是按照人面部器官的位置和比例统计出的规律。三庭分为上中下三庭。其中从发际线到眉心为上庭,眉心到鼻翼下缘为中庭,边缘处到下巴为下庭。而五眼是将脸的宽度进行五等分1518。从左到右依次为左眼到左
18、侧发际线、左眼、左眼到右眼、右眼、右眼到右侧发际线。因此本文以人脸面部的1/3处以下,宽度为1/54/5脸宽之间为嘴部检测区域。4基于眼部和嘴部的疲劳特征提取与疲劳识别4.1眼部疲劳特征提取当驾驶员在疲劳驾驶时,眼部状态会反映出大量信息,通过眼部状态可以较为准确地反映驾驶员的疲劳程度。本文在精确定位到人眼之后,将人眼图像二值化,通过计算人眼的高宽比和黑白像素比来判断眼睛的闭合状态。如图57分别表示完全睁眼,睁开一部分,闭合的二值化图像。图7睁开图8睁开部分图9闭合通过大量的实验统计可知人眼睁开时,眼部的高宽比m的范围是0.210.75,而人眼闭合时,眼部高宽比 m 的范围是 0.130.24。
19、可以发现,当眼部高宽比大于0.24的时候,人眼是处于睁开状态,当眼部高宽比小于 0.13的时候,人眼是处于闭合状态。但是当人眼的宽高比值在0.210.24的范围内时,就无法通过闭合范围判断眼睛的闭合状态。所以本文引进一个新的判断依据,眼部区域的黑白像素比 n,当人的眼睛在睁开的时候,n 的范围是0.134.80,在闭合的时候,n 的范围是 0.060.15。而且当人的眼部区域的黑白像素比值低于0.15时,人眼的宽高比值也会很小。所以当0.21m0.24,0.06n0.15时,人眼处于闭合状态。4.2基于嘴部的疲劳特征提取本文将嘴部区域图像二值化处理得到嘴部的二值区域,通过计算二值区域的圆形度和
20、宽高比来判断嘴部状态。如图1012分别表示嘴巴全张、微张、闭合的状态。经过大量实验验证嘴部高宽比在0.15-0.65的时候处于微张状态,超过 0.65 为张开状态,小于0.15为闭合状态。因为图像在采集过程中,驾驶员会存在身体倾斜或者移动的情况,单纯使用嘴部的宽高比来判断嘴部状态不够精确。所以本文引入嘴部二值化区域的圆形度来判断嘴部状态。当嘴部二值化区域的圆形度小于0.45时处于闭合状态,当圆形度在0.45-0.75时处于正常张嘴状态,当圆形度大于0.75时处于打哈欠状态。图10 全张状态图11 微张状态图12 闭合状态4.3疲劳识别根据p80标准,设人眼的瞳孔覆盖率大于20%为睁眼,小于20
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 基于 面部 特征 驾驶员 疲劳 状态 检测 陈立潮
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【自信****多点】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【自信****多点】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。