学位论文-基于单张二维图片的三维人脸建模.pdf
《学位论文-基于单张二维图片的三维人脸建模.pdf》由会员分享,可在线阅读,更多相关《学位论文-基于单张二维图片的三维人脸建模.pdf(125页珍藏版)》请在咨信网上搜索。
1、西南交通大学博士研究生学位论文第I页摘要人脸是人类日常情感表达和交流最重要、最直接的载体。通过计算机生 成具有真实感的三维人脸拥有广阔的应用前景,是近年来计算机图形学、计 算机视觉、人工智能等领域中最具挑战性的问题之一。人类视觉系统在识别 二维图像的过程中,往往先根据平面图像还原出图像的三维立体信息,人类 天生具备从单张平面照片进行三维信息恢复的能力。模拟人类的这一图像认 知过程,研究基于单张平面图像的人脸三维建模技术,是当前认知计算中的 一个重要问题。利用三维扫描仪获取三维形状数据和纹理信息是一种直接的人脸建模方 法,通常具有较高的精度,但是存在硬件设备造价高、不灵活等不足,一般 只适用于某
2、些特殊场合;当前的研究热点主要集中在根据图像和视频序列进 行人脸重建,现有基于多张图像的方法普遍存在特征点匹配复杂、效率低等 不足。根据单张人脸照片上的少量特征点能够快速、自动地实现特定人脸的 建模,是目前三维人脸建模研究中一个极具潜力的研究方向。然而,如何充 分地利用少量的信息重建出真实感好的人脸模型是其面临的主要挑战。本论文以统计学为工具,通过建立人脸统计模型,利用人脸结构先验知 识对三维人脸形状的建模进行约束,从而实现了以单张照片上少量特征点为 基础的三维人脸建模。针对基于单张照片的三维人脸重建问题,本文的主要 研究内容包括:创建标准化的三维人脸库,并以此建立人脸类的统计模型;研究高效的
3、基于特征点的变形算法和人脸建模方案;探索基于三维人脸的应 用研究。取得如下研究成果:1)提出一个基于平面模板的重采样算法,解决了三维人脸稠密点的自动对 应问题,实现了人脸库的标准化。建立标准化的三维人脸数据库是建立人脸统计模型、人脸建模和人脸动 画等方面研究的基础性工作。本文在网格重采样方法的启发下,提出一 种基于平面模板的方法,可以自动地实现三维人脸间的对应,克服了传 统方法对应效果差、手工操作复杂等不足。实验结果表明,经本文算法 标准化处理后的人脸库具有较好的对应效果,为建立人脸形状统计模型 进行三维人脸建模奠定了基础。(第2章)第n页西南交通大学博士研究生学位论文2)针对单张平面图片,提
4、出基于人脸二维特征点的三维形变算法。提出一个全局形变算法一一基于动态成分的形变模型(Dyn a mic Co mpo n e n t ba se d De f o rma t io n Mo d e l,DCDM),通过筛选对建模最有效 的主成分,提高了形变算法的精度和稳定性。传统基于主成分分析(Prin c ipa l Co mpo n e n t An a l ysis,PCA)的形变算法通常选择具有较大特 征值的部分主成分构成特征矩阵,这种选择方式会引入不相关信息或者 丢失有用信息,为后续建模带来误差。本文提出一个筛选策略,采用,检 验对每个主成分进行是否线性相关的显著性检验,选择与当前
5、特定人脸 最相关的成分来构成特征矩阵,实验表明DCDM提高了建模的稳定性并 降低了建模误差;(第3.3节)提出一个基于先验知识的局部形变算法基于S ibso n坐标的加权LFA 形变(S ibso n We ight e d Lo c a l Fe a t u re An a l ysis.S WLFA)算法,通过计算 权值增强了 LFA算法的局部性,使之能够根据少量控制点生成真实感较 好的人脸形状曲面。针对全局形变算法重建出的人脸形状个性特征不突 出的问题,将S ibso n坐标用于局部特征分析,实现了基于人脸形状结构 知识的局部形变,S WLFA算法以S ibso n坐标为权值,既能够避免
6、控制 点之间的干扰,具备较强的局部性,又能充分地利用人脸形状的先验信 息,保证较为真实的建模效果。(第3.4节)3)提出两步人脸建模(Two-S t e p Fa c e Mo d e l in g,TS FM)方案,通过对三 维人脸库知识的学习,实现了对单张图片上人脸特征点的深度估计,提 高了形变算法在三维人脸深度方向(Z轴)上的重建精度。由于单张照 片上的人脸特征点的深度信息未知,仅通过形变算法的改进对建模精度 的提高有限。本文探讨了特征点深度估计的三种方法,指出本文提出的 基于稀疏线性模型的优化算法能够相对准确、稳定地估计出二维特征点 的深度信息。实验结果表明,将深度估计值应用于形变算法
7、,可以提高 人脸的重建精度。另外,TS FM不仅适用于基于统计模型的形变算法,还能改善其它插值算法在深度方向上的建模性能。(第4,2节)4)以重建的三维人脸模型为基础,解决了光照估计和姿态估计问题,并进 行了三维人脸动画的研究。通过建立三维中性人脸与输入人脸图像顶点的对应关系,估计人脸图像 上每个像素的法向量,并采用球面谐波模型实现任意光照条件下单张照 西南交通大学博士研究生学位论文 第III页片人脸的光照估计和补偿。实验结果表明,人脸图像经光照补偿后能够 明显提高人脸识别率;(第5.2节)根据三维人脸模型与输入照片上人脸特征点之间的对应关系,采用线性 回归实现了输入照片的人脸姿态角估计。实验
8、结果表明,相对已有算法,该算法能够提高单轴、多轴偏转角度的估计精度;(第5.3节)采用一个三层运动控制方案,实现在特征点、器官和表情合成三个层次 上的控制,并开发了一套人脸表情动画系统。运动控制采用了 MPEG4 标准,具有自动化程度高、通用性强的特点。实验结果表明,本系统能 够生成逼真的三维人脸表情动画。(第6章)关键词:人脸建模;形变模型;光照估计;姿态估计;人脸动画第IV页西南交通大学博士研究生学位论文AbstractHu ma n f a c e is t he mo st sign if ic a n t a n d e sse n t ia l c a rrie r o f e m
9、o t io n a l e x pre ssio n a n d pe o pl e s d a il y c o mmu n ic a t io n.The re a re bro a d po t e n t ia l a ppl ic a t io n s t o mo d e l re a l ist ic 3D hu ma n f a c e a u t o ma t ic a l l y u sin g c o mpu t e r t e c hn iq u e s,whic h is a c ha l l e n gin g t o pic in t he f ie l d s
10、 o f c o mpu t e r gra phic s(CG),c o mpu t e r visio n(CV)a n d a rt if ic ia l in t e l l ige n c e(AI).Hu ma n be in gs a re bo m wit h a c a pa c it y o f re c o ve rin g 3D in f o rma t io n f ro m sin gl e ima ge by hu ma n visu a l syst e m(HVS).It is a n e sse n t ia l pro bl e m in c o gn i
11、t ive c o mpu t in g t o d e ve l o p n e w t e c hn o l o gie s f br mo d e l in g 3D hu ma n f a c e f ro m a 2D ima ge t hro u gh simu l a t in g t he c o gn it ive pro c e d u re o f HVS.Ca pt u rin g sha pe a n d t e x t u re in f o rma t io n u sin g 3D l a se r-sc a n n e r is a st ra ight f
12、o rwa rd me t ho d whic h is mo re a c c u ra t e t ha n o t he rs.Un f o rt u n a t e l y,it c a n o n l y be in st a l l e d in a c e rt a in spe c ia l sit u a t io n s d u e t o t he high c o st o f t he e q u ipme n t s a n d it s in f l e x ibil it y.The re f o re,c u rre n t ho t spo t s o f
13、f a c e mo d e l in g f o c u s o n ima ge ba se d me t ho d s.Ho we ve r,high c o mpl e x it ie s o f f e a t u re ma t c hin g pro c e ss a n d in e f f ic ie n c y a re t he ma in l imit a t io n s o f t he se me t ho d s.Mo d e l in g a 3D f a c e f ro m a f e w f e a t u re po in t s o n o n e
14、ima ge is a pro misin g d ire c t io n t ha t c o u l d ru n q u ic kl y a n d a u t o ma t ic a l l y.Ne ve rt he l e ss,t he prima ry c ha l l e n ge o f t his me t ho d is ho w t o ma ke f u l l u se o f t he sma l l q u a n t it y o f f a c ia l in f o rma t io n t o impro ve q u a l it y o f t
15、he re c o n st ru c t e d 3D f a c e.In t his t he sis,a hu ma n f a c ia l sha pe st a t ist ic mo d e l-e x t ra c t e d f ro m a 3Df a c e d a t a ba se-is bu il t a s a prio r kn o wl e d ge t o c o n st ra in t he pro c e d u re o f f a c emo d e l in g.The ma in c o n t e n t o f t his t he si
16、s in c l u d e s:e st a bl ish a st a t ist ic mo d e l o f hu ma n f a c e sha pe by c re a t in g a st a n d a rd iz e d 3D f a c e d a t a ba se;d e ve l o p e f f e c t ive mo d e l in g a l go rit hms a n d sc he me s f br 3D f a c e mo d e l in g;e x pl o re 3D f a c e a ppl ic a t io n s.An d
17、,t he ma in c o n t ribu t io n s a re l ist e d a s f o l l o ws:1)By so l vin g t he c o rre spo n d e n c e be t we e n f a c e s a u t o ma t ic a l l y,a 2D t e mpl a t e ba se d a l ign me n t a l go rit hm is d e ve l o pe d t o c re a t e a st a n d a rd iz e d 3D f a c e d a t a ba se.It s
18、a f u n d a me n t a l jo b t o c re a t e a st a n d a rd iz e d 3D f a c e d a t a ba se f o r bu il d in g 西南交通大学博士研究生学位论文第V页a f a c e st a t ist ic mo d e l a n d f o r f a c e mo d e l in g a n d a n ima t io n.In spire d by t he id e a o f me sh re-sa mpl in g,we pro po se a n o ve l 2D t e mp
19、l a t e ba se d a l ign me n t a l go rit hm whic h c o u l d be impl e me n t e d a u t o ma t ic a l l y a n d o ve rc o me s t he ma in sho rt c o min gs o f t ra d it io n a l me t ho d s,i.e.,impre c ise a n d o pe ra t io n a l c o mpl e x it y.Ex pe rime n t re su l t s sho w t ha t t he st a
20、 n d a rd iz e d d a t a ba se c re a t e d by o u r me t ho d ha s c o n sid e ra bl e go o d c o rre spo n d e n c e e f f e c t s.It is e a sy t o c re a t e a st a t ist ic mo d e l o f f a c ia l sha pe,whic h l a ys a go o d f o u n d a t io n f br 3D f a c e mo d e l in g.(Cha pt e r 2)2)De v
21、e l o p 3D f a c e d e f o rma t io n a l go rit hms ba se d o n f e a t u re s o f a 2D ima ge.A gl o ba l d e f o rma t io n a l go rit hmDyn a mic Co mpo n e n t ba se d De f o rma t io n Mo d e l(DCDM)is pro po se d,whic h c o u l d impro ve t he pre c ise a n d st a bil it y o f d e f o rma t i
22、o n a l go rit hm by se l e c t in g t he mo st e f f e c t ive c o mpo n e n t s in f a c e mo d e l in g.Prin c ipa l Co mpo n e n t An a l ysis(PCA)ba se d me t ho d s a l wa ys u se t he prio r c o mpo n e n t s(e ige n ve c t o rs)wit h t he ma x imu m e ige n va l u e s t o c o n st ru c t a n
23、 e ige n ma t rix.This c o n ve n t io n a l st ra t e gy ma y impo rt so me irre l e va n t f a c t o rs,o r l o se so me u se f u l o n e s,re su l t in g in e rro rs f br t he mo d e l in g pro c e ss.We pro po se a d yn a mic c o mpo n e n t ba se d d e f o rma t io n mo d e l t ha t u se s r-t
24、e st t o d e t e rmin e t he c o rre l a t ivit y f br e a c h c o mpo n e n t t o t he n o ve l f a c e a t f irst,a n d t he n c o n c a t e n a t e t he mo st c o rre l a t ive o n e s t o f o rm a n e ige n ma t rix.Ex pe rime n t re su l t s sho w t ha t t he f a c e s mo d e l e d by DCDM a re
25、 mo re st a bl e a n d mo re a c c u ra t e.(S e c t io n 3.3)A A l o c a l d e f o rma t io n a l go rit hm ba se d o n prio r kn o wl e d ge-S ibso n We ight e d Lo c a l Fe a t u re An a l ysis(S WLFA)-is pro po se d,whic h c o u l d c re a t e smo o t h 3D f a c e sha pe by a l l o c a t in g we
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 学位 论文 基于 单张 二维 图片 三维 建模
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【曲****】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【曲****】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。