一种基于交比不变性的视线补偿方法.pdf
《一种基于交比不变性的视线补偿方法.pdf》由会员分享,可在线阅读,更多相关《一种基于交比不变性的视线补偿方法.pdf(7页珍藏版)》请在咨信网上搜索。
1、第 36 卷 第 4 期 武汉纺织大学学报 Vol.36 No.4 2023 年 08 月 JOURNAL OF WUHAN TEXTILE UNIVERSITY Aug.2023 _ _ *通讯通讯作者:作者:范良志(1976-),男,副教授,博士,研究方向:工业机器人、机器视觉、人工智能等.基金项目:基金项目:教育部人文社会科学研究规划基金项目(19YJAZH014).一种基于交比不变性的视线补偿方法 孙家伟,林子镇,刘毅航,范良志*(武汉纺织大学 机械工程与自动化学院,湖北 武汉 430200)摘 要:由于交比不变模型在计算视线时存在将角膜面理想化以及未区分光轴和视轴的问题,导致计算的视
2、线落点误差较大,为此提出一种构建虚拟平面并通过注视轨迹校准的方法来计算视线落点。该方法根据人眼生理特征建立虚拟平面,并使用一种新的校准方法进行校准,使用最小二乘法对校准点进行拟合,改善了多点校准方法过程复杂性和体验差的问题。通过对不同处理条件下的视线落点偏差进行比较,说明该方法可在保证视线计算精度的前提下简化校准过程。关键词:视线落点;交比不变性;最小二乘法;校准 中图分类号:TP391.4 文献标识码:A 文章编号:2095414X(2023)04005207 0 引言 通过人眼接受信息是大脑获取信息的最主要来源,视线追踪是一种利用人眼运动信息来计算视线方向或关注点的技术,在人机交互系统、医
3、学辅助、广告、驾驶辅助等方面1-4有着广泛应用,在虚拟现实等新起领域5有良好的应用前景,受到国内外相关学者的广泛关注。精度是视线追踪系统的关键技术指标之一,kappa 角、视线映射模型的模型误差等因素会影响视线落点的精度,通常需要对视线落点进行校准。常用的校准方法有光源参照校准法、屏幕参照校准法等,相关学者也对此进行了大量研究,如 yoo6等人提出的四参数校准法,该方法有效地提高了精度,但是会导致视线方向整体偏移,countinho7等人 提出对每个用户提取一个最佳参数的方法,有效地解决了 yoo 的方法中视线偏移的问题,但在精度方面略有不足。上述的视线追踪系统的视线落点校准过程较为复杂和困难
4、,本文在基于交比值法的视线追踪系统的基础上进行研究,对该系统进行视线落点计算存在的系统误差进行补偿,幵使用追踪动点轨迹的方法来进行校准,保证视线落点计算的准确性和减低校准过程的复杂度和难度。1 视线映射模型交比法构建映射模型 通过交比不变性构建视线映射模型应用了射影几何学中的交比射影不变性原理,即空间中一条直线经过几何变换后直线上的对应点的交比不变。图1 视线计算模型 第 4 期 孙家伟,等:一种基于交比不变性的视线补偿方法 53 图 1 通过交比不变性构造的视线计算模型示意图,主要由屏幕平面、相机丞相平面以及角膜反射平面三个平面构成,在该模型中将角膜反射面这一曲面理想化为一个平面。其中 L1
5、、L2、L3、L4 是屏幕平面上的四个光源点,G1、G2、G3、G4 是光源在人眼角膜上形成的反射光斑,g1、g2、g3、g4是反射光斑在相机成像面上所形成的像。P0 是瞳孔中心,c 是眼球中心,瞳孔中心与眼球中心的连线是眼球的光轴,在此模型中将光轴方向视为人眼视线的方向,光轴与屏幕的交点 S 即为该模型求得的视线落点。角膜平面上的反射点和相机平面上的光斑成像点可以认为是屏幕上光源点的映射,故可再此将交比不变性原理由二维应用到三维空间。构建该视线映射的模型最终目的是通过各个平面之间相关点构成的平面图形的各线段之间的交比值固定计算出视线落点 S 的位置。如图 1 所示,三个平面中的角膜反射面-相
6、机成像面以及角膜反射面和屏幕平面之间具有比较直观的映射关系,对这两组对应平面进行分析,得出各关键点线的交比值。图 2 是瞳孔中心和光斑在相机成像平面上的像,g1-g4 分别为四个光斑点,p 为瞳孔中心,将g1-g4 四个点连线组成的平面四边形的边长延长交于 M、N 两点,绘制对角线交于点 e,过点 M、N各作两条射线穿过点 p、e 交于线段 g1g2 和 g2g3,记为 N1、N2、M1、M2。图2 成像平面 图 3 是屏幕平面示意图,L1-L4 是四个光源点、ps 为视线的落点,绘制平面四边形 L1L2L3L4 的对角线交于 es,过点 ps 和 es 分别作水平和垂直射线交线段 L1L2
7、于点 N1s、N2s,交线段 L2L3 于点 M1s、M2s。w 和 h 为屏幕的长和宽。图3 屏幕平面 设成像平面中 gi 的坐标为(xgi,ygi)(i=1,2,3,4),Mis 的坐标为(iMX,iMY)(i=1,2),Nis 的坐标为(iNX,iNY)则直线 g1g2 上四个点的交比值为:11122image1212122111221221|g,g:,N|gNgNgNgNg Ng NRNg Ng NXXXXXXXX (1)直线 g2g3 上四个点的交比值为:22132image2312223121322231|g,g:,M|gMgMgMgMg Mg MRMg Mg MYYYYYYYY
8、(2)设屏幕平面中注视点 Ps 的坐标为(xp,yp),屏幕的长为 w,宽为 h,将点 L1 的坐标置为(0,0),则 L2(w,0),L3(w,h),L4(0,h),e(w/2,h/2),N1s(xp/2,0),N2s(w/2,0),M1s(w,yp/2),M2s(w,h/2)直线 L1L2 上的交比值为:111screen1212111122111221L,L:,N|ppRNXL NL NL NL NwX (3)直线 L2L3 上的交比值为:211screen2312112132112231L,L:,M|ppRMYL ML MhYL ML M (4)根据交比不变性原理,可知只成像平面的交比
9、值和屏幕平面的交比值相等,即 11imagescreen22imagescreenRRRR (5)根据两平面的交比值可算出注视点 ps 的位置 w h 武汉纺织大学学报 2023 年 54 1image1image2image2image11RwxRRhyR (6)2 误差来源分析 2.1 角膜曲面 在构建交比不变性视线映射模型时为了方便计算将反射点和瞳孔中心理想化的认为在同一平面内(瞳孔切面),而在实际情况中人眼角膜是一种曲面的结构,所以反射点和瞳孔中心幵不是共面的,如图 4 所示,在进行交比计算时,我们将直线ab 作为角膜面上相邻两反射点之间的距离,而实际距离则是曲线 AB,长度要明显大于
10、 ab,这种模型构造上出现的错误会给视线方向的估计带来误差。图4 角膜误差示意图 2.2 光轴与视轴夹角 光轴是通过角膜表面中央部且垂直角膜面的直线,视轴是眼外注视点与黄斑中间凹的连线。交比不变模型计算出的视线方向是光轴的方向而不是视轴方向。视轴与光轴之间存在一个夹角 kappa,kappa 角的大小一般在 48 度之间8,幵且角是一个空间角,难以确定唯一的视轴,我们也无法直接给出一个角度来对 kappa 角造成的视线落点偏差进行补偿,致使最终求得的视线落点位置与实际的视线落点位置产生偏差,如图 5 所示。图5 人眼结构示意图 以上两点的误差来源于模型构造时为了便于计算而简化模型带来的系统误差
11、,对于系统误差的消除一般通过对照试验、空白试验、矫正试验这三种方法进行操作,综合考虑本文所研究的视线追踪系统的特点,采用矫正实验的思路对误差进行矫正。3 视线落点矫正 3.1 建立虚拟平面 为了减少角膜表面是一个曲面而非理想平面导致的视线计算误差,可通过建立一个与角膜相切的虚拟平面,根据人眼角膜的曲率特点建立一种映射关系,将角膜上的反射点映射到虚拟平面上,以虚拟平面作为视线映射模型中的角膜平面,如图 6 所示。图6 虚拟平面示意图 在理想的角膜反射面中,瞳孔中心与反射点共面,在此情况下的映射模型中各反射点之间的距离是直线,在实际情况中人眼为球形结构,研究统计表明成年人眼球的直径平均长度为 24
12、mm9。在几何关系中两点之间直线最短,这意味着在该模型上的角膜反射面的线段长度一定是小于实际长度的。设角膜反射面上按照图 7a 建立平面坐标系,取任意相邻两点 Ga=(a,0),Gb=(0,b),则在理想平面中两点之间的距离应是L=2+2,而在实际的人眼中,ab 两点的距离为弧,按照图 7b 以眼球中心为原点建立空间坐标系,Ga=(a,0,z)Gb=(0,b,z),(其中z=R2 r2,R 为球半径,r 为截面半径),则 ab两点之间的弧长为|ab|=R,|ab|大于 L,两点之间的长度误差为|ab|-L。设这两个相应的光源点在屏幕上的距离为 l,则视线落点的计算误差为(l/L)*(|ab|-
13、L)。a 平面 b 立体 图7 角膜在眼球上的示意图 可通过构建虚拟平面的方法对该问题进行补偿,构建虚拟平面的实质就是在原有的交比不变性第 4 期 孙家伟,等:一种基于交比不变性的视线补偿方法 55 视线映射模型的相机成像面-角膜反射面-屏幕平面之间再加入一个角膜反射面-虚拟平面的映射关系,以此补偿由于角膜的曲面特性带来的系统误差。从上面的角膜反射面的误差分析中可知,理想角膜面的线段距离是小于实际角膜面的弧长长度的,但是如果将曲面的弧长带入交比不变的映射模型中将会大大提高计算的难度,故此构建一个平行与理想角膜反射面且以瞳孔中心为切点与眼球相切的平面,如图 7 所示。两个平面在几何上都与人眼眼球
14、结构相关,可通过交比不变的原理求出两个平面之间的交比。由上述的误差分析和图 7 所示的虚拟平面结构示意图可知,俩平面之间的交比值为 r/R。两个面的对应点之间的映射在求得交比值且两平面平行(共 z 轴)的情况下可通过简单的线性拟合进行映射 vrvrxxyy (7)=弧长/弦长,xv,yv:虚拟平面点坐标,xr,yr理想平面点坐标 3.2 最小二乘法拟合注释轨迹进行 kappa角修正 光轴和视轴之间的夹角是一空间角,角度的变化是一种非线性的变化10,没有明显的规律可循,常规的方法通过多点校准求系数从而对 kappa 角进行补偿11-12。多点校准的方法要求使用者在校准过程中需要对每个点进行较长时
15、间的注视,会给人眼带来不适,影响用户体验,且由于用户用眼习惯导致人眼在注视校准点时容易出现扫视点周围区域的情况,会增大产生实验误差的概率,影响最终的校准结果。实验误差致使校准结果出现误差。为了解决这些问题,本文提出基于注视轨迹的方法进行注视点校准,幵通过最小二乘法拟合多组注视点运动轨迹取平均值从而给出补偿的方法。该方法不需要用户长时间注视某个校准点,减少由校准给人眼带来的不适,且最小二乘法拟合多组运动轨迹幵取平均值的方法可降低校准过程中由于用户不自主的扫视行为产生的实验误差,保证校准结果的有效性。该方法是通过人眼注视屏幕上的匀速动点,按照一定时间间隔截取出若干帧图像按照交比不变模型计算注视点,
16、动点的轨迹是一规则的二维图形(半圆或圆)通过最小二乘拟合的方法拟合出注视点最佳曲线,与动点的轨迹方程之间进行比较,给出相应的补偿值。由于最小二乘法受到奇异值影响时会对结果造成较大的偏差,在人眼注视屏幕时出现不经意的撇视动点周边区域的情况极易发生,会造成经交比法视线映射模型计算出的个别注视点偏差大大的异于其他点,为保证结果的准确性需对奇异点进行去除。过程如下:设选取了 n 个注视点,每个注视点的偏差距离为 Li iLLn (8)当的比值大于 2 或小于 0.5 时,认为该点为奇异点,去除该点。按照不同的第一帧选取时间选择出三组注视点分别进行拟合幵进行补偿。3.2.1 补偿 拟合出的曲线在圆心位置
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 一种 基于 不变性 视线 补偿 方法
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【自信****多点】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【自信****多点】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。