基于眼动关键技术研究与设备研发项目申请立项可行性研究报告.doc

XX市科技攻关计划项目
可行性研究报告

基于眼动关键技术研究与设备研发
项目名称：

申报单位： XX市科学技术研究院

组织部门： XX市科学技术委员会

XX市科学技术委员会
二Ο一一年四月制
编 写 说 明

1．“项目可行性研究报告”编写要求：
（1）总体目标集中、明确、可考核，要充分考虑经济、技术等方面的可行性；
（2）研究任务和内容重点突出，课题设置合理，各课题之间关联度高；
（3）所选的技术路线切实可行，关键点突出、有所创新；
（4）配套条件落实，关联行动要明确与重大工程、基地建设及相关计划（工作）的衔接、配套；
（5）管理措施具体，项目的管理方式及招投标等符合项目的特点；
（6）经费预算根据充分，支出合理符合有关规定，配套经费落实；
（7）相关证明文件等附件齐全。
2．报告涉及到外文缩写要注明全称。
3．本报告规定为A4，内容一律用4号宋体字打印，标题用4号黑体字打印，一式七份。

基于眼动关键技术研究与设备研发 项目可行性研究报告
目 录
一、项目摘要 3
二、项目的意义和必要性 5
2.1项目的意义和必要性 5
2.2国内外现状和技术发展趋势 7
2.3市场需求分析 10
三、项目的基础条件 11
3.1项目承担单位、合作单位及合作模式 11
3.2项目的前期工作基础、技术基础及工作情况 12
3.3国内在该技术领域的专利情况 12
3.4试验及示范基地情况 18
3.5产学研结合情况及研究开发队伍 19
四、项目攻关总体目标，实施年限，具体的考核指标 21
4.1项目攻关总体目标 21
4.2项目实施年限及年度计划安排 22
4.3项目考核指标 24
五、项目的主要研究内容，课题设置方案及承担单位选择方式 24
5.1项目的主要研究内容 24
5.2课题设置方案及承担单位选择方式 25
六、项目的主要技术特点和创新点，关键技术内容，项目实施的技术、工艺路线，可能取得的专利（尤其是发明专利和取得国外专利）及知识产权分析 26
6.1主要技术特点 26
6.2主要技术创新点 26
6.3关键技术内容 27
6.4实施技术路线 28
6.5知识产权分析与可取得专利 33
七、项目的关联行动：相关的基本建设、技术改造、技术引进、国际合作等落实情况，与其它相关市级科技计划（工作）、项目的衔接和分工，项目的组织管理措施，其它必要的支撑和配套条件（如基地、示范点、技术或工程依托等）落实情况 33
7.1与其它相关市级科技（计划）项目的衔接和分工 34
7.2项目的组织管理措施 34
7.3项目的必要支撑和配套条件落实情况 35
八、项目总投资预算，资金筹措及来源渠道 35
8.1项目总投资预算 35
8.2项目资金筹措及来源 36
九、项目预期成果的经济、社会、环境效益分析，与国内外同类产品或技术的竞争力分析，成果应用和产业化前景分析 37
9.1项目预期成果的经济、社会和环境效益分析 37
9.2与国内外同类产品或技术的竞争力分析 37
9.3项目预期成果的应用和产业化前景分析 39
十、项目的风险分析，含技术、市场的风险分析 39
十一、其它需要说明的事项 40

- II -
基于眼动关键技术研究与设备研发 项目可行性研究报告
一、项目摘要
（1）总体目标
探索自然和谐的人机关系已成为计算机研究的一个重要领域，自然、高效、智能化的人机交互界面是当今计算机发展的重要趋势。视线应用于人机交互具有直接性、自然性和双向性特点，这也是眼动技术应用于人机交互特有优势。
通过本项目的实施，应用、完善眼球识别及高速眼动跟踪核心关键技术，实现视觉指示模块化、微型化，研发出一系列具有自主知识产权的智能化人机交互系统设备，探索下一代电脑多通道人机交互系统应用模式。
具体目标为：
① 开发视线跟踪（又称眼睛瞄准系统或视觉跟踪）应用系统。
② 研发眼控笔记本产品原型

（2）研究内容
① 提出微型视线跟踪器系统架构；
② 攻克一系列系统集成技术，包括视线跟踪模块、输出显示模块、后台信息服务相关设备；
③ 研发出服务平台系统和视觉交互信息终端。
④ 视觉定标模式及眼动模式识别与交互功能定义；

（3）关键技术
① 基于视频分析的高速眼动跟踪技术；
② 眼部特征快速分析的视线指示技术；
③ 交互功能模块微型化技术。

（4）技术创新
① 提出下一代电脑多通道人机交互系统架构，实现系统架构创新；
② 制定多通道人机交互系统的数据传输协议和接口标准，实现标准创新；
③ 攻克视线跟踪模块、输出显示模块和信息服务相关设备集成技术，实现系统集成创新。
（5）基础条件
本项目依托单位XX市科学技术研究院是XX市政府批准成立的正厅级事业单位，是集研究开发、技术转移、成果转化、人才培训和国际交流为一体的工业技术的综合研究机构，是XX市组建的最大的科学研究和科技创新服务机构。为项目的顺利实施提供充足基础条件。同时，目前,我们的核心技术形成了系列化的原型应用，从2007年开始应用在临床医学眼球震颤检查，2008年应用到临床医学色素变性病人瞳孔光反射检查。在技术上准备充分，为项目的顺利实施提供保证。
（6）经费预算
项目预算资金95万元。其中试制设备15万元，材料费15万元，测试化验加工费8万元，燃料动力费2万元，差旅费6万元，会议费6万元，国际合作与交流费3万元，出版/文献/信息传播/知识产权事务费5万元，劳务费10万元，专家咨询费3万元，管理费7万元。计划申请市科委资助60万元。项目经费科目及预算细则参见项目预算书。
（8）市场前景
我国笔记本产品市场需求巨大、稳定，拥有千亿级市场规模；视觉跟踪系统，可以广泛应用于军事领域的预警、火控、制导，特种行业的目标指认（指示）及远程行动指挥交互，拥有千亿级市场规模，产业前景可观。
（9）项目成果
项目可获得国家专利至少3项，软件著作权至少2项；发表学术论文至少2篇；建立实验验证系统2个。
（10）项目效益
项目研究可获得眼动技术在笔记本人机交互及视线指示行业应用若干关键共性技术突破；项目研究将促进人机交互领域的技术进步和多学科技术交叉形成；项目研究可获得自主知识产权，推动新型人机交互设备商品化，对促进XXIT制造中心的战略性产业发展具有重要意义。
（11）风险分析
该项目核心技术为公司专业自有知识产权技术，专业性强，可模仿性较差，可形成一定技术壁垒，保障长期的收益，核心技术相对成熟，硬件模块化加工门槛不高。因此，抗风险能力较强。
（12）结论与建议
项目研究立题新颖，内容明确，重点突出，技术可行，预期成果显著，产业前景可观，建议立项支持。
二、项目的意义和必要性
2.1项目的意义和必要性
1. 项目研究符合国家和XX市中长期科学技术发展规划，符合“XX打造西部IT制造业高地”兴新战略性产业发展计划
本项目以“基于眼动关键技术研究与设备研发”为题，具体涉及视线跟踪（又称眼睛瞄准系统或视觉跟踪）应用系统设计开发和 眼控笔记本产品原型研发。
针对特种行业人机交互应用及通用民用级眼控笔记本产品，通过若干关键技术攻关，一系列应用样机与软件系统，建立示范工程，并推进产业化发展。
本项目研究符合《国家中长期科学和技术发展规划纲要（2006-2020）》的重点领域及其优先主题中“传感器网络及智能信息处理”之国家重点鼓励的产业发展政策；本项目研究也符合《XX市中长期科学和技术发展规划纲要（2006-2020）》的重点领域及其优先主题中“下一代网络与通信技术”之重点鼓励的产业发展政策。
综上所述，本项目研究符合国家和XX市的中长期科学技术发展规划，符合“国家新兴战略性产业发展规划，符合XX市西部制作高地的战略性产业发展规划。
2. 项目研究可获得眼动技术在眼控笔记本和多个专业领域的商用化关键共性技术突破
本项目旨在通过深入研究眼动技术与人机交互技术现状、发展趋势、面临的问题和关键技术，利用产业政策优势和技术上国际同发优势，结合项目研究团队较好的前期研究基础，实现眼动技术在视觉指示应用领域的商用化的关键技术突破。技术的突破体现在：
（1）提出微型视线跟踪系统架构：本项目将构建一种微型的、能快速商品化应用视线跟踪体系架构，建立开放性的应用协议和标准接口。
（2）攻克一系列系统集成技术，包括视线跟踪模块、输出显示模块、后台信息服务相关设备。本项目将深入研究多种人机交互的应用需求，结合相关领域内的技术标准，研究一种低成本、高可靠、高精度的眼动跟踪模块，满足商用化视觉指示系统和眼控笔记本的实用性。
综上所述，本项目研究将获得眼动技术人机交互应用的关键共性技术的突破，使视觉指示系统和眼控笔记本系统达到实际商用化水平。
2.2国内外现状和技术发展趋势
视觉跟踪的研究和应用在国内发展比较缓慢，国外研究与报道相对较多。人眼视线方向的估计方法分为两种主要研究方向。一是基于神经网络；二是眼部特征分析。一般情况下．基于神经网络来估计视线方向具有较高的精度和实时性，但是通用性较差，因为当环境改变时需要重新建立网络模型。基于眼部特征分析的方法，利用立体视觉的原理，可以比较精确地获取眼睛部位的三维信息，从而得到眼球的偏转角度和视线方向。目前，主要检测方法及其特点比较结果如表l所示。这些方法都需要借助图像处理这个工具来完成视线输入方向的识别 。
目前掌握眼动跟踪核心技术并能达到产品化应用要求的在国际上有几个重要的对手:Eyelink(加拿大),Asl(美国),SMI(德国)Tobii(瑞典)。
其中,Eyelink在主要定位于基础研究领域，高速处理方面相对领先,可以达到每秒1000 次跟踪处理,但其缺陷在于高昂的价格和较低的图像分辨率; ASI 已经具备较成熟的追踪系统，主要应用于心理学研究和用户视觉行为分析，稳定性方面表现不很优秀；德国SMI公司的视线跟踪产品也具备了很高的技术含量，该公司的产品主要应用于教育科研、体育科研和医疗诊断领域；以色列也有该技术，主要应用于战斗机瞄准指示设备。

产品
EYELINK
ASL
SMI
我方原型
处理速度(次/秒)
500-2000
60-120
60-120
500-1000
有效图像分辨率
400x 300
600x480
600x480
1024x768
抗干扰性
优
良
优
优

业界动态与应用
苹果2008年收购了Tobii Technology公司,交易价格2150万美元。Tobii主要拥有一个眼球跟踪器的技术,可以嵌入设备中观察用户在应用程序和网站上的视觉焦点,苹果可能会将这一技术加入其消费电子产品中,帮助用户用更简单的方式来读取屏幕上的信息,包括台式机,笔记本甚至是iPhone手机。
[英国《飞行国际》网站2008年8月27日报道] 埃尔比特系统公司正在开发眼球跟踪技术，以参加增强战斗机飞行员头盔显示系统项目的竞标。埃尔比特公司称，目前典型的头盔视场是20～40°，如果敌军的飞机在此范围之外，则限制了头盔瞄准武器的能力，尽管飞行员能够看到它们。埃尔比特公司的解决方案是：在其未来头盔系统内综合一个跟踪设备，通过飞行员眼睛控制的红外光线跟踪敌机。该系统随后再通过处理其反射光线，探测眼睛所看到的地区，这样使瞄准视场拓宽至少15%。在某些情况下，如目标或平台处于高加速度或高角速率的情况下，在用武器截获的目标附近，显示器的十字瞄准线不可能稳定太长时间。因此，埃尔比特公司正在与以色列理工大学联合开发该眼球跟踪技术.

Elbit系统有限公司的子公司Vision系统国际公司从波音公司得到了价值1500万美元的订单，进行"联合头盔指示系统（JHMCS）"的初始生产。    "联合头盔指示系统"将磁航向跟踪器与投射到飞行员面盔上的显示器相连，从而使飞行员拥有了目标跟踪设备。无论飞行员看向何处，都可以利用它来瞄准传感器和武器。因此，拥有了"联合头盔指示系统"，飞行员可以瞄准雷达、空对空导弹、红外传感器和空对地武器，而不需要将头对准目标，也不需要按动飞行控制按钮。另外，在空战期间，飞行员可以在"平视"时浏览任何想看到的数据（飞行速度、高度、目标距离等），而不需要去看座舱。
2.3市场需求分析
（1）我国的笔记本电脑用户需求量大，有成熟的市场需求和产业基础。
2008年10月9日惠普和XX举行项目签约仪式，签下400万台笔记本电脑基地项目；2009年8月4日，惠普将XX生产基地的定单从内销400万台扩大外销4000万台；2009年，富士康也落户XX，随后英业达、广达、宏碁也接踵而至；120多家零部件生产企业也到XX建厂。这让XX笔记本电脑的本地配套率在2010年年底达到30%~40%。短短两年时间，一个聚集数百企业、到2015年将形成1亿台产能、7000亿元产值、1000亿美元进出口的笔记本电脑产业基地，行业发展前景十分看好，经济投入规模巨大。
（2）视觉跟踪应用系统在我国特种行业的视市场需求巨大，可形成千亿级市场规模
视觉跟踪应用系统主要应用与特种行业，
三、项目的基础条件：与项目相关的前期工作情况，现有技术基础和工作基础，包括前期所取得的成果或技术（工艺）情况，国内外在该技术领域的专利情况，相关领域的试验及示范基地建设情况，研究开发队伍和产学研结合等情况
3.1项目承担单位、合作单位及合作模式
（1）项目承担单位概况
项目承担单位：XX市科学技术研究院
XX市科学技术研究院（简称重科院或市科研院）是整合原属中央和地方的10个研究院所于2008年重组而建，原名为XX市应用技术研究院，是XX市政府批准成立的正厅级事业单位。重科院是集研究开发、技术转移、成果转化、人才培训和国际交流为一体的工业技术的综合研究机构，是XX市组建的最大的科学研究和科技创新服务机构。
XX信息与自动化技术研究中心是XX市科学技术研究院下属的研究中心，成立于2009年。该研究中心以信息与自动化技术为研究核心，围绕科技成果二次开发和产业化开展研究与推广工作，经过一年的建设，已经初具规模，具备了开展相关领域技术研发、科技成果二次开发与产业化的能力。中心在自动化技术研究领域和院属研究所XX工业自动化仪表研究所建立了紧密的合作关系，该所为XX市高新技术企业，主要从事自动化仪表、自动化工程设计、开发、制造、检测及技术咨询、技术转让和中试生产等，拥有一个研发中心、二个生产事业部、三个工程事业部、一个检测中心、一个行业工作部和六个职能管理及服务部门，建所以来完成科研课题1600余项，制订国家、行业标准100余项，完成国家重点科技攻关项目90余项。获国家、部科技进步奖30余项，部（省）级奖励200余项，专利近100项。
（2）项目合作单位概况
项目合作单位：XX飓鹰科技有限公司前身是成立于2004年的XX眼动科技实验室，经多年技术发展，产品和应用逐渐成熟，其中眼震分析仪在国内多所医院进行了临床实验。公司致力于眼动技术研发、生产、销售、服务，以科技创新路线为战略，秉承专业化、规范化、科学化、客户观、价值观的经营理念；以管理创新、竞争取胜、整合资源、合作发展的指导思想来发展壮大公司，服务社会。

（5）项目合作模式：产学研联合研究与产业化应用推广
项目承担单位拥有科研人才、科研设备、理论研究、科研场所、科研设备、科研政策等优势资源；项目合作单位拥有市场资源和前期研究成果基础、工艺技术基础、生产制造能力、市场推广能力等优势资源。双方充分利用产、学、研各自资源优势合作研究，实现研究成果、经济效益、社会效益的共享，并共建智能公交系统技术领域的长期科研平台，推进持续研究，促进产业化发展。
3.2项目的前期工作基础、技术基础及工作情况
目前,我们的核心技术可以高速识别追踪瞳孔,并从2007年开始应用在临床医学眼球震颤检查；2008年开始应用到临床医学色素变性病人瞳孔光反射检查。我们的核心技术在医疗科研领域经过4年的临床使用，其核心技术应用比较成熟：应用于医学眼球运动分析已检测病人300多例，正常人50多例，发表医学应用文章两篇。

A new algorithm for automated nystagmus acuity function analysis ,2010 , British Journal of Ophthalmology

眼动仪与眼电图检查正常人扫视运动的比较研究    2009年 15期, 第三军医大学学报ISSN : 1000-5404(2009)

自2004年，初步形成眼动系列应用系列，完成的原型应用有：
a) 医学高速眼震记录仪。
b) 医学瞳孔对光反射记录仪。
c) 穿戴式眼动仪
d) 穿戴式视觉指示、交互系统

医学高速眼震记录仪 穿戴式眼动仪原型
在瞳孔定位技术方面，形成了自身的技术特点，高效、高精度：

亚像素级高精度瞳孔定位样片

500次/秒高速双目瞳孔定位与跟踪

瞳孔跟踪技术数据样本

双眼眼球水平运动轨迹

眼球运动异常的眼位跟踪（500次/秒）
分辨率测试数据
样本来源：分别采用健康矫正正常视力的成人组进行测试。
视标指示：采用LED视标指示灯，LED分布：R33CM弧形，灯间间隔为5度。
测试步骤和方法：
在水平方向方向上视标指示顺序按
（0度、左5度、右5度、
0度、左10度、右10度、
0度、左15度、右15度、
0度、左20度、右20度、
0度、左25度、右25度
注视方位）
进行测试。测试中每个方位指示灯亮的时间控制在2500毫秒，全程记录瞳孔中心震动波形和数据。
实际测试波形如下：

5人成人组测试数据
5度视标间隔⊿均值分析（下表）

倾角
眼别
编号
不同LED灯位时对应前方正中心位置的变化量
-25
-20
-15
-10
-5
0
5
10
15
20
25
间隔⊿均值
0
左
1
-109
-82
NA
NA
-20
0
25
48
70
90
110
22．5
2
-89
-77
-53
-39
-21
0
19
40
60
82
98
19.4
3
-110
-87
NA
-45
-26
0
27
48
71
93
113
23．2
4
-112
-87
-64
-45
-20
0
35
40
67
85
106
22.99
5
-84
-69
-53
-34
-18
0
17
34
52
70
84
17.3
平均值

21.078

弧度5度（即弧度300分）视标间隔⊿均值为21.078像素；
转化为弧度14.2分/像素。

注释：⊿是变化量，注视点5度间隔时瞳孔中心移动的像素数量。
NA：在该位置的数据无效，如因为眨眼或照明不稳定引起的瞳孔中心位置无法确定。
线性度测试分析
成人组测试数据5度视标间隔⊿均值分析（下图）。
对应上表中NA数据图中在横向3，4位置有三个数据用0表达。

5人组眼动测试线性度，在±30度内，线性度良好

3.3国内在该技术领域的专利情况
目前公司主创人员申请的相关专利有:
1212其窗体顶端

200610167522 一种基于视频图像处理的快速瞳孔中心定位的方法

200710092629 眼动测试分析仪

200720125077 眼球刺激装置

200720125076 眼球震颤测试仪

200710092631 斜视测试仪

200710092630 眼动测试分析方法
其中,200610167522号发明专利申请目前处于实质性审查阶段; 200720125077号实用新型专利和200720125076号实用新型专利已取得专利证书。
国内相关的专利有：
01128828.0 数字视频眼动分析仪
91105790.0 眼睛操纵的控制器
95193447.3 眼动感知方法和系统
200510012102.6 一种眼动检测方法及其装置
200510097734.7 用于利用人眼进行设备控制的装置
200520023081.3 一种眼动检测装置
200680028214.3 眼动传感器
200710023167.X 一种用于穿戴式计算机的人机交互头盔
200710040859.5 基于眼动和头动检测的新型人机交互装置
200810046826.6 基于虚拟现实的驾驶员注视物体识别系统
200810227432.0 一种利用视觉进行非接触式人机交互的系统
200910117156.7 基于眼电信号的人机交互系统
200910137211.9 瞳孔追踪方法与系统及用于瞳孔追踪的校正方法与模组
3.4试验及示范基地情况

3.5产学研结合情况及研究开发队伍
本项目为重大攻关科研课题，主要研究目标、研究内容和关键技术涉及传感技术、图像处理、人工智能、模式识别、微功耗与可靠性等高新技术，以及产品工艺技术。为保证项目研究获得关键技术突破，形成自主知识产权，研制出正式产品，推进产业化应用，充分发挥良好的经济与社会效益，本项目研究拟采取产、学、研相结合的模式开展攻关研究。
具体合作研究分工如下：
（1）项目承担单位
主要负责主持、管理、策划和实施项目的研究工作；主要负责多通道人机交互系统架构关键共性技术的理论、技术与算法的研究工作；制定多通道人机交互系统的数据传输协议和接口标准；负责学术成果、知识产权的编写、申报等工作；负责向合作单位三提供产品化关键技术支撑和试验数据支撑等工作。
（2）项目合作单位
主要负责产品方案设计、产品线规划、产品样机研制、产品工艺技术设计、产品试验系统搭建、产品示范工程建设、成果转化与产业化发展等工作。
根据上述产学研合作研究原则，经合作单位双方负责人之间的酝酿和反复探讨，结合双方长期产学研发展的共同需要，共同组建了一个学科、职称、年龄结构合理的项目研究小组。项目研究小组的负责人及成员的具体工作分工如下表1所示：
表1 人员分工表
序号
姓名
年龄
职 称
职 务
专业方向
所在单位
联系电话
项目中分工
1
台正
38
高工

控制理论与控制工程
XX飓鹰科技有限公司
86336266
总负责
总策划
2
程克非
35
副教授

控制理论与控制工程
XX飓鹰科技有限公司

技术路线总策划
3
姚军平
40
教授

医学工程
XX飓鹰科技有限公司
67300580
人机交互总策划
7
王崇明
37
学士
总经理
计算机专业
XX飓鹰科技有限公司
18680881232
项目管理
5
何耀敏
30
硕士

计算机工程
XX邮电大学
89137709
系统设计与研发
6
胡晓力

硕士

XX市科学技术研究院
89137709
系统设计与研发

四、项目攻关总体目标，实施年限，具体的考核指标（含主要技术经济指标）及年度计划安排
4.1项目攻关总体目标
实现多通道、多媒体的自然、高效、智能化的人机交互界面是当今计算机发展的重要趋势。随着模式识别、自然语言理解和新的传感技术的发展，人机界面技术将进一步朝着计算机主动感受、理解人的意图方向发展，新的多通道、多媒体的人机界面将是发展的主流。
视线应用于人机交互具有直接性、自然性和双向性特点。通过本项目的实施，应用、完善眼动跟踪核心关键技术，实现视觉指示模块化、微型化，研发出一系列具有自主知识产权的智能化人机交互系统设备，探索下一代电脑多通道人机交互系统应用模式。
具体目标为：
③ 开发视线跟踪（又称眼睛瞄准系统或视觉跟踪）应用系统。
④ 研发眼控笔记本产品原型
4.2项目实施年限及年度计划安排
根据本项目主要研究内容和关键技术研究的可行性分析，本项目实施的年限为2年半，即从2011年7月-2013年12月，年度计划安排如下：
（1）第一阶段2011年7月～2011年12月：总体设计与任务分解
项目总体方案设计、需求分析及规划，研究目标的分解、确定各项研究任务，分配到各研究人员，同时开展部分核心关键技术试验研究。通过这个阶段的核心关键技术试验确定研究方案，将研究内容划分成多个模块，确定各模块任务，分析模块间关系并确定各模块技术指标，确定各研究模块的技术接口。实现目标分解，以便于项目组能更好地、协调地开展研究工作。
本阶段成立三个研究小组：
j 系统架构与接口标准组
系统架构与接口标准组主要负责研究基于多通道人机交互系统架构，制定系统数据传输协议及数据接口标准。
k 视线跟踪关键技术研究小组
视线跟踪关键技术研究小组主要负责视线跟踪关键技术研究小组关键技术研究与设备研发。
l 人机交互模式研究小组
人机交互模式研究小组主要负责基于高效、稳定用户交互模式关键技术研究及关键技术研究与设备研制。
（2）第二阶段2012年1月～2012年6月：理论与方法研究
j 系统架构与接口标准组
系统架构与接口标准组主要负责研究基于多通道人机交互系统架构，制定系统数据传输协议及数据接口标准。
k 视线跟踪关键技术研究小组
视线跟踪关键技术研究小组探讨、筛选视线跟踪关键技术与设备方案。
l 人机交互模式研究小组
人机交互模式研究小组探讨、筛选高效、稳定用户交互模式关键技术方法。
（3）第三阶段2011年7月～2012年4月：样机研制
三个研究小组共同投入：
① 视线跟踪应用系统样机研制。
② 眼控笔记本产品原型研制。
（4）第四阶段2012年5月～2013年9月：系统测试
三个研究小组共同协同开展系统可靠性测试与评估。
（5）第四阶段2012年10月～2013年12月：总结提高
总结提高：研究总结、验收结题、后继研究、产业推广。
项目总体进度安排如下表：
项目研究工作进度计划表
阶段
工作计划
2011年
2012年
2013年
一
总体设计与任务分解

二
理论与方法研究

三
样机研制

四
系统测试

五
总结提高

4.3项目考核指标
1.技术指标
（1）研制视线跟踪（又称眼睛瞄准系统或视觉跟踪）应用系统1套
（2）研发眼控笔记本产品原型1台；
（3）申报专利3项，申报软件著作权2项，发表学术论文至少2篇；
2.经济指标
XX市政府致力于打造中国内陆最大的笔记本电脑基地，预计今后几年，整个世界市场笔记本电脑的销售量会达到每年3亿台左右。XX能够实现每年生产销售1亿台电脑，占全球的1/3。项目实施推广后，对形成XX计算机高端制造产业具有现实意义，充分发挥XX的制造业自身优势，推动上下游厂商配套，预计使得笔记本价值提高7%，按笔记本的基本产能分析，每年可新增利润200亿。
五、项目的主要研究内容，课题设置方案及承担单位选择方式
5.1项目的主要研究内容
依据本项目的总体研究目标，确定如下的主要研究内容：
（1）微型视线跟踪器系统架构研究
微型视线跟踪器系统架构包括视场空间标定、眼球图像采集、图像分析处理和数据传输几个单元。

（2）攻克一系列系统集成技术，包括视线跟踪模块、输出显示模块、后台信息服务相关设备
（3）研发出服务平台系统和视觉交互信息终端。
（4）视觉定标模式及眼动模式识别与交互功能定义。
5.2课题设置方案及承担单位选择方式
根据本项目研究总体目标、主要研究内容和产学研优势互补结合方式，课题研究设置方案如下：
（1）本项目由XX科学技术研究院信息与自动化研究中心承担并担任项目负责人，总体负责本项目研究与管理工作,具体承担系统体系架构研究、核心技术攻关、产品初样机设备试制与系统开发；
（2）本项目由XX飓鹰科技有限公司参与合作研究。XX飓鹰科技有限公司负责本项目相关标准制定、工程集成技术规范设计、产品正样机研制、实验验证系统搭建、产品样机测试、产品制造与市场推广。
（3）本项目设立三个研究小组，具体分工为：
系统架构与接口标准组：负责系统架构与接口标准组主要负责研究基于多通道人机交互系统架构，制定系统数据传输协议及数据接口标准；视线跟踪关键技术研究小组：视线跟踪关键技术研究小组，主要负责视线跟踪关键技术研究小组关键技术研究与设备研发；人机交互模式研究小组，负责人机交互模式研究小组主要负责基于高效、稳定用户交互模式关键技术研究及关键技术研究与设备研制。
（4）本项目合作双方共同开展定期技术交流、现场试验和国际学术交流，共同总结科研成果、发表学术论文、申请技术专利、共享知识产权。
六、项目的主要技术特点和创新点，关键技术内容，项目实施的技术、工艺路线，可能取得的专利（尤其是发明专利和取得国外专利）及知识产权分析
6.1主要技术特点
探索自然和谐的人机关系已成为计算机研究的一个重要领域，自然、高效、智能化的人机交互界面是当今计算机发展的重要趋势。视线应用于人机交互具有直接性、自然性和双向性特点，这也是眼动技术应用于人机交互特有优势。本项目其主要研究内容和关键技术涉及心理学、认知科学、软件工程、图形学、人工智能、模式识别、可靠性等技术。项目研究具有多学科与技术交叉、学术前沿、工程实践性强的突出特点；具有行业性强的显著特点；项目研究成果的推广应用，属于国家新兴战略性产业，具有良好的新兴战略性产业发展的政策扶持力度。
6.2主要技术创新点
通过本项目关键技术的研究，可获得以下几方面的技术创新：
（1）提出下一代电脑多通道人机交互系统架构，实现系统架构创新；
（2）制定多通道人机交互系统的数据传输协议和接口标准，实现标准创新；
（3）攻克视线跟踪模块、输出显示模块和信息服务相关设备集成技术，实现系统集成创新。
（4）将视线指示技术应用到特种行业特种应用，实现应用创新。
6.3关键技术内容
根据本项目总体研究目标和主要研究内容，确定本项目研究关键技术内容主要为：
（1） 基于视频分析的高速眼动跟踪技术
该技术必须具备以下特点：稳定，物理硬件的可靠性一般由物理设计来提供保证，处理逻辑可靠性依赖于系统方案和技术实现来进行验证；精确，满足0.5度空间分辨率；实时，不允许有大的时间延时，延时控制在1/25秒以内。
（2） 视线指示技术
该技术也必须具备以下特点：稳定、精确、实时、可修正、可表达。视线方向的估计方法分为两种主要研究方向。一是基于神经网络；二是眼部特征分析。一般情况下．基于神经网络来估计视线方向具有较高的精度和实时性，但是鲁棒性较差，因为当环境改变时需要重新建立网络模型。基于眼部特征分析的方法，利用立体视觉的原理，可以比较精确地获取眼睛部位的三维信息，从而得到眼球的偏转角度和视线方向。
（3） 眼动模式识别技术
人机交互需要有定位（类似鼠标移动）、选择（类似鼠标选择）、动作（类似鼠标双击）等。识别眼球运动的模式是将其转化为有效交互命令的基础前题。眼动主要有三种形式：注视(Fixations)、跳动(Saceade)和平滑尾随跟踪(Smooth Pursuit),另外的眼动如眼球震颤、会聚、扭转等对人机对话没有显著意义。注视表现为在被观察目标上的停留，这些停留通常至少持续1～200 ms以上，绝大多数信息只有在注视时才能获得并进行加工。
（4） 视线交互模块微型化技术
集成化、微型化是该技术规模化应用的必要条件。要求模块采用低功耗设计、便于安装或携带，接口简单，可以方便地与其他设备进行数据交换。

6.4实施技术路线
本项目研究采取总体策划与分工合作、理论研究与设备研发、初样机研发与现场实验、正样机研发与实验验证系统建设等多个步骤，理论与实践相结合的研究方法展开。
视线跟踪应用系统。该系统可以广泛应用于军事领域的预警、火控、制导，特种行业的目标指认（指示）及远程行动指挥交互。特别适合高空作业、地下作业、水下作业、高密度人群等特殊环境情况下，现场作业人员为远程指挥系统指认、指示作业环境的具体目标。例如，实时军事协同侦察通过协同侦察指挥员在后端通过实时监看前端侦察员视野目标和视觉观察方位辅助提示被前端侦察员忽视的目标或者指示其对重点目标进行侦察。实时军事目标指示系统用于通过指示者的视线指示方位快速指示军事目标或攻击对象，武器系统跟随指示方位完成瞄准、锁定、待击发状态切换。

该系统的主要组件及其基本光学原理如下：

系统划分为前端移动终端和后台指挥、支援平台：
前端移动终端：主要包括微型场景摄像机、微型视线跟踪器、数据传输单元等，主要提供指示现场信息。
后台指挥、支援平台：图像分析、行业专家应用系统，决策指挥应用。

系统处理流程如下：
1：标定眼球与场景的相对位置关系，即瞳孔中心位置（x,y）与场景图像关注点位置（xw,yw）的空间对应关系。
2：跟踪眼球位置（x,y）及其运动状态。
3：判断为眼球指示状态时，将瞳孔中心位置（x,y）投射到场景图像关注点位置（xw,yw），并将场景图像关注点作为视线指示目标传输到后台信息处理平台。
4：后台信息处理平台判断分析前端指示信号，向其发出行动指示。

眼控笔记本产品原型方案
基于传统笔记本，采用添加相对独立的应用附件的方式，提供眼控应用接入。如下图，在笔记本显示屏下方，增加一个独立的长条型设备，

系统原理图

眼控笔记本采用微型眼动跟踪系统，该系统通过屏幕附近的红外LED标定显示器的特征识别点，该特征识别点采用特殊的闪烁规则或特定的形状标定自身；微型摄像头负责跟踪用户头部和眼部细节，根据红外LED在眼球的映光点位置及瞳孔中心位置，反向推算出视线投射在屏幕的位置，其推算可以按用户个体差异进行微调或者进行精细定标。
其核心处理流程如下：
1：初始化定标，确定红外LED与显示器的空间关系。
2：采集眼部图像，搜索红外LED特征点在眼球上的反光点。
3：找出瞳孔中心位置。
4：根据球迷光点反射模型，计算视线投射在显示屏的位置。
5：根据视线运动模式，利用系统消息驱动用户交互。

6.5知识产权分析与可取得专利
本项目预计可取得3项专利、2项软件著作权，知识产权情况如下：
（1）国内专利：微型视线跟踪设备；
（2）国内专利：视线指示设备；
（3）国内专利：眼控模式识别方法；
（6）软件著作权：微型视线跟踪嵌入式软件；
（7）软件著作权：眼控交互界面应用软件。

七、项目的关联行动：相关的基本建设、技术改造、技术引进、国际合作等落实情况，与其它相关市级科技计划（工作）、项目的衔接和分工，项目的组织管理措施，其它必要的支撑和配套条件（如基地、示范点、技术或工程依托等）落实情况
7.1与其它相关市级科技（计划）项目的衔接和分