Android移动终端的手势识别与控制系统.doc
《Android移动终端的手势识别与控制系统.doc》由会员分享,可在线阅读,更多相关《Android移动终端的手势识别与控制系统.doc(32页珍藏版)》请在咨信网上搜索。
1、精选资料Android移动终端的手势识别与控制系统李干(安徽大学,合肥)摘要:本系统基于android 2.3.5版本,是一个能通过手势对手机等android设备进行操作的系统。手势与自然语言相同,能表达复杂信息,选择手势进行人机交互,不存在信息交流的困难。主要的手势识别是通过色觉来实现的,通过肤色检测,在采集到的yuv格式图像进行条件判别,能确定手势的区域,得出二值化图像,这种方法比RGB和HSV省去了转换过程,提高了识别精度和速度。得到的二值图像是一个很大的数据,首先是信息提取,从中提取出W*H像素点的得到量化区域,对量化后的数据进行边缘确定,边界是用一种简单有效的边缘算法进行检测,最后通
2、过边缘轮廓确定指尖位置,对指尖位置进行跟踪和处理,可完成操作。采用指尖进行操控,指尖的轨迹和不同指尖间的配合,可以完成目前常用的操作。不采用整个手势进行识别,因为目前的针对复杂手势的识别方法还不成熟,无法进行精确的复杂手势识别,而对于移动终端,也不需要进行很复杂的操控,这样既增加了识别速度,也简化了操作。关键词:移动终端 手势识别 android 边缘检测 指尖控制 目录1引言32现状及作品介绍42.1 现状42.2 作品介绍(核心)53 Android平台及其camera框架73.1 android平台构架分析7应用程序层8应用程序框架8Android运行时9Linux内核93.2 came
3、ra框架93.2.1 框架概况103.2.2 框架代码结构114手势分割策略134.1 手势分割常用方法134.2 色彩空间选取144.2.1 RGB色彩空间144.2.2 YCrCb色彩空间154.3 边缘检测204.3.1 canny 边缘检测204.3.2 原创边缘检测算法225指尖检测策略256 部分算法26(1):边缘检测:26(2):二值化:297创新点30(1)应用创新30(2)分割方法30(3)指尖控制30(4)算法318附录311引言人对手机的依赖已经越来越严重,这种现象在大学校园尤为普遍。吸引人们关注手机的,早已不只是简单的收发信息,打电话着一些基本功能了,应用的爆发式增长
4、,满足了人们对手机各种功能上的需求,而满足人们感官上需求的,就是良好的人机交互了。在目前广泛使用的图形接口中,主要的输入方式还是物理键盘和触屏输入,当然,触屏技术凭借其优点在移动终端占据主流。然而,社会依然在发展,尤其是计算机领域,发展的尤为迅速,就像2007年那样,谁也没想到过触屏和智能会带来手机行业那么巨大的变化,研究人机交互技术变得异常活跃,也取得了巨大的成就,人机交互迅速受到了各大厂家的重视,并成为计算机竞争行业的又一竞争领域。手势作为自然的交互方式,在计算机领域取得了可喜的发展。而现在,移动终端的硬件也日趋强大,多媒体技术也在迅速发展,将手势应用到移动终端似乎成了一个顺水推舟的事。用
5、手指的形态来进行标记和识别,从而达到控制的目的。手势的直观性和强大的语义使得人机交互变得尤为轻松。但由于识别的性能有待提高,目前还未得到很广泛的应用。2现状及作品介绍2.1 现状根据设备采集数据资料的不同,目前的手势识别可以大体分为两种,基于数据手套的手势识别和基于视觉的手势识别。基于数据手套的识别系统优点是识别效率高,但由于其要求使用者必须穿戴极不方便的设备,而且设备的造价不菲,所以此种识别方式不会是未来的主流。而基于视觉的手势识别系统凭借良好的适用性以及不需要其他的硬件设备,只是通过普通的摄像头,因而成了发展的主流(本系统就是基于视觉的识别)。但基于是觉得手势识别由于识别度一直不高,成为了
6、其发展的瓶颈,国内外一些相关人士一直都致力于其发展,目前效果显著。国外的发展是比较长久的。(1)1991年富士通实验室完成了对46个手势符号的识别工作。(2)Davis和Shah将戴在指间具有高亮标记的视觉手套的手势作为系的输入,完成了对七种手势的识别。(3)Grobel和Assam从视频录像中提取特征,采用HMM技术识别262个孤立词,正确率达到91.3%。(4)Stamert51等人使用隐马尔科夫模型(HMM)对输入视频序列中的是美国手势带有词性的40个词汇随机组成的句子进行了识别,其中HMM参数的估计采用的是EM算法。系统对分离的单词和5个单词组成的句子进行识别,正确率高达90%。我国对
7、手势识别的起步较晚,但近年来也取得了显著的成果。(1)中科院的单彩峰提出了结合均值漂移的粒子滤波(The Mean ShiftEmbedded Particle Filter,MSEPF),通过在时序模板中引入时空轨迹,提出了时序模板轨迹概念,将跟踪得到的手势运动轨迹压缩到单幅图像中,实现了对预先定义的动态手势的识别。(2)山东大学的徐立群等提出了一种基于颜色概率模型并融合运动信息进行手势跟踪的新方法,利用肤色概率查找表将图像序列转换为肤色概率分布图,用运动信息和肤色概率分布对搜索窗口进行初始化,然后对肤色概率分布图进行迭代运算,得到手势的位置和大小,从而实现了对六种孤立手势的识别。2.2 作
8、品介绍(核心)本作品是一个基于移动终端的人机交互技术,它通过识别人手的关键点,并跟踪其轨迹,通过轨迹来识别人手势的意图,从而触发事件,并在屏幕或其他显示设备上做出反馈,达到交互目的。下面从作品的个特点做出分析:(1)与现在的pc端手势识别技术相比,本作品注重的是手势的关键点位置变化信息,并且将其应用在了移动终端。众所周知,移动终端的人机交互技术发展最为迅速,新的交互技术往往能改变行业发展方向。(2)从应用范围分析,全键盘由于携带不方便或占据较大空间,在移动终端很少使用了,触摸屏虽然是现在的主流,但其只能用在有介质的交互技术中,在未来的虚拟现实技术等一些无介质交互技术中还是有很大限制的,而手势操
9、作,对介质要求不大,是可以适用在各种终端的一种新型的交互技术,本作品的核心就是微手势的应用,不仅是现在的手机,更是站在未来的角度,打造未来移动终端交互技术的雏形。(3)本作品强调的是微手势,即手势中的关键点及其运动轨迹组成的一套简化后的手势,其能更好的应用在移动终端,是交互变得更加简约和自然。(4)本作品的完成完全由本人独立编码设计,未借助其他任何辅助工具,从手势的分割,边缘检测,质心、指尖检测,都是自己独立通过代码进行试验分析,其中手势的分割检测等,更是原创了一套适合处理能力不强的移动终端的方法。(5)特色应用。本作品灵感是来自谷歌眼睛。谷歌眼睛是应用虚拟现实技术的一种未来移动终端的雏形,其
10、显示是在一块眼镜镜片上,操作主要靠右手边镜框上的一个触摸板。笔者正是感觉触摸板式的人机交互已经不太适合一些已经到来的虚拟显示终端设备,而手势正好完美适用,所以才提出这种微手势的移动终端交互技术,应用了这种交互技术之后,许多科幻电影中的一幕不再是科幻,而且马上就会到来。3 Android平台及其camera框架Android系统是一个开放性的手机和平板的操作系统,目前的发展势头十分迅猛。虽然android面世的时间不长,但目前已经发展到了巅峰,取代了symbian等传统手机平台,成为了目前应用最广泛的手机等移动终端的操作系统。3.1 android平台构架分析Android系统的底层建立在lin
11、ux系统之上,该平台由操作系统、中间层、用户界面和应用软甲四层构成,它采用一种被称为软件叠层(software stack)的方式进行构建。这种软件叠层技术使得层与层之间相互分离,明确各自的分工。这种分工保证了层与层之间的低耦合,当下层的层内或层外发生变化时,上层的应用程序无需任何改变。 应用程序层Android系统将会包含系列的核心应用程序,这些程序包括电子邮件客户端、SMS程序、日历、地图、浏览器、联系人等。这些应用程序都由java编写的。应用程序框架开发Android应用程序,就是面向底层的应用框架进行的。在一定意义上,android所有应用都是平等的,不管是系统的还是开发者的。应用程序
12、框架除了作为开发的基础外,也是软件复用的重要手段,任何一个应用程序都可以发布他的功能模块只要遵循框架的约定,那么其他应用就可以使用这个功能模块。 Android运行时Android运行时由两部分组成:android核心库集和Dalvik虚拟机。其中核心库提供了java语言核心库所包含的大部分功能,而虚拟机负责运行Android程序。Linux内核Android系统建立在Linux 2.6之上,Linux内核提供了安全性、内存管理、进程管理、网络协议栈和驱动模型等核心服务。除此之外,Linux内核也是系统硬件和软件叠层之间的抽象层。3.2 camera框架Android的SDK中提供了底层硬件的
13、接口,其中包括底层的头文件、驱动、库文件,因此更方便系统的开发和移植。Camera工作流程:景物Scene传感器SensorADCDSPSD cardCamera的成像原理可以简单概括如下: 景物(SCENE)通过镜头(LENS)生成的光学图像投射到图像传感器(Sensor)表面上,然后转为电信号,经过A/D(模数转换)转换后变为数字图像信号,再送到数字信号处理芯片(DSP)中加工处理,再通过IO接口传输到CPU中处理,通过DISPLAY就可以看到图像了。3.2.1 框架概况Android的Camera子系统提供一个拍照和录制视频的框架。 它将Camera的上层应用与Application F
14、ramework、用户库串接起来,而正是这个用户库来与Camera的硬件层通信,从而实现操作camera硬件。 框架图:3.2.2 框架代码结构Android的Camera代码主要在以下的目录中: (1)Camera的JAVA部分 packages/apps/Camera/。其中Camera.java是主要实现的文件。这部分内容编译成为目标是Camera.apk com.android.camera这个包,几个主要的类文件如下: PhotoViewer:GalleryPicker.java(所有图片集)-ImageGallery.java(某个Folder下图片列表)-ViewImage.ja
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- Android 移动 终端 手势 识别 控制系统
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【胜****】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【胜****】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。