图像识别技术在录播系统中的研究_张蕴绮.pdf
《图像识别技术在录播系统中的研究_张蕴绮.pdf》由会员分享,可在线阅读,更多相关《图像识别技术在录播系统中的研究_张蕴绮.pdf(7页珍藏版)》请在咨信网上搜索。
1、数字媒体技术本栏目责任编辑:唐一东Computer Knowledge and Technology电脑知识与技术第19卷第6期(2023年2月)第19卷第6期(2023年2月)图像识别技术在录播系统中的研究张蕴绮,苗志程,陈弘健(常州工程职业技术学院,江苏 常州 213164)摘要:基于图像识别技术的录播系统是对人工录制模式的革新,其使用拓宽了优质教育资源的应用范围。本文主要研究适用于录播系统中的目标检测和跟踪技术,在没有人工干预的情况下,利用图像处理算法对视频图像进行实时分析与处理,实现对跟踪目标的自动检测、跟踪和拍摄。关键词:录播系统;图像识别;目标检测;目标跟踪中图分类号:TP391文
2、献标识码:A文章编号:1009-3044(2023)06-0097-06开放科学(资源服务)标识码(OSID):0引言国家“十三五”教育改革提出通过提升教育信息化促进教育公平、提高教育质量的方针1。近年来随着云计算、大数据等技术的实现,使利用信息化手段扩大优质教育资源覆盖面、缩小区域、城乡、校际教育资源不均衡再次提上议程。录播采集课堂教学资源,促进优质教育资源共享的特点,使得录播系统成为教育均衡发展最为重要的基础设施,得到多方面的重视。1录播系统概述全自动录播系统集图像分析技术、多媒体技术、网络流媒体技术、人工智能和自动控制技术于一体,将老师授课、师生互动、电脑VGA信号及课堂板书等进行智能跟
3、踪切换录制,自动生成课程资源。在功能架构上,录播系统由电源控制模块、视频模块、音频模块、跟踪模块、导播模块这五大子系统组成,如图1所示。(1)电源控制模块通过高度集成化的控制面板实现录播系统和其他设备的电源控制,一键开/关系统、一键启/止录播,操作简明。(2)视频模块通过网络摄像机采集课堂情景并传送至录播设备进行实时录制并生成流媒体文件,压缩率高,能够实现动态捕捉并自动生成文字索引。(3)音频模块利用通过智能混音器把课堂上师生的语音信号全息地采集下来,并实时传送至录制系统完成课件实时录制。(4)跟踪模块该模块根据图像差异匹配相应的控制策略驱动摄像机对目标进行智能跟踪定位,同时识别分析目标的活动
4、轨迹,以此实现授课场景的特写、镜头切换等录制。即便在不同场景下也能实现多目标的跟踪及镜头切换。(5)导播模块该模块主要用于录制过程中多场景及多路视频信号源、音视频文件和电脑VGA信号间的自动切换,系统根据教学活动的变化智能选择切换策略,并实现具备特效功能的智能导播。图1 智慧录播系统架构图2基于图像识别技术的运动目标检测与跟踪基于图像识别技术的运动目标检测与跟踪技术是当前技术含量最高、多媒体教学录播系统中采用最为广泛的一种手段。它的原理是利用图像处理算法,在没有人工干预的条件下对摄像机拍摄的图像序列进行分析、处理,从而实现课堂中师生的自动检测与定位跟踪。基于图像识别技术的跟踪框架图如图2所示:
5、图2 基于图像识别技术的跟踪框架图收稿日期:2022-11-15基金项目:常州工程职业技术学院校科研基金(11130300120010)作者简介:张蕴绮(1980),女,江苏常州人,硕士,工程师,研究方向为计算机视觉、目标跟踪;苗志程(1992),男,江苏宿迁人,硕士,工程师,主要研究方向:计算机应用软件、软件工程;陈弘健(1992),男,江苏盐城人,硕士,工程师,主要研究方向:数据挖掘、知识表示、软件工程。E-mail:http:/Tel:+86-551-65690963 65690964ISSN 1009-3044Computer Knowledge and Technology电脑知识与
6、技术Vol.19,No.6,February202397DOI:10.14004/ki.ckt.2023.0299本栏目责任编辑:唐一东数字媒体技术Computer Knowledge and Technology电脑知识与技术第19卷第6期(2023年2月)第19卷第6期(2023年2月)2.1运动目标检测运动目标检测是把运动目标的信息(如方位、尺寸、颜色等)从背景中提取中来,它是后续目标跟踪及其他分析处理的基础。目标检测算法不具备普适性,需针对特定场景选择可靠性高、复杂度低且满足最佳实时性的算法。2.1.1运动目标检测介绍根据摄像机与背景是否发生相对运动,可把运动目标检测分为动态背景和静态
7、背景两类。在录播系统中除特写摄像机外其他机位都相对固定,因此属于静态背景的运动目标检测。目前较常用的静态背景运动目标检测有三种,分别是光流法、帧间差分法、背景差分法,横向对比如表1所示2。表1 运动目标检测技术横向对比表算法类别光流法帧间差分法背景差分法优点无须了解场景的信息便可准确识别运动目标的位置3算法简单稳定,检测速度快,不易受环境光线影响算法简单,一定程度上克服了环境对光线的影响缺点计算复杂、抗噪声能力差无法识别静止或运动速度很慢的目标,检测目标内部会出现空洞4对背景图像实时更新困难适用范围对摄像机状态无要求,对设备要求高摄像机固定,适合动态变化环境摄像机固定,实时性要求高根据对比结果
8、,三种算法各有其优缺点,无法适用所有场景,因此应结合多种算法进行设计。录播教室通常会发生的干扰是遮挡、背景杂波和光照变化,跟踪目标的运动速度通常较慢,因此本文采用基于背景差分法的运动目标检测算法。2.1.2背景差分法背景差分法(又称背景减法)的基本思路是把当前帧图像与系统存贮或实时获取的背景图像进行差分运算,把背景偏离超过一定阈值的区域作为运动区域5。在做差分运算之前进行图像滤波可在一定程度上去除噪声的影响,本文采用高斯滤波法对当前帧去噪。与背景帧差分后选取适当的阈值对图像做二值化处理,为了消除细小噪声点的影响,二值化后的图像需进行形态学处理,最后对处理结果提取目标轮廓,具体流程图如图3所示。
9、下文将重点阐述背景差分法中的背景更新算法、图像阈值分割算法、形态学处理算法和轮廓提取算法。图3 基于背景差分法的运动目标检测算法1)基于滑动平均法的背景更新背景差分法实现的关键在于背景模型的获取和更新,混合高斯模型因其能可靠处理背景混乱运动的干扰和长时间的场景变化等特点成为近年来广泛使用的背景模型,但是它对于光线突然变化的场景该模型并不理想,因此本文提出基于滑动平均算法的背景模型。滑动平均算法是利用背景图像像素值与当前帧像素值进行加权求和来达到背景自适应更新目的的算法。其公式如下:Bn(i,j)=Bn-1(i,j)+In(i,j)-Bn-1(i,j)=In(i,j)+(1-)Bn-1(i,j)
10、(1)其中Bn(i,j)表示第n帧更新后的背景像素值,In(i,j)表示当前帧像素值,表示背景更新系数,一般在0到1之间取值,它的取值会影响到运动目标与背景模型融合的速度,考虑到录播场景中主要是缓慢的光照变化,本文中取值为 0.016。2)基于最大间类方差法的图像阈值分割当前帧与背景帧做差分后,要选取合适的阈值对图像进行分割来得到二值化图像。最大间类方差法的原理是按照图像的灰度特性把图像分为目标前景和背景两部分。当选取最佳阈值时,前景和背景之间的类间方差越大,错分概率越小7。记T为前景与背景的分割阈值,前景像素点出现的概率记为0,平均灰度为u0;背景像素点出现的概率为1,平均灰度为u1,图像的
11、平均灰度记为u,可得到:u=0 u0+1 u1(2)前景和背景图像的方差公式为:g=0(u0-u)(u0-u)+1(u1-u)(u1-u)=0 1()u0-u12(3)当方差g最大时,可认为此时前景和背景差异最大,此时的灰度T是最佳阈值。3)形态学处理在目标分割的过程中难免会产生噪声点,或是运动目标图像中出现空洞或不连通现象,影响轮廓提取的精度,通常采用数学形态学解决此类问题。数学形态学以膨胀、腐蚀为基础,结合起来可构成开、闭运算8。开运算用来消除细小对象、微小粘连,闭运算可用来连接邻近对象、填充对象内部细小空洞。开、闭运算都可在不改变目标面积的前提下平滑目标边缘。结合本文的实际场景,选择开运
12、算来消除细小噪声点的影响。4)轮廓提取通过阈值分割得到二值化图像后,需进一步提取出运动目标的轮廓。目标轮廓提取的原理如下:遍历图像中的每个像素点,如果该点灰度值为0,不管周围相邻的8个像素点的灰度值是0还是1,当前该点的灰度值取值为0;若该点灰度值为255,并且周围相邻的8个像素点的灰度值也是255,则当前该点的灰度值取值为0;除上述两种情况外,将该点灰度值取值为255。通过上述方法可完成对目标轮廓的提取,轮廓由灰度值为255的所有像素点组成。2.2运动目标跟踪98数字媒体技术本栏目责任编辑:唐一东Computer Knowledge and Technology电脑知识与技术第19卷第6期(
13、2023年2月)第19卷第6期(2023年2月)运动目标跟踪是在视频图像中提取出运动目标并在后续帧中定位出目标位置的过程。与运动目标检测算法相比,运动目标跟踪算法的着重点在于如何设计更有效的标记方法使该标记在各种情况下都能清晰可见、易识别9。运动目标跟踪的过程可分为以下几个步骤:1)在视频帧图像中检测出运动目标并从背景中分割出该目标。2)提取出运动目标包含的特征(如中心、速度、轮廓、颜色直方图等),并根据这些特征建立目标模型。3)根据模型预测该运动目标在下一刻可能出现的位置并锁定搜索范围。4)使用之前的目标模型在搜索范围内搜寻匹配目标并确定最佳匹配位置,若在所有的搜索范围内都没有找到匹配目标,
14、进行特定处理。5)根据最佳匹配目标修正运动目标的模型,再重复上面的操作。根据运动目标跟踪算法采集图像特征及使用跟踪策略的差异,运动目标跟踪算法可分为基于模式匹配、基于分类和基于目标状态估计这三类10。下面对这三种类别算法及其下属的二级分类进行简要介绍,并分别列出各算法的适用条件形成横向对比表2。表2 运动目标跟踪算法横向对比表算法类别基于模式匹配基于分类基于目标状态估计二级分类运动目标区域特征模型运动目标全局模型运动目标状态运动目标轮廓特征支持向量机on-line Boosting算法光流法卡尔曼滤波算法粒子滤波算法适用条件对目标遮挡敏感,计算量大,适应追踪不易发生形变的小物体抗干扰能力强,对
15、目标遮挡不敏感对移动背景敏感,适合处理静态背景目标跟踪,但计算量大,实时性差能克服目标遮挡及其他干扰,实时性强,但必须精确获取目标初始轮廓对运动目标发生遮挡和旋转等情况敏感实时性差,难以确定搜索范围大小无须先验条件,对光线变化敏感,实时性差目标模型需线性化且满足高斯分布适于解决非线性、非高斯条件下的滤波根据表2可知,基于贝叶斯框架的目标状态估计滤波算法表现形式灵活、融合性强且追踪性能稳定,成为当前运动目标跟踪方向的主流研究方法。与卡尔曼滤波算法相比,粒子滤波算法不受空间模型状态的限制,适合实际视频图像中噪声呈非线性、非正态分布的特点,因此本文选取粒子滤波作为目标跟踪算法。2.3粒子滤波目标跟踪
16、算法粒子滤波是以蒙特卡洛随机模拟理论为基础,对系统状态后验分布用一组加权随机样本(即所谓的粒子)近似表示,新的状态分布通过这些随机样本的贝叶斯递推估计。该算法不受线性、高斯分布及维数的限制,对目标模型没有限制。在粒子数足够多的前提下,其精度可接近最优估计。基于这些特点,粒子滤波目标跟踪算法成为目标跟踪领域的研究热点,拥有广阔的应用前景。粒子滤波主要包括四个步骤:1)粒子采样,从建议分布中抽取一组新的粒子;2)粒子加权,根据观测概率分布和贝叶斯公式计算各个粒子的权值;3)估计输出,输出系统状态的均值、协方差或高阶矩等;4)重采样,为了缓解粒子滤波中出现权值退化的问题而采取的方法。虽然粒子滤波算法
17、能较好地克服录制环境的噪声,但在实际使用中也存在以下两项缺陷:第一,粒子贫化现象严重,多次重采样后会发生样本枯竭;第二,使用单一特征作为参考模板,对目标描述不详尽11。这些都会影响到目标追踪的精度和稳定性。因此本文在传统粒子滤波算法的基础框架上,选取颜色、纹理、梯度特征,设计多特征自适应融合算法。2.4多特征融合的粒子滤波目标跟踪算法传统粒子滤波目标跟踪算法多数是基于单一的颜色特征建立目标模型,导致环境复杂时追踪不准确,因此本文采用多视觉特征融合的方式建立模型。2.4.1 HSV颜色特征颜色特征是目标跟踪最常用的特征之一,其提取简单且对较小程度的遮挡具较强的鲁棒性12。RGB和HSV是常用的颜
18、色空间,但由于RGB空间是非均匀的,不符合人体视觉对颜色的主观感知,本文采用HSV颜色空间来描述目标。HSV是根据颜色的直观特性建立的颜色空间,更注重表达对于颜色的视觉感知差异,其参数分别是色调(H)、饱和度(S)、明度(V)。在进行HSV特征的直方图统计时,为增加颜色分布的可靠性,对离目标区域中心点较近的像素赋予较大的权重,使像素点距中心点的距离与权值呈反比例关系,从而精确地表征目标颜色模型。采用式(4)所示的高斯核函数计算权重:k(r)=1-r2r 10,r 1(4)式中r表示区域内某像素点到中心点的距离。候选区域颜色直方图p(u)C用算式表示为:p(u)C=i=1Nk()x0-xihb(
19、xi)-ui=1Nk()x0-xih(5)该式中N是目标区域内像素点总数,u是颜色直方图的索引区间,b(xi)表示目标区域内第i个像素点在直方图中的索引值,b(xi)-u用于判断像素点xi的索引值是否属于直方图第u个索引区间内,x0-xi表示点xi到目标中心点x0的距离,参数h=Hx2+Hy2,代表目标区域的半径13。99本栏目责任编辑:唐一东数字媒体技术Computer Knowledge and Technology电脑知识与技术第19卷第6期(2023年2月)第19卷第6期(2023年2月)为了计算目标模型q(u)C和候选模型p(u)C的相似性,在两个归一化直方图(直方图等级数为m)之间
20、定义一个基于Bhattacharyya系数的度量:=u=1mp(u)Cq(u)C(6)dC=1-(7)式(6)中是Bhattacharyya系数,越大,dC的值越小,目标模型和候选模型的相似度越高。HSV特征的似然观测模型可以表示为14:pC(zk|xk)=12 Cexp(-dC22C2)(8)2.4.2 LBP纹理特征局部二值模式(Local Binary Patterns,LBP)是一种用于纹理描述算子,用于度量和提取图像局部的纹理信息,具有对光照变化及旋转不敏感的优点。依据该特征建立的目标模型能有效解决因场景变化导致追踪精度下降的问题。传统LBP算法中使用33矩形模板遍历图像进行二进制编
21、码,模板中心像素值为gc,从右侧中间像素点按逆时针方向依次编号gp(p=0,.7),每次周围像素与中心点像素比较:s(gp-gc)=1,gp-gc 00,gp-gc 0(9)得到二值图像,再把二进制数转化成十进制数,得到中心点gc的LBP特征值15:LBP=p=07s(gp-gc)2p(10)具体实现过程如图4所示。图4 LBP算法实现朴素LBP只能处理固定尺寸的纹理特征,因此研究者在此基础上继续拓展,提出其他改进算法。就目前研究成果而言,旋转不变Uniform LBP算法提取特征的效率最高。其算法的基本思路为把旋转不变LBP(LBP基础理论的扩展,将圆形邻域代替正方形领域,并将其不断旋转得到
22、的LBP值中取最小值作为该邻域的LBP值)值二进制数字从0到1或1到0跳变最多发生两次的模式称为Uniform模式,其他情况则为非Uniform模式。基于旋转不变特性,旋转不变Uniform LBP 算法只有两种结果:跳变两次或不发生跳变。本文采用8采样点的旋转不变Uniform LBP算子提取目标的纹理特征,共有9种取值可能,更能节省存储空间。把LBP特征量化为8个bin的直方图p(u)T并归一化,S是归一化系数,令u=1mp(u)T=1,p(u)T=Si=1Nb(xi)-u(11)与计算 HSV 特征相同,得到 LBP 特征的 Bhattacharyya距离dT和观测模型pT(zk|xk)
23、。2.4.3 HOG特征方向梯度直方图(Histogram of Oriented Gradient,HOG)通过梯度信息和边缘的方向密度分布来描述图像局部纹理特征。HOG对图像几何和光学能保持良好的不变性,对人体细微的肢体动作不敏感,因而特别适于人体检测。计算公式如下:M(x,y)=Ix2+Iy2(x,y)=arctanIyIx)0,360or)0,180(12)式中Ix和Iy表示水平和垂直方向上的梯度值,M(x,y)代表梯度的幅度值,(x,y)代表梯度的方向,以圆周为范围,每10为一个直方图索引区间,共计36个区间作为直方图的通道数,统计各像素点的幅值M(x,y)为某方向的直方图通道进行分
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 图像 识别 技术 录播 系统 中的 研究 张蕴绮
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【自信****多点】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【自信****多点】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。