视觉信息处理.ppt

,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,本章重点:,颜色空间的表示与转换,数字图像处理技术,视频处理技术,动画技术,图象与视频文件的读取与显示,第3章 视觉信息处理,第3章 视觉信息处理,3.1 概述,3.2 图形处理技术,3.3 图像技术,3.4 视频处理,3.5 计算机动画技术,3.6 图像与视频文件解析,3.7 本章小结,3.1 概述,3.1.1,颜色的基本概念,3.1.2,颜色空间表示与转换,3.1.1 颜色的基本概念,颜色是人的视觉系统对可见光的感知结果。物体由于构成和内部结构的不同，受光线照射后，一部分光线被吸收，其余的被反射或投射出来。由于物体的表面具有不同的吸收光线与反射光的能力，反射光不同，眼睛就会看到不同的颜色。,颜色通常使用光的波长来定义，用波长定义的颜色叫做光谱色。,3.1.1 颜色的基本概念,国际照明委员会(CIE)定义了颜色的特性：色调（hue）、饱和度（saturation）和明度（brightness）。,色调用于区别颜色的种类。色调是视觉系统对一个区域所呈现颜色的感觉。如红、橙、黄、绿、青、蓝、靛、紫等。,饱和度是颜色的纯洁性，用来区别颜色的程度。当一种颜色渗入其他光成分愈多时，颜色愈不饱和。,明度是视觉系统对可见物体辐射或者发光多少的感知属性。,3.1.1 颜色的基本概念,亮度是用反映视觉特性的光谱敏感函数加权之后得到的辐射功率，用单位面积上反射或者发射的光的强度表示。由于明度很难度量，通常可以用亮度来度量。,3.1.2 颜色空间表示与转换,颜色常用颜色空间来表示。颜色空间是用一种数学方法形象化表示颜色，人们用它来指定和产生颜色。,颜色空间中的颜色通常用代表,3,个参数的,3,维坐标来描述，其颜色要取决于所使用的坐标。在显示技术和印刷技术中，颜色空间经常被称为颜色模型。颜色空间侧重于颜色的表示，而颜色模型侧重于颜色的生成。,在一个典型的多媒体计算机系统中，常常涉及到用几种不同的颜色空间表示图形和图像的颜色，以对应于不同的场合和应用，各种颜色空间可以方便地进行转换,。,视频通信有两种基本的传输模式：单点传输模式和多点传输方式。,对于用到调色板的位图，图像数据就是该像素颜色在调色板中的索引值，对于真彩色图像，图像数据就是实际的R、G、B值。,biCompression指定是否压缩，有效值为BI_RGB、BI_RLE8、BI_RLE4、BI_BITFIELDS；,在隔行扫描，一幅图像由奇数场（场正程）和偶数场（场逆程）组成。,实质上，三维动画是在一个三维虚拟空间创建物体的模型，把模型放在虚拟的三维空间中，配上灯光效果，然后给对象赋予动态效果和各种质感。,对于QCIF(176144)分辨率的视频序列，它的YUV文件格式如图：,另一类是反映物体表面属性或材质的灰度颜色等非几何要素，它侧重于根据给定的物体描述模型、光照及摄像机来生成真实感图形，如图所示。,通常把色调和饱和度通称为色度，用来表示颜色的类别与深浅程度。,数字图像的数据量是非常大的，存贮时会占用大量空间，在数据传输时数码传输率非常高，这对通信信道及网络都造成很大压力。,0中编程实现BMP图像的显示。,3 视频文件YUV格式的显示和存储,（3）便于计算机编辑处理,CAD是图形学的主要应用领域之一。,色调是视觉系统对一个区域所呈现颜色的感觉。,常见的有基于特征的图像变形（图），二维形状混合，轴变形方法、三维自由形体变形(FFD，Free-Form Deformation)（图）等。,通常把色调和饱和度通称为色度，用来表示颜色的类别与深浅程度。,3 视频文件YUV格式的显示和存储,DWORDbiSizeImage；,1RGB颜色空间,计算机颜色显示器显示颜色的原理与彩色电视机一样，都是采用红（,R,）、,绿（,G,）、,蓝（,B,）,相加混色的原理，通过发射出,3,种不同强度的电子束，使屏幕内侧覆盖的红、绿、蓝荧光材料发光而产生颜色的。这种颜色的表示方法称为,RGB,颜色空间表示。,在,RGB,颜色空间，任意色光,F,都可以用,R,、,G,、,B3,色不同分量的相加混合而成，即,(3-1),2HSI颜色空间,HSI,（,Hue,，,Saturation and Intensity,）,模型中，,H,表示色调，,S,表示饱和度，,I,表示亮度，它反映了人的视觉系统观察颜色的方式。通常把色调和饱和度通称为色度，用来表示颜色的类别与深浅程度。,由于人的视觉对亮度的敏感程度远强于对颜色浓淡的敏感程度，为了便于颜色处理和识别，人的视觉系统经常采用,HSI,颜色空间，它比,RGB,颜色空间更符合人的视觉特性。,2HSI颜色空间,在图像处理和计算机视觉中大量算法都可在,HSI,颜色空间中方便地使用，它们可以分开处理而且是相互独立的。,在,HSI,颜色空间可以大大简化图像分析和处理的工作量。,2HSI颜色空间,(3-2),RGB,颜色空间可与,HSI,空间相互转换，,HSI,颜色空间与,RGB,颜色空间的转换关系如下：,3YUV颜色空间,YUV,颜色空间也称为电视信号彩色坐标系统。在现代彩色电视系统中，通常把得到的彩色图像信号,经分色分别放大校正得到,RGB,，,再经过矩阵变换电路得到亮度信号,Y,和两个色差信号,R-Y,、,B-Y,，,最后发送端将亮度和色差,3,个信号分别进行编码，用同一信道发送出去。这就是常用的,YUV,颜色空间。,YUV,彩色电视信号传输时，将,R,、,G,、,B,改组成亮度信号和色度信号。,PAL,制式将,R,、,G,、,B3,色信号改组成,Y,、,U,、,V,信号，其中,Y,信号表示亮度，,U,、,V,信号是色差信号。,3YUV颜色空间,采用,YUV,颜色空间的重要性是它的亮度信号,Y,和色度信号,U,、,V,是分离的。如果只有,Y,信号分量而没有,U,、,V,分量，那么这样表示的图就是黑白灰度图。彩色电视采用,YUV,空间正是为了用亮度信号,Y,解决彩色电视机与黑白电视机的兼容问题，使黑白电视机也能接收彩色信号。,根据 国家电视制式委员会NTSC制式的标准，当白光的亮度用Y来表示时，它和红、绿、蓝3色光的关系可用如下式的方程描述：,(3-3),这就是常用的亮度公式。色差U、V是由B-Y、R-Y按不同比例压缩而成的。YUV颜色空间与RGB颜色空间的转换关系如下：,(3-4),YIQ模型与YUV模型非常类似，是在彩色电视制式中使用的另一种重要的颜色模型，NTSC彩色电视制式中使用。这里的Y表示亮度，I、Q是两个彩色分量。YIQ和 RGB的对应关系用下面的方程式表示：,(3-5),3YIQ颜色空间,4CMYK颜色空间,计算机屏幕显示通常用,RGB,颜色空间，它是通过相加来产生其他颜色，这种做法通常称为加色合成法。,彩色印刷或彩色打印的纸张不能发射光线，因而只能使用一些能够吸收特定光波而反射其它光波的油墨或颜料。油墨或颜料的,3,基色是青（,Cyan,）、,品红（,Magenta,）,和黄（,Yellow,），,简称为,CMY,。,理论上，任何一种由颜料表现的颜色都可以用这,3,种基色按不同的比例混合而成，这种颜色表示方法称,CMY,颜色空间表示法。,彩色打印机采用,CMY,颜色空间，而在印刷工业上则通常用,CMYK,表色系统，它通过颜色相减来产生其他颜色的，称这种方式为减色合成法。,CMY,空间正好与,RGB,空间互补，也即用白色减去,RGB,空间中的某一颜色值就等于同样颜色在,CMY,空间中的值。根据这个原理，很容易把,RGB,空间转换成,CMY,空间。由于彩色墨水和颜料的化学特性，用等量的,CMY 3,基色得到的黑色不是真正的黑色，因此在印刷术中常加一种真正的黑色，所以,CMY,又写成,CMYK,。,实际应用中，一幅图像在计算机中用,RGB,空间显示；用,RGB,或,HSI,空间编辑处理；打印输出时要转换成,CMY,空间；如果要印刷，则要转换成,CMYK,四幅印刷分色图，用于套印彩色印刷品。,4CMYK颜色空间,3.2图形处理技术,图形通常由点、线、面、体等几何元素和灰度、色彩、线型、线宽等非几何属性组成。从处理技术上来看，图形主要分为两类，一类是基于线条信息表示的，用于刻画物体形状的点、线、面、体等几何要素，如工程图、等高线地图、曲面的线框图等，如图,所示。另一类是反映物体表面属性或材质的灰度颜色等非几何要素，它侧重于根据给定的物体描述模型、光照及摄像机来生成真实感图形，如图,所示。,计算机图形处理是指利用由概念或数学描述所表示物体的几何数据或几何模型，用计算机进行显示、存储、修改、完善以及有关操作的过程。,图 3.1 线框图 图3.2 真实感图形,计算机图形学的研究内容涉及用计算机对图形数据进行处理的硬件和软件两个方面的技术，主要是围绕着计算机图形信息的输入、表达、存储、显示、变换以及表示物体的图形的准确性、真实性和实时性的基础算法进行研究。,图形处理技术大致可分为以下几类：,图形元素的几何变换，即对图形的平移、放大和缩小、旋转、镜像等操作。,自由曲线和曲面的插值、拟合、拼接、分解、过渡、光顺、整体和局部修改等。,三维几何造型技术，包括对基本体素的定义及输入，规则曲面与自由曲面的造型技术，以及它们之间的布尔运算方法的研究。,三维形体的实时显示，包括投影变换、窗口裁剪等。,真实感图形生成技术，包括三维图形的消隐算法，光照模型的建立，阴影层次及彩色浓淡图的生成等。,山、水、花、草、烟云等模糊景物的模拟生成和虚拟现实环境的生成及其控制算法等。,科学计算可视化和三维或高维数据场的可视化，包括将科学计算中大量难以理解的数据通过计算机图形显示出来，从而使人们加深对其科学过程的理解。,图形处理技术主要应用领域在计算机辅助设计和制造、计算机教育、计算机艺术、计算机模拟、计算机可视化、计算机动画和虚拟现实。CAD是图形学的主要应用领域之一。,3.3 图像技术,3.3.1 图像数字化,3.3.2 图像变换,3.3.3 图像增强,3.3.4 图像压缩编码,3.3.5 图像恢复与重建,3.3.1 图像数字化,图像的数字化是指将一幅图像从模拟的形式转化为数字的形式，包括对图像进行采样、量化以及编码等过程。采样（,Sampling,）,是对图像空间坐标的离散化，它决定了图像的空间分辨率。简单地讲，就是用一个网格,(,如图,所示,),把待处理的图像覆盖，然后把每一小格上模拟图像的各个亮度取平均值，作为该小方格中点的值；或者把方格的交叉点处模拟图像的亮度值作为该方格交叉点上的值。这样，一幅模拟图像变成只用小方格中点的值来代表的离散值图像，或者只用方格交叉点的值表示的离散值图像。这个网格称为采样网格，其意义是以网格为基础，采用某种形式抽取模拟图像代表点的值，即采样。采样后形成的图像称为数字图像。,3.3.1 图像数字化,对一幅图像采样时，若每行（即横向）像素为M个，每列（即纵向）像素为N个，则图像大小为MN个像素，从而,f(x,y),构成一个MN实数矩阵,其中每个元素为图像,f(x,y),的离散采样值，称之为像元或像素。,像素,采样行,采样列,采样间隔,图3.3 图像的采样,3.3.1 图像数字化,把采样后所得的各像素灰度值从模拟量到离散量的转换称为图像灰度的量化。,量化的方法包括：分层量化、均匀量化和非均匀量化。,分层量化是把每一个离散样本的连续灰度值只分成有限多的层次,。,3.3.1 图像数字化,均匀量化是把原图像灰度层次从最暗至最亮均匀分为有限个层次，如果采用不均匀分层就称为非均匀量化,.,图,给出了图像均匀量化成,256,级灰度的例子。图,(a),为量化为,256,级灰度的整幅图像，为便于显示，仅给出了,1616,的子图（用方框标出），,(b),是,1616,子图放大,44,倍后的结果，图,(c),为对应的量化后数据,。,3.3.1 图像数字化,(a)256级灰度图象 (b)子图 (c)子图对应的量化数据,3.3.1 图像数字化,2.图像的基本属性,图像质量好坏可通过以下属性度量：,（1）分辨率,分辨率包括显示分辨率和图像分辨率,显示分辨率是确定屏幕上显示图像的区域大小。显示分辨率有最大显示分辨率和当前显示分辨率之别。最大显示分辨率是由物理参数，即显示器和显示卡（显示缓存）决定的。当前显示分辨率是由当前设置的参数决定的。,3.3.1 图像数字化,(a)采样点256256 (b)采样点6464 (c)采样点3232 (d)采样点1616,图像分辨率是组成一幅图像的像素数目。对同样大小的一幅原图，如果数字化时图像分辨率高，则组成该图的像素点数目越多，看起来就越逼真。,(2)图像深度与颜色类型,3.3.1 图像数字化,图像深度是指位图中记录每个像素点所占的位数，它决定了彩色图像中可出现的最多颜色数，或者灰度图像中的最大灰度等级数。,(a),量化为,2,级的,Lena,图像,(b),量化为,16,级的,Lena,图像,(c),量化为,256,级的,Lena,图像,图,量化级数与图像质量之间的关系,图,给出了量化级数与图像质量之间的关系，从中,3.3.1 图像数字化,可以看出，每个像素点所占的位数越多，量化级数越高，图像细节也越清晰。,图像的颜色需用三维空间来表示，如,RGB,颜色空间，而颜色的空间表示法又不是唯一的，所以每个像素点的图像深度的分配还与图像所用的颜色空间有关。以最常用的,RGB,颜色空间为例，图像深度与颜色的映射关系主要有真彩色、伪彩色和直接色。,真彩色是指图像中的每个像素值都分成,R,、,G,、,B 3,个基色分量，每个基色分量直接决定其基色的强度，这样产生的颜色称为真彩色。,3.3.1 图像数字化,伪彩色图像的每个像素值实际上是一个索引值或代码，该代码值作为颜色查找表（,CLUT,，,Color Look-Up Table,）,中某一项的入口地址，根据该地址可查找出包含实际,R,、,G,、,B,的强度值。这种用查找映射的方法产生的颜色称为伪彩色。,直接色的获取是通过每个像素点的,R,、,G,、,B,分量分别作为单独的索引值进行变换，经相应的颜色变换表找出各自的基色强度，用变换后的,R,、,G,、,B,强度值产生的颜色。,(3),显示深度,显示深度表示显示缓存中记录屏幕上一个点的位数，也即显示器可以显示的颜色数,.,3.3.1 图像数字化,当显示深度大于图像深度时，屏幕上的颜色能较真实地反映图像文件的颜色效果,.,当显示深度等于图像深度时，如果用真彩色显示模式来显示真彩色图像，或者显示调色板与图像调色板一致时，屏幕上的颜色能较真实地反映图像文件的颜色效果,.,当显示深度小于图像深度时，此时显示的颜色会出现失真。,(4),图像数据的容量,3.3.1 图像数字化,在扫描生成一幅图像时，实际上就是按一定的图像分辨率和一定的图像深度对模拟图片或照片进行采样，从而生成一幅数字化的图像。图像的分辨率越高、图像深度越深，则数字化后的图像效果越逼真、图像数据量也越大。按照像素点及其深度映射的图像数据大小可用下面的公式来估算：,图像数据量图像的总像素,图像深度,/8(Byte)(3-6),3.3.2 图像变换,由于图像阵列很大，直接在空间域中进行处理，涉及的计算量很大。因此，往往采用各种图像变换方法，如傅立叶变换,(FFT),（图,）、离散余弦变换,(DCT),、,离散小波变换,(DWT),等间接处理技术，将空间域的处理转换为变换域的处理，不仅可以减少计算量，而且可获得更有效的信息。图像变换还包括传统的几何变换，例如图像的缩放、旋转、平移、投影转换等。,(a),lena,原图,(b),经过,FFT,变换后的频谱图像,(c),经,IFFT,后的图像,图,3.7,原始图像与,FFT,和,IFFT,变换后的图像比较,3.3.3 图像增强,（a）原始图像 （b）增强后的图像,图 3.8 原始图像与增强后的图像,图像增强处理是指根据一定的要求，突出图像中感兴趣的信息，而减弱或去除不需要的信息，从而使有用信息得到加强的信息处理方法。,根据增强处理过程所在的空间不同，图像增强技术可分为基于空间域的增强方法和基于频率域的增强方法两类。,3.3.3 图像增强,前者直接在图像所在的二维空间进行处理，即直接对每一像元的灰度值进行处理；后者则是先将图像从空间域按照某种变换模型,(,如傅里叶变换,),变换到频率域，然后在频率域空间对图像进行处理，再将其反变换到空间域。,图像增强主要方法有直方图增强、空域滤波法、频率域滤波法以及彩色增强法等。图,给出了原始图像与增强后的图像对比结果。,3.3.4 图像压缩编码,数字图像的数据量是非常大的，存贮时会占用大量空间，在数据传输时数码传输率非常高，这对通信信道及网络都造成很大压力。因此，图像处理的重要内容之一就是图像的压缩编码。图像压缩的主要参数之一是图像压缩比，定义为压缩后的图像数据量与压缩前的图像数据量之比：,(3-8),显然，压缩比越小，压缩后的图像文件数据量越小，图像质量有可能损失越多。当然，压缩的效果还与压缩前的图像效果及压缩方法有关。,3.3.5 图像恢复与重建,图3.9 图像重建实例,(a)退化图像,(b)正则化总体最小二乘法重建图像,(c)局部线化D.F.P方法重建图像,(d)自适应正则化总体最小二乘法重建图像,3.3.5 图像恢复与重建,幅图像进行数字化处理后，得到一个二维数组，这个过程是从图像到数据，而这个数据描述了图像。有了这个描述图像的数据，就可以进行各种处理。,图像重建理解为上述过程的逆过程。,图像的重建是一个极其复杂的信号处理过程，是采用某种滤波方法，去除噪声、干扰和模糊等，恢复或重建原来的图像。由图像的多个一维投影重建该图像，可看成是特殊的图像复原技术。常见的图像重建方法有：投影重建方法、变换重建方法、级数展开重建方法和综合重建、体素级重建方法和切片级重建方法等。,3.4 视频处理,3.4.1 视频信号的获取,3.4.2 视频信号的编码,3.4.3 视频信号的传输,3.4.4 视频信号的运动分析,3.4.5 三维视频处理与显示,3.4.1 视频信号的获取,视频可分为模拟视频和数字视频。,1,.,模拟视频,普通的广播电视信号是一种典型的模拟视频信号。电视摄像机通过电子扫描将时间、空间函数所描述的景物进行光电转换后，得到单一的时间函数的电信号，其电平的高低对应于景物亮度的大小，即用一个电信号来表征景物。这种电视信号称为模拟电视信号，其特点是信号在时间和幅度上都是连续变化的。,对模拟电视信号进行处理的视频技术（如校正、调制、滤波、录制、编辑、合成等）称为模拟视频技术。,3.4.1 视频信号的获取,在电视接收机中，通过显示器进行光电转换，产生为人眼所接受的模拟信号的光图像。,模拟电视系统通常用光栅扫描方式。光栅扫描是指在一定的时间间隔内电子束以从左到右、从上到下的方式扫描感光表面。若时间间隔为一帧图像的时间，则获得的是一场图像；在电视系统中，两场图像为一帧。扫描方式常有逐行扫描和隔行扫描。,(1),逐行扫描,逐行扫描如图,所示。在图（,a,）,中，实线为行扫描正程，电子束从左到右扫描过的轨迹；虚线是行扫描逆程，电子束从右到左扫过的轨迹。行扫描周期为电子束从左到右扫描完一行正程所需的时间加上从右返到左所需的轨迹。,3.4.1 视频信号的获取,(2),隔行扫描,隔行扫描如图3.11所示。在隔行扫描，一幅图像由奇数场（场正程）和偶数场（场逆程）组成。场扫描周期为场扫描正程时间加上逆程时间。采用隔行,行间隔,(a)逐行扫描,第i+1帧,第i帧,第i-1帧,帧间隔,（b）逐行扫描的帧结构,图3.10,逐行扫描,3.4.1 视频信号的获取,采用隔行扫描的目的是为了压缩光电转换后所产生的视频信号的频带。,(3),光栅特性,(a)隔行扫描奇数场,(b)隔行扫描偶数场,图3.11隔,逐行扫描,(3)光栅特性,光栅扫描的基本参数是帧频和每帧扫描行数，它们分别对应于光栅扫描的时间分辨率和空间垂直分辨率。视频就是由许许多多相隔,t,的帧组成的。根据人眼视觉惰性，低于一定阈值的帧频会使人眼感觉到图像动作的跳跃和闪烁，所以提高帧频能有效地改善画面的连续性和稳定性。每帧扫描行越多，图像就越清晰。,模拟视频信号经过数字化处理后，就变成了一帧帧由数字图像组成的图像序列，即数字视频信号，它用二进制数字表示，是计算机能够处理的数字信号。每帧图像由,N,行、每行,M,个像素组成，即每帧图像共有,MN,个像素。,3.4.1 视频信号的获取,与模拟视频相比，数字视频有许多优点：,（,1,）适合于网络应用,在网络环境中，视频信息可以很方便地实现资源的共享 和可以长距离传输，而模拟信号在传输过程中会有信号损失。,（,2,）再现性好,数字视频可以不失真地进行无限次拷贝，抗干扰能力强，模拟信号由于是连续变化的复制容易失真。,（,3,）便于计算机编辑处理,模拟信号只能简单调整亮度、对比度和颤色，而数字视频信号可以传送到计算机内进行存储、处理，很容易进行创造性地编辑与合成，并进行动态交互。,3.4.1 视频信号的获取,数字视频的缺陷：数字视频的缺陷是处理速度慢，所需的数据存储空间大，数字图像的处理成本增高。通过对数字视频的压缩，这样可以节省大量的存储空间。光盘技术的应用也使得大量视频信息的存储成为可能,。,3.4.2 视频信号的编码,数字视频的数据量非常大。视频压缩编码无论在视频通信还是视频存储中都具有极其重要的意义。视频编码的目的就是在确保视频质量的前提下，尽可能地减少视频序列的数据量，以便更经济地在给定的信道上传输实时视频信息或者在给定的存储容量中存放更多的视频图像。视频编码可分为第一代视频编码方法和第二代视频编码方法。,第一代视频编码方法主要有预测编码、变换编码和基于块的混合编码等。,第二代视频编码也称为基于内容的编码方法，主要采用分析合成编码、基于知识的编码、模式编码和语义编码等。,3.4.3 视频信号的传输,视频信号的传输是多媒体信息传输的核心。视频通信有两种基本的传输模式：单点传输模式和多点传输方式。,单点传输模式需要对等的通信方式，又称为为一对一方式。一般将这种对等（,peer-to-peer,）,通信称为单播。,多点传送是一对多或一对全部的方式，也称为广播方式（,broadcast,）,或组播。,根据服务方式不同，视频流业务可以分为直播和点播。,3.4.3 视频信号的传输,点播是将编码后的视频流存储起来，编码在离线的状态下进行，而直播则需要编码器实时地对视频信息进行编码。,视频传输通常要求实时，对时延十分敏感。,此外，视频传输涉及传输比特率、吞吐量、延迟等一些重要的网络性能参数。,3.4.4 视频信号的运动分析,运动分析与估计是数字视频处理的基本内容，也是视频处理研究的热点与难点。,研究内容主要是测量计算机投影到拍摄平面上的变化，并用来分析物体的运动结构，估计物体的运动参数。,与运动图像（视频）处理相关的研究内容包括：运动目标检测与分割、二维三维运动参数估计、运动物体的三维结构及空间关系的求解等。,运动分析主要有两种方法一是根据时间相邻的两幅或多幅图像求解物体的运动参数和三维结构信息；二是基于光流分析的运动分析。,3.4.4 视频信号的运动分析,运动分析与估计应用：计算机视觉、目标跟踪、工业监视和视频压缩等场合。,3.4.5 三维视频处理与显示,三维视频处理是对三维视频信号进行处理，即在普通二维视频信息的基础上增加深度信息，更逼真地描述现实世界。,三维信息可以通过立体显示器显示。立体显示器能完整地再现出三维场景的三维信息，显示有纵深的图像，使观看者可以直接看出场景中物体的远近，迅速直观地洞察图像的现实分布状况，从而获得更加全面和真实的信息。立体视频显示系统是模拟人眼设计的。,三维视频已在许多场合有重要的应用，例如，三维医学图像可以给医生提供比二维图像更加精确和有用的细节；科学勘探中三维视频可以更加精确地描述勘探对象等。,3.5 计算机动画技术,3.5.3 动画制作软件,计算机动画的原理与传统动画基本相同，只是在传统动画的基础上把计算机技术用于动画的处理和应用。,计算机动画是指采用图形与图像的数字处理技术，借助于编程或动画制作软件生成一系列的景物画面。其中，当前帧画面是对前一帧的部分修改。计算机动画的种类有很多，可以从不同的角度对其分类。,按照实现的方式可分为帧动画和造型动画。,按空间视觉效果可分为二维动画和三维动画。,按播放方式可分为顺序动画和交互动画。,1、帧动画与造型动画,帧动画由图形或图像序列组成，序列中的每幅静态图像称为一帧。,帧动画可以分为逐帧动画和补间动画。,逐帧动画，每一帧上都有可编辑的对象角色，设计者可以分别进行修改。,补间动画，设计者只需要在一个表演时间的两端分别给出两个关键帧，表示运动物体的初始和终结状态，动画制作软件就可以通过一定的算法计算生成自然、平滑的中间帧，从而产生细腻的动画效果。,造型动画也称为对象动画，就是利用三维软件创造三维形体。,三种三维形体的造型技术：组合技术、拓展技术、放样技术。,组合技术：先绘出基本的几何形体，再将它们变成需要的形状，然后通过不同的方法将它们组合在一起,。,拓展技术：先创建二维轮廓，再将其拓展到三维空间。,放样技术：先创建一系列二维轮廓，用来定义形体的骨架，再将几何表面附于其上，从而建立立体图形。,2.,二维动画与三维动画,二维动画的图像设计只限于平面，缺乏立体感，对光、影、景深、景浅等要求不高，制作也比较简单。,三维动画的图像设计强调空间概念，配上真实色彩和三维虚拟环境，动画效果会显得相当逼真。,实质上，三维动画是在一个三维虚拟空间创建物体的模型，把模型放在虚拟的三维空间中，配上灯光效果，然后给对象赋予动态效果和各种质感。,3.5.2动画的生成方法,1.,关键帧动画,关键帧技术来源于传统的动画制作。出现在动画片中的一段连续画面实际上是由一系列静止的画面来表现的。,关键帧是指被选出来的画面一般出现在动作变化的转折点处，对这段连续动作起着关键的控制作用。,所有影响画面图像的参数都可成为关键帧的参数，如位置、旋转角、纹理的参数等。,图,给出了关键帧以及由计算机对两幅关键帧进行插值生成若干中间帧的过程。,3.5.2动画的生成方法,图3.12 第1帧和第8帧是关键帧，其余各帧(2-7帧)可由插值算法生成,调色板动画涉及画出物体和处理调色板的颜色，或者只是处理调色板的颜色而不重画物体。,让一个圆形从屏幕的左边运动到屏幕的右边，有规则地用不同的调色板项重新绘制它，这样在每次重画时它的颜色就会改变。某些情况下，物体并不运动，只有它的颜色改变。,3.5.2动画的生成方法,变形技术是计算机动画中的一种重要的运动控制方式，变形可以是二维或三维的。常见的有基于特征的图像变形（图,），二维形状混合，轴变形方法、三维自由形体变形,(FFD,，,Free-Form Deformation),（图,）等。,基于图像的变形是一种常用的二维动画技术。包含图像之间的插值变形和图像本身的变形。,三维插值变形是指任意两个三维物体之间插值的转换渐变，处理对象可以是三维几何体，也可以附加物体的物理几何特征。,图3.13 基于特征的图像变形,图3.14 三维自由形体变形,基于物理模型的计算机动画是一种崭新的生成方法，大量运用弹性力学和流体力学的方程进行计算，力求使动画过程体现出最适合真实世界的运动规律。真正达到真实的运动是很难的，比如人的行走或跑步是全身的各个关节协调的结果（图3.15），要实现很自然的人走路的动画（图3.16）。,图3.15 人体骨架模型 图3.16 虚拟人体的分层表示模型,最大显示分辨率是由物理参数，即显示器和显示卡（显示缓存）决定的。,按照像素点及其深度映射的图像数据大小可用下面的公式来估算：,另一类是反映物体表面属性或材质的灰度颜色等非几何要素，它侧重于根据给定的物体描述模型、光照及摄像机来生成真实感图形，如图所示。,3 视频文件YUV格式的显示和存储,视频传输通常要求实时，对时延十分敏感。,6 图像与视频文件解析,关键帧是指被选出来的画面一般出现在动作变化的转折点处，对这段连续动作起着关键的控制作用。,图像质量好坏可通过以下属性度量：,视频通信有两种基本的传输模式：单点传输模式和多点传输方式。,视频编码可分为第一代视频编码方法和第二代视频编码方法。,LONGbiHeight；,这种电视信号称为模拟电视信号，其特点是信号在时间和幅度上都是连续变化的。,根据服务方式不同，视频流业务可以分为直播和点播。,1 数字图像的基本文件格式,其中，biCompression的有效值为BI_RGB、BI_RLE8、BI_RLE4、BI_BITFIELDS，这都是一些Windows定义好的常量。,过程动画是指动画中物体的运动或变形用一个过程来描述。在过程动画中，物体的变形是基于一定的数学模型或物理规律。,6.,运动捕捉,运动捕捉技术是一种新的动画制作方法，通过分析人体运动序列图像来提取关节点的三维坐标，从而得到人体的运动参数，进而获得完全真实的人体动画。,7.,三维扫描,三维扫描技术又称为三维数字化技术，它能对立体的实物进行三维扫描，迅速获得物体表面各采样点的三维空间坐标和色彩信息，从而得到物体的三维彩色数字模型。,3.5.3 动画制作软件,计算机动画的关键技术体现在计算机动画制作软件及硬件上。,动画制作软件是由计算机专业人员开发的制作动画的工具，使用这一工具不需要用户编程，通过简单的交互式操作就能实现计算机的各种动画功能。不同的动画效果，取决于计算机动画软、硬件的不同功能。虽然制作的复杂程度不同，但动画的基本原理是一致的。目前，比较流行的动画制作软件有,Flash,、,Director,、,Animator Studio,、,3D Studio Max,、,MAYA,等。,3.6 图像与视频文件解析,3.6.1 数字图像的基本文件格式,3.6.2 BMP图像文件解析,3.6.3 视频文件YUV格式的显示和存储,3.6.1 数字图像的基本文件格式,数字图像有多种存储格式，每一种图像文件均有一个文件头，在文件头之后才是图像数据。文件头的内容一般包括文件类型、文件制作者、制作时间、版本号、文件大小等内容。各种图像文件的制作还涉及到图像文件的压缩方式和存储效率等。常用的图像文件存储格式主要有,BMP,图像文件、,JPG,图像文件、,PCX,图像文件、,TIFF,图像文件以及,GIF,图像文件等。,（,1,）,BMP,图像文件格式,第一部分为位图文件头,BITMAPFILEHEADER,，,它是一个结构体，其定义如下：,3.6.1 数字图像的基本文件格式,typedef struct tagBITMAPFILEHEADER,WORD bfType;,DWORDbfSize;,WORDbfReserved1;,WORDbfReserved2;,DWORDbfOffBits;,BITMAPFILEHEADER;,这个结构的长度是固定的，为14个字节（WORD为无符号16位二进制整数，DWORD为无符号32位二进制整数）。其中，BfType表示文件类型，必须是0 x424D，即字符串“BM”；bfSize指定文件大小，bfReserved1和bfReserved2为保留字，使用中不用考虑；bfOffBits指明了从文件头到实际位图数据的偏移字节数。,3.6.1 数字图像的基本文件格式,第二部分为位图信息头,BITMAPINFOHEADER,，,也是一个结构，其定义如下：,typedef,struct,tagBITMAPINFOHEADER,DWORD,biSize,；,LONG,biWidth,；,LONG,biHeight,；,WORD,biPlanes,；,WORD,biBitCount,；,DWORD,biCompression,；,DWORD,biSizeImage,；,LONG,biXPelsPerMeter,；,LONG,biYPelsPerMeter,；,DWORD,biClrUsed,；,DWORD,biClrImportant,；,BITMAPINFOHEADER,；,3.6.1 数字图像的基本文件格式,这个结构的长度是固定的，为,40,个字节（,LONG,为,32,位二进制整数）。其中，,biCompression,的有效值为,BI_RGB,、,BI_RLE8,、,BI_RLE4,、,BI_BITFIELDS,，,这都是一些,Windows,定义好的常量。由于,RLE4,和,RLE8,的压缩格式用的不多，今后仅讨论,biCompression,的有效值为,BI_RGB,，,即不压缩的情况。,bfSize,指明该结构的长度，其值固定为,40,；,biWidth,和,biHeight,分别是图像的宽度和高度，单位是像素；,biplanes,是图像的位平面数，必须是,1,；,biBitCount,指定颜色位数，,1,为二色，,4,为,16,色，,8,为,256,色，,16,、,24,、,32,为真彩色；,biCompression,指定是否压缩，有效值为,BI_RGB,、,BI_RLE8,、,BI_RLE4,、,BI_BITFIELDS,；,biSizeImage,是实际的位图数据占用的字节数；,3.6.1 数字图像的基本文件格式,biXPelsPerMeter,和,biYPelsPerMeter,是目标设备水平分辨率和垂直分辨率，单位是每米的像素数；,biClrUsed,是实际使用的颜色数，若该值为,0,，则使用颜色数为,2,的,biBitCount,次方种；,biClrImprotant,是图像中重要的颜色数，若该值为,0,，则所有的颜色都是重要的。,第三部分为调色板,(Palette),，,当然，这里是对那些需要调色板的位图文件而言的。真彩色图像是不需要调色板的，,BITMAPINFOHEADER,后直接是位图数据。调色板实际上是一个数组，共有,biClrUsed,个元素（如果该值为零，则有,2,的,biBitCount,次方个元素）。数组中每个元素的类型是一个,RGBQUAD,结构，占,4,个字节，其定义如下：,3.6.1 数字图像的基本文件格式,typedef struct tagRGBQUAD,BYTE rgbBlue;/该颜色的蓝色分量,BYTE rgbGreen;/该颜色的绿色分量,BYTE rgbRed;/该颜色的红色分量,BYTE rgbReserved;/保留值,RGBQUAD;,第四部分就是实际的图像数据。像素按行优先顺序排列，每一行的字节数必须是,4,的整倍数。对于用到调色板的位图，图像数据就是该像素颜色在调色板中的索引值，对于真彩色图像，图像数据就是实际的,R,、,G,、,B,值。,3.6.1 数字图像的基本文件格式,进行图像文件分析时，有两点需要注意：,（,1,）每一行的字节数必须是,4,的整数倍，如果不是，则需要补齐。,（,2,）,BMP,文件的数据存放是从下到上，从左到右的。,其他一些存储格式大同小异，只是在文件组织形式、数据压缩方式等方面有所不同。,标记图像文件格式,TIF(Tag Image File Format),，,它是现存图像文件格式中最复杂的一种，它提供存储各种信息的完备的手段，可以存储专门的信息而不违反格式宗旨，是目前流行的图像文件交换标准之一。,TIF,格式文件的设计考虑了扩展性、方便性和可修改性,因此非常复杂，要求用更多的代码来控制它，结果导致,3.6.1 数字图像的基本文件格式,文件读写速度慢，,TIF,代码也很长。,TIF,文件由文件头、参数指针表与参数域、参数数据表和图像数据,4,部分组成。,GIF,（,Graphics Interchange Format,）,文件的全称是图形交换文件格式。该形式存储的文件主要是为不同的系统平台上交流和传输图像提供方便。它是在,Web,及其他联机服务上常用的一种文件格式，用于超文本标记语言,(HTML),文档中的索引颜色图像，但图像最大不能超过,64 M,，,颜色最多为,256,色。,GIF,图像文件采取,LZW,压缩算法，存储效率高，支持多幅图像定序或覆盖，交错多屏幕绘图以及文本覆盖。,GIF,主要