第5章数字视频.ppt

单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,南京大学多媒体技术研究所,*,第,5章,数字视频(,3,),2026/10/25,1,南京大学多媒体技术研究所,内 容,1.,MPEG,概述,2.,MPEG-1,视频的编码,3.,MPEG-1,视频的解码,2026/10/25,2,南京大学多媒体技术研究所,1.,MPEG,概述,2026/10/25,3,南京大学多媒体技术研究所,视频压缩编码的标准,ITU-T,标准,用于,ISDN,视频会议的,H.261(Px64),标准,用于,PSTN,可视电话的,H.263,标准,用于,ATM/B-ISDN,视频会议的,H.262,标准,ISO/IEC,国际标准,用于,VCD,的,ISO 11172(MPEG-1 video),标准,用于数字电视和,DVD,的,ISO/IEC 13818(MPEG-2 video),标准,用于交互式多媒体应用的视听编码标准,MPEG-4,企业(公司)标准:,AVI,QuickTime,RealVideo,2026/10/25,4,南京大学多媒体技术研究所,视频压缩编码的国际标准,ITU-T,Joint,ITU-T/MPEG,MPEG,H.261,H.263 H.263+H.263+,H.262/MPEG-2,H.26L,MPEG-1,MPEG-4,84 86 88 90 92 94 96 98 00 02 04,MPEG-7,2026/10/25,5,南京大学多媒体技术研究所,MPEG-1,的评价(应用),Video CD,(several tens million players sold in PR of China),“The”format of,audio and video for PC,Windows 95/NT/98 contain an MPEG-1 software decoder,MPEG-1 Audio(recently,layer 3)is widely used for,Web music,Digital Audio Broadcasting,(DAB)utilises MPEG-1 Audio(adopted in Europe and Canada),Lightweight MPEG-1,video cameras,are on sale,2026/10/25,8,南京大学多媒体技术研究所,MPEG-1 Requirements,(在大约1.5,Mb/s,数码率的情况下,获得质量可接受的,A/V,信息;适合于,CD-ROM,DAT,硬盘,可写光盘等数字存储 介质;可在,N-ISDN、LAN,等通信网络上传输),1,random access 2 fast forward/backward search,3 reverse playback 4 A/V synchronization,5 robustness to errors 6 small encoding/decoding delay,7 editability 8 format flexibility,9 cost tradeoff,2026/10/25,9,南京大学多媒体技术研究所,MPEG-1,的内容,ISO/IEC11172-1:,system audio,video,data,等如何组织成一个复合的比特流;如何同步等.,ISO/IEC11172-2:,video video,信号的压缩编码,ISO/IEC11172-3:,audio audio,信号的压缩编码,ISO/IEC11172-4:,Conformance testing MPEG-1,的一致性测试,ISO/IEC11172-5:,Software simulation MPEG-1,软件模拟,2026/10/25,10,南京大学多媒体技术研究所,MPEG-2,标准,MPEG-2,标准(,ISO/IEC13818),.1994年发布。,主要针对数字电视特别是高清晰度电视(,HDTV),的视频及伴音信号，典型传输速率为10,Mbps，,与,MPEG-1,兼容，适用于1.5,Mbps60Mbps,甚至更高速率的编码范围。,2026/10/25,11,南京大学多媒体技术研究所,MPEG-2,标准（续）,以,MPEG-2,作为视音频压缩标准的,数字卫星电视,已在欧美形成了很大市场；,美国高级电视联盟(,ATV Grand Alliance),和欧洲数字视频广播计划(,Digital Video Broadcast Project),先后决定将,MPEG-2,用于,高清晰度电视(,HDTV),广播中;,新一代的,数字视盘,DVD,采用,MPEG-2,作为其视音频压缩标准(注:欧、美、日在视频方面采用,MPEG-2,标准,而在音频方面则采用,AC-3,标准)。,2026/10/25,12,南京大学多媒体技术研究所,MPEG-2,的评价(应用),Several tens of million,set top boxes,for satellite and cable have been sold,Digital television,VHF/UHF broadcasting,More than xxx million,DVD players,sold,The MPEG-2 4:2:2 profile is being adopted in the,television production,industry,MPEG-2 has created the entirely new digital television industry worth 30 billion USD,2026/10/25,13,南京大学多媒体技术研究所,MPEG-4,标准,MPEG-4,标准(,ISO/IEC l4496,).,“,Coding of audio-visual objects,”,1999年5月形成国际标准(版本1),2001-2002形成版本2，是一种基于对象的视(音)频编码标准,目标是支持各种多媒体应用(主要侧重于对多媒体信息内容的访问),主要目标,compression and manipulation of audio and visual,objects,the web page paradigm applied to audio and video!,2026/10/25,14,南京大学多媒体技术研究所,MPEG-7,标准,MPEG-7,标准(,ISO/IEC l5938).,2001年9月形成。它是“多媒体内容描述接口”(,Multimedia Content Description Interface),的标准,该标准将确定各种类型的多媒体信息的标准描述方法,可应用于数字图书馆、各种多媒体目录服务、广播媒体的选择，以及多媒体编辑等领域,。,2026/10/25,15,南京大学多媒体技术研究所,MPEG-21,标准,MPEG-21,标准.,(,Multimedia Framework),多媒体框架标准适合于多种应用领域的各种类型用户对各种类型内容的传送和使用，可通过大范围的网络和设备允许对多媒体资源的透明和增强使用,2026/10/25,16,南京大学多媒体技术研究所,2,MPEG-1,视频的编码,2026/10/25,17,南京大学多媒体技术研究所,视频压缩编码概述,2026/10/25,18,南京大学多媒体技术研究所,视频流码率的计算,宽:,pixels(160,320,640,720,1280,1920,),长:,pixels(120,240,480,485,720,1080,),量化位数:,bits(1,4,8,15,16,24,),fps:,frames per second(5,15,20,24,30,),压缩率:(1,6,24,),长宽量化位数fps,压缩率,=bits/sec,2026/10/25,19,南京大学多媒体技术研究所,视频数据量,(压缩前，,in gigabytes),（3,bytes/pixel,30 frames/sec）,640,x480,320,x240,160,x120,1280,x720,(压缩后，每小时的数据量，,in megabytes),2026/10/25,20,南京大学多媒体技术研究所,视频应用与码率、分辨率的关系,分辨率,码率(,Mb/s),HDTV,CCIR601,CIF/SIF,QCIF,0 1 2 6 20 ,MPEG-1,H.261,MPEG-2,2026/10/25,21,南京大学多媒体技术研究所,视频数据压缩编码的依据,每一帧画面内部的信息有很强的相关性;,相邻画面之间有高度的相容性;,运动可以估测（,Motion Estimation）;,人眼的视觉特性有利于数据的压缩.,2026/10/25,22,南京大学多媒体技术研究所,视频压缩编码技术的评价准则,码率(,bitrate),重建图像的质量,编码/解码延时,错误修复能力,算法复杂程度,2026/10/25,23,南京大学多媒体技术研究所,MPEG-1,视频,压缩的基本方法,在空间域:,采用,JPEG(Joint Photographic Experts Group),压缩算法来去掉画面内部的冗余信息。,在时间域:,采用运动补偿(,motion compensation),算法来去掉画面之间的冗余信息。,2026/10/25,24,南京大学多媒体技术研究所,MPEG-1,视频,编,/,解码总框图,预处理,压缩编码,存储,和/或,传输,解码,数字视频,CCIR 601,后处理,显示,2026/10/25,25,南京大学多媒体技术研究所,预处理与画面分类,2026/10/25,26,南京大学多媒体技术研究所,CCIR 601(PAL),的预处理,亚采样滤波器,1,3,0,3,1,U,V,/8,-29,0,88,138,88,0,-29,Y,/256,i-3 i-2 i-1 i i+1 i+2 i+3,720,x576,360,x576,720,x288,360,x288,180,x288,Y,U,V,360,x288,(,SIF),180,x144,(,SIF),2026/10/25,27,南京大学多媒体技术研究所,MPEG-1,画面预处理中的亚采样,1 使用滤波器对亮度（色度）象素进行平滑处理：,-29,0,88,138,88,0,-29,Y,/256,i-3 i-2 i-1 i i+1 i+2 i+3,1,3,3,1,U,V,/8,亚采样前：10 12 20 30 35 15 19 11 11 19 26 45 80 90 92 90,2 采用亚采样降低分辨率,5923/256=23,平滑处理：,亚采样后:12 32 23 9 12 49 95 92,2026/10/25,28,南京大学多媒体技术研究所,画面的分类,Intra-picture(I,画面),不需要参考其它画面而独立进行压缩编码的画面;,Predicted-picture(P,画面),参考前面已编码的,I,或,P,画面进行预测编码的画面;,Bidirectional-picture(B,画面),既参考前面的,I,或,P,画面、又参考后面的,I,或,P,画面进行双向预测编码的画面,DC coefficient-picture(D,画面),仅使用画面中每个块的,DC,系数进行编码,用作正/反向快速搜索.单独进行编码与存储(仅,MPEG-1,使用)。,2026/10/25,29,南京大学多媒体技术研究所,MPEG,的画面组(,GOP),视频画面序列被分成一个一个画面组(,Grupe Of Pictures,GOP),GOP,中的画面数目一般为1015.,每个,GOP,中至少包含一个,I,画面，可没有,B,画面,甚至没有,P,画面,2026/10/25,30,南京大学多媒体技术研究所,画面的重新排序,画面的显示顺序是:,I B B P B B P B B P,1 2 3 4 5 6 7 8 9 10,画面的编码顺序是:,I P B B P B B P B B,1,4,2 3,7,5,6,10,8 9,因此,每一个,GOP,中的画面在编码前和解码后都必须重排序,B,B,P,B,B,P,I,B,1 2 3 4 5 6 7 8 9 10,例,B,GOP(Group of Pictures),P,2026/10/25,31,南京大学多媒体技术研究所,编码器结构及,I,画面的处理,2026/10/25,32,南京大学多媒体技术研究所,调节器,SIF,格式的视频画面,画面缓冲,与重排,运动,估计,DCT,Q,VLC,Buffer,M,U,X,Q,-1,IDCT,+,+,画面存储,及预测,预测画面,运动矢量,差分画面,视频比特流,q,解码的,差分画面,MPEG-1,编码器框图,I,画面独立编码,类似于,JPEG,P,画面和,B,画面应进行运动估计,求出12个运动矢量,P,画面和,B,画面采用帧间预测编码,被编码的是差分图象,2026/10/25,33,南京大学多媒体技术研究所,MPEG-l,编码器的组成,运动估计与宏块,类型,(,MTYPE),的选择,MQUANT(q),值的设置,运动补偿预测,量化和逆量化(,dequantizer),DCT,和,IDCT,变长编码(,VLC),多路复用器(,MUX),缓冲器及调节器,.,2026/10/25,34,南京大学多媒体技术研究所,I,画面压缩编码的流程,2026/10/25,35,南京大学多媒体技术研究所,宏块及运动矢量,2026/10/25,36,南京大学多媒体技术研究所,运动矢量,运动矢量,由于画面内容有连贯,性,因此当前画面的内,容可以看作是前面画,面部分内容的位移(运,动)。,2026/10/25,37,南京大学多媒体技术研究所,宏块的划分,画面各处的运动矢量(幅度、方向)各不相同，因此，画面应,细分成块(,宏块,)，以宏块为单位，找出两帧画面中相应宏块,之间的位移关系,运动矢量,2026/10/25,38,南京大学多媒体技术研究所,宏块的大小与组成,宏块(,macro block),的组成:,0,1,2,3,4,5,Y(16x16),U(8x8),V(8x8),宏块有2种情况：,可预测宏块,:与参考画面中的某个宏块有位移关系,不可预测宏块,:与参考画面中的任何宏块都找不到位移关系,2026/10/25,39,南京大学多媒体技术研究所,可预测宏块,Motion vector,Forward prediction:,前向预测宏块,(,I or P picture),(,P picture),Bidirectional prediction:,双向预测宏块,(,I or P picture),(,I or P picture),(,B picture),被编码宏块,被编码宏块,参考画面,参考画面,参考画面,2026/10/25,40,南京大学多媒体技术研究所,可预测宏块的预测公式,设,I(X),为位置,X,处的象素值；,I,1,(X),是画面1中的编码宏块象素的原始值,I,1,(X),是它们的预测值；,I,0,(X),和,I,2,(X),是参考画面0和画面1中宏块象素的值；,MV,0,1,和,MV,2,1,分别是画面1中的宏块相对于画面0、画面2中参考宏块的运动矢量。,宏块类型,预测公式,预测误差,内部宏块,I,1,(X),=128,I,1,(X),-,I,1,(X),双向预测宏块,I,1,(X),=I,0,(X+MV,0,1,)+I,2,(X+MV,2,1,)/2,I,1,(X),-,I,1,(X),后向预测宏块,I,1,(X),=I,2,(X+MV,2,1,),I,1,(X),-,I,1,(X),前向预测宏块,I,1,(X),=I,0,(X+MV,0,1,),I,1,(X),-,I,1,(X),2026/10/25,41,南京大学多媒体技术研究所,运动矢量的估计,参考画面,预测编码画面,编码宏块,最佳匹配宏块,搜索范围,运动矢量,2026/10/25,42,南京大学多媒体技术研究所,运动矢量估计算法,基本原理:,假设一个初始矢量,计算匹配度,是否最佳匹配,结束,y,在搜索范围内调整运动矢量,n,最佳匹配准则,(“方差和”最小/“绝对误差和”最小),:,2026/10/25,43,南京大学多媒体技术研究所,31,31,搜索范围,MPEG-1,的运动矢量估计,搜索范围(7种可选),31,63,127,.,2047?,搜索精度(2种可选),0.5,pel,1 pel,搜索策略(自定),全面搜索(31,x31),搜索次数=(31-16+1),2,=256,方向搜索法,对数搜索法(31,x31),搜索次数=9,x5=45,对偶搜索法,宏块,宏块,宏块,宏块,宏块,宏块,宏块,2026/10/25,44,南京大学多媒体技术研究所,方向搜索法,沿着最小失真方向,搜索，每一次检查,3-5个搜索点，搜索,步长固定。,2,2,2,1,1,1,1,1,3,3,3,4,5,2026/10/25,45,南京大学多媒体技术研究所,对数搜索法（3步搜索法）,1,1,1,1,1,1,1,1,1,2,2,2,2,2,2,2,2,2,3,3,3,3,3,3,3,3,3,4,4,4,4,4,4,4,4,4,搜索范围,每一步测试8个,搜索点,并逐步,缩小搜索步长,2026/10/25,46,南京大学多媒体技术研究所,实验结果,变焦的镜头及其运动场,平移的镜头及其运动场,2026/10/25,47,南京大学多媒体技术研究所,P,画面和,B,画面的编码,2026/10/25,48,南京大学多媒体技术研究所,P,画面宏块的类型及处理,(码块图,CBP=32xP,0,+16xP,1,+8xP,2,+4xP,3,+2xP,4,+1xP,5,),计算运动矢量,运动矢量0,运动矢量=0,预测编码,帧内编码,修改量化标尺,不改量化标尺,pred-mcq,pred-mc,使用码块图,不用码块图,pred-m,预测编码,帧内编码,使用码块图,不用码块图,修改量化标尺,修改量化标尺,不改量化标尺,不改量化标尺,intra-q,pred-cq,pred-c,skipped,intra-d,修改量化标尺,不改量化标尺,intra-q,intra-d,码块图表示宏块中有哪些子块的,DCT,系数为全0,2026/10/25,49,南京大学多媒体技术研究所,可预测编码宏块的处理过程,2026/10/25,50,南京大学多媒体技术研究所,B,画面的编码,B,画面编码:与,P,画面类似，但更复杂。例如:,宏块类型更多，可预测宏块可分成:,前向预测宏块,后向预测宏块,双向预测宏块,参加编码的运动矢量可能是1个或2个,D,画面编码:,只取每一块的,DC,系数进行编码，全部是帧内编码，用于快速检索,2026/10/25,51,南京大学多媒体技术研究所,双向预测宏块的编码过程,运动矢量,2026/10/25,52,南京大学多媒体技术研究所,小结1:编码器的主要操作,1为,GOP,中的,I,画面、,P,画面和,B,画面重新排序,2为,P,画面和,B,画面中的每个,MB（,宏块）估算运动矢量,3确定每个,MB,的宏块类型（,MTYPE）,4,如果选择自适应量化的话，设置量化因子,MQUANT。,2026/10/25,53,南京大学多媒体技术研究所,小结2:,I,P,B,三种画面的比较,压缩后，3种画面比特数目的比较：,IPB,例如：,I,画面：300,kb,P,画面：100-65,kb,B,画面：18-7,kb,关于,B,画面,优点：预测效果好，压缩效率高，,缺点：复杂，需要较大的缓冲器，增加了编码延迟。,2026/10/25,54,南京大学多媒体技术研究所,小结3:视频比特流的层次结构,DCT,单位,运动补偿单位,重新同步单位,主编码单位,随机存取单元,video,编辑单位,随机存取单元,context,2026/10/25,55,南京大学多媒体技术研究所,小结4:,MPEG-1,的视频数据流格式,Seq,Seq,Seq,Seq,Sequence Layer,CBP,b5,.,Addr,Type,Motion,Vector,QScale,b0,Block Layer,GOP,GOP,.,SeqSC,Video,Param,Bitstream,Param,QT,misc,GOP Layer,bitrate,bufsize,width,height,aspect ratio,picture rate,Pict,Pict,.,GOPSC,GOP,Param,Time,Code,Picture Layer,hours,minutes,seconds,Slice,Slice,.,PSC,Type,Buffer,Param,Encode,Param,Slice Layer,I,P,B,MB,MB,.,SSC,QScale,Vert,Pos,Macro-block Layer,which line does this slice start on?,2026/10/25,56,南京大学多媒体技术研究所,3.,MPEG-1,视频的解码,2026/10/25,57,南京大学多媒体技术研究所,解码器框图与解码过程,缓冲器,分,路,器,VLC,解码器,Q,-1,IDCT,画面,重排,+,画面存储,与预测,视频比特流,宏块类型、画面类型,运动矢量,量化步长,重建的视频图象,输入速率固定，但画面的数据量差别很大，必须要设缓冲,分路器负责语法、语义检查，对宏块进行解码，解出运动矢量、宏块类型等,IDCT,输出的是,I,画面及,P,画面和,B,画面的预测画面,保存,I,画面及,P,画面，生成预测画面（,P,B）,预则画面+差分画面=重建的画面,画面重排序，然后输出送显示器（帧速固定）,2026/10/25,58,南京大学多媒体技术研究所,缓冲器的设计,必要性：平滑数据量/画面的波动，确保以固定帧频显示。,副作用：增加了解码延迟时间，增大了成本。,画面数据量与缓冲大小的关系。,Buffer,输入速率,R,每隔1/,P,秒取1帧画面,B,B,n,假设,解码速率为,P,即每隔1/,P,秒从,Buffer,中取1帧画面的数据;,输入数据的速率为,R,所以每1/,P,秒会向,Buffer,中输入,R/P,数据;,缓冲器容量为,B,第,n,帧画面取走后其中留下的数据为,Bn,;,第,n,帧画面的数据量设为,dn,2026/10/25,59,南京大学多媒体技术研究所,缓冲器的设计,为了取第,n+1,帧画面时，不发生,下溢,，必须保证:,Bn+R/P=d,n+1,为了在第,n+2,帧画面取走之前，不发生,上溢,，必须保证:,(,Bn+R/P)-d,n+1,+R/P=Bn+2R/P-B,所以，第,n+1,帧画面的数据量必须满足：,Bn+2R/P-B=d,n+1,=Bn+R/P,Buffer,输入速率,R,每隔1/,P,秒取1帧画面,B,B,n,2026/10/25,60,南京大学多媒体技术研究所,解码后的后处理,resampling,-12,0,140,256,140,0,-12,1,3,0,3,1,Y,U,V,/256,/8,i-3 i-2 i-1 i i+1 i+2 i+3,720,x576,720,x288,360,x288,Y,CCIR 601,360,x576,360,x288,180,x288,180,x144,U,V,CCIR 601,2026/10/25,61,南京大学多媒体技术研究所,MPEG-1,视频编码小结,2026/10/25,62,南京大学多媒体技术研究所,MPEG-1,小结,特点：,是一种通用标准，它规定了编码视频流的表示语法和解码方法。该语法支持的操作有运动补偿预测、离散余弦变换(,DCT)、,量化和变长编码，,编码器设计具有灵活性（它没有定义产生合法数据流所需的详细算法；例如，对运动估计算法和压缩模式选择未作规定）,用于定义编码位流和解码器的一系列参数都包含在位流本身中。这就允许算法适用于不同大小和宽高比的画面，也可以用在工作速率范围很大的信道和设备上。,2026/10/25,63,南京大学多媒体技术研究所,MPEG-1,小结,缺点与不足:,16,x 16,的宏块作为预测单位尺寸稍大,可能产生亚象素级的位移,物体的3,D,运动(如旋转)不易预测,摄象机运动、灯光变化、物体形状变化、场景切换、物体遮挡等引起的画面变化，预测有困难,B,画面、,P,画面使编辑操作复杂化,仅适合 逐行扫描的视频信号的处理,2026/10/25,64,南京大学多媒体技术研究所,