Equation Chapter 1 Section 1面向多功能视频编码的感知比特分配方法.pdf
《Equation Chapter 1 Section 1面向多功能视频编码的感知比特分配方法.pdf》由会员分享,可在线阅读,更多相关《Equation Chapter 1 Section 1面向多功能视频编码的感知比特分配方法.pdf(7页珍藏版)》请在咨信网上搜索。
1、 2023 年第 7 期93计算机应用信息技术与信息化Equation Chapter 1 Section 1 面向多功能视频编码的感知比特分配方法袁卓文1 陈 芬1 崔 鑫2 苑博森1 彭宗举1YUAN Zhuowen CHEN Fen CUI Xin YUAN Bosen PENG Zongju 摘要 为了提高用户的视频观看体验,提出了一种面向多功能视频编码的感知帧级比特分配方法。首先根据人类视觉系统的感知特性,设计了面向多功能视频编码的显著性提取方法以提取视频的融合显著图;然后根据融合显著图设计了反映人眼感知差异性的权重;最后利用感知权重控制帧级的比特分配。实验结果表明,所提方法能为用户
2、视频观看过程中感兴趣的视频内容分配更多的比特,提高了重建视频的主观质量,提升了人眼的感知体验。关键词 多功能视频编码;人类视觉感知;显著性;比特分配doi:10.3969/j.issn.1672-9528.2023.07.0241.重庆理工大学电气与电子工程学院 重庆 4000542.河北地质大学信息工程学院 河北石家庄 050031 基金项目 重庆市自然科学基金(cstc2021jcyj-msxmX0411)和重庆理工大学科研启动基金资助项目(2020ZDZ029)0 引言近年来,在超高清视频行业的应用需求的推动下,联合视频专家组制定了一种新的视频编码标准,并将其命名为多功能视频编码(ver
3、satile video coding,VVC)。与高效视频编码(high effi ciency video coding,HEVC)相比,VVC 引入了许多新的编码工具,在相同编码质量条件下,压缩效率可提高约25%。超高清视频的发展带来了庞大的数据量,这给传输造成了巨大的压力。在有限的网络带宽条件下,面向 VVC 的比特分配方法和相应码率控制模型的设计是提高传输视频质量的关键所在,是当前的研究热点之一。目前已有大量学者研究了面向 HEVC 的比特分配和码率控制方法。Guo 等人1提出一种改进的 R-模型,该模型充分利用图片组中已编码帧的信息进行比特分配。Gong 等2将视频分为低速运动视频
4、和高速运动视频,并针对两类视频的特性进行码率控制。公衍超等人3从感知性能出发,设计了视频空时域复杂度确定的主观观测实验,并结合人类视觉系统(human visual system,HVS)设置了视频内容的感知权重,并将该权重应用于比特分配。Zhou 等人4设计了一个基于结构相似度的率失真模型,用于描述局部视觉质量与编码比特之间的关系,并将该模型用于编码树(coding tree unit,CTU)级的码率控制中。Zhou 等人5设计了一种基于图像亮度与纹理掩蔽效应的恰可察觉失真模型,并根据该模型进行码率控制。上述方法从提升重建视频的主、客观质量等不同角度优化了 HEVC 中比特分配和码率控制策
5、略,但无法直接应用于 VVC 中。当前也有部分学者研究了面向 VVC 的分配方法。Li 等人6改进了 HEVC 中所使用的 R-模型,提出面向 VVC的 JVET-K0390 帧级比特分配方法,该模型利用率失真曲线的斜率 进行码率控制,具有更加高效的比特分配性能。Li等人7将跳过块的分析引入R-模型,提高了比特分配精度。Hyun 等人8提出了一种基于递归贝叶斯估计的码率控制方法,采用前一帧的率失真特性来估计当前帧的码率,实现了重建视频的质量平滑。Liu 等人9提出了一种 CTU 级的码率控制方法用于低延迟的应用场景。Ren 等人10针对游戏视频编码的应用场景,提出一种基于多目标优化的 CTU
6、感知比特分配方法,该方法根据事先给出的显著图进行帧级比特分配,提高了视频的整体感知质量。以上面向 VVC 的比特分配方法没有充分考虑到 HVS 的感知特性,重建视频的质量还可以得到进一步的提升。综上所述,本文在比特分配过程中引入HVS感知特征,设计了一种面向 VVC 的感知比特分配方法。首先提取了视频帧的融合显著图,然后设计了反映人眼对视频帧关注程度的感知权重,最后利用感知权重指导 VVC 的帧级比特分配。1 面向 VVC 的感知帧级比特分配方法本节对所提方法进行了详细的说明,首先说明了面向VVC 的显著性提取方法的设计思路和方法,其次说明了基于该方法提取的融合显著图的优点,第三说明了感知权重
7、的设2023 年第 7 期94计算机应用信息技术与信息化计思路和方法,最后说明了感知权重在 VVC 帧级比特分配过程中的应用。1.1 面向 VVC 的显著性提取方法在视频中,不同的视频帧含有不同的运动目标和高对比度目标,因而视频帧的场景内容复杂度不同,如图 1 所示。本文通过探索实验,在低延迟 B 配置下编码了多个视频。以 BasketballPass 为例分析,由图 1 可知,在 BasketballPass视频中,第 82 帧场景更加复杂,出现了四个球员,而第 48帧只出现了两个球员,编码时,在量化参数相同的情况下,第 82 帧需要消耗更多的比特。RaceHorses 视频的分析同理。因此
8、,场景复杂的视频帧需要 VVC 编码器消耗更多的比特来进行编码,如果能在编码时对场景复杂的视频帧分配更多的比特,将有效提高重建视频的主客观质量。应当指出,在现有的 VVC 比特分配方法中,区分场景复杂度的指标是均方误差,没有充分考虑 HVS 感知因素。同时,场景复杂的视频帧中包含的运动目标和高对比度目标可以通过显著性提取方法提取出来,场景越复杂,显著区域越大。综上所述,本文从 HVS 感知因素出发,针对上述 VVC 的编码特性设计了面向 VVC 的显著性提取方法,以充分提取视频帧的显著性并指导 VVC 帧级比特分配。视频帧的显著性提取需要合理利用运动信息和对比度信息。文献 11 所提方法是一种
9、基于运动信息的显著性提取方法,该方法首先将原始视频均等地分割成多个帧集合,将单个帧集合的运动信息进行时间上的整合和扩散;然后基于先验知识对帧集合进行显著性建模,得到低级显著图;最后采用低秩相干性分析方法融合低级显著图,得到完整的显著图,如图 2 所示。根据 HVS 的感知特性,人不仅倾向于观察视频中的运动目标,而且对视频中高对比度的目标感知同样敏锐。如图2(e)(h)所示,文献 11 所提方法提取的显著图虽然含有红框内运动剧烈的目标,但是不含蓝框内运动缓慢的目标和高对比度目标,如果将其用来指导 VVC 的帧级比特分配,效果并不会很好。为了解决上述问题,本文提出了面向 VVC的显著性提取方法。在
10、基于对比度的显著性提取方法中,基于直方图对比度(histogram contrast,HC)的方法12使用输入图像 I 的颜色直方图统计来得到像素的显著值,计算公式为:1()(,).NljjHC If E=ljc c (1)其中,Il表示第 l 个像素,HC(Il)是基于 HC 方法提取的 Il的显著值。cl为 Il在 Lab 空间的颜色值,由三个分量组成:Il、l和bl,Ll表示cl的亮度值,l和bl是cl在Lab空间中的坐标,表示 cl的色度值,cj定义同理。N 是 I 中的像素数量,fj为 cj出现的概率,E 是在 Lab 空间中计算 cl和 cj色差的函数,计算公式为:222(,)()
11、()().ljljljELLaabb=+ljc c (2)基于区域对比度(area contrast,AC)的方法13通过计算 Il在邻域 R 上的局域对比度来得到显著值,计算公式为:图 1 编码场景复杂度不同的视频帧所需的比特(a)BasketballPass 第 82 帧,编码时量化参数为 26,消耗 32 832 bit(b)BasketballPass第46帧,编码时量化参数为 26,消耗 15 864 bit(c)RaceHorses 第 242 帧,编码时量化参数为 23,消耗 35 424 bit(d)RaceHorses 第 148 帧,编码时量化参数为 23,消耗 19 77
12、6 bit (a)RaceHorses 第 158 帧 (b)Johnny 第 2 帧图 2 视频帧和文献 11 所提方法提取的显著图(c)BasketballDrill 第 4 帧 (d)BasketballDrive 第 148 帧 (e)图 2.(a)的显著图 (f)图 2.(b)的显著图 (g)图 2.(c)的显著图 (h)图 2.(d)的显著图 2023 年第 7 期95计算机应用信息技术与信息化1()().lj RAC IEn=,ljcc (3)其中,AC(Il)是基于 AC 方法提取的 Il的显著值,cl和 cj的定义同上,R 是以 Il为中心的矩形区域,矩形的长宽分别为L/2
13、和 L/8,L 为 I 的长宽较小者,n 是 R 中的像素数量,E为公式(2)。基于亮度对比度(luminance contrast,LC)的方法14通过计算 Il的全局亮度对比度来得到显著值:()(,).j IlLC IE=ljc c (4)其中,LC(Il)是基于 LC 方法提取的 Il的显著值,cl和 cj的定义同上,E 为公式(2)。特别的,在 LC 方法中仅使用了 cl的亮度值,其色度值设置为 0。以 RaceHorses 第 1 帧为例,图 3(b)(d)展示了上述三种基于对比度的显著性提取方法提取的显著图。AC 方法的显著图中不含红框中人眼感兴趣的数字编号,LC 方法的显著图中不
14、含蓝框内显眼的红色叉形目标,而 HC 方法的显著图则含有红、蓝框内的人眼感兴趣目标,且 HC 方法的显著图中显著目标和非显著目标分割明显。同时,上述三种方法提取的显著图都存在缺少运动目标的问题。综上所述,文献 11 所提方法提取的显著图缺少高对比度目标,HC 方法提取的显著图缺少运动目标,因此本文将面向 VVC 的显著性提取方法设计如下:F(Il)=FD(Il)+HC(Il)(5)其中,F(Il)表示基于本文所提方法提取的融合显著图中 Il的显著值,FD(Il)表示文献 11 的显著图中 Il的显著值。由公式(5)可知,融合显著图中将同时具有运动目标和高对比度目标,如图 4 所示。图 4(a)
15、列 从 上 到 下 依 次 是:RaceHorses 视 频 第 158帧、Johnny 视 频 第 2 帧、BasketballDrill 视 频 第 4 帧 和BasketballDrive 视频第 148 帧,图 4(b)(d)列所示分别为文献 11 所提方法提取的显著图、HC 方法的显著图和本文所提方法的融合显著图。以 RaceHorses 第 158 帧为例,文献 11 的显著图缺少蓝框内的条纹状显著目标,HC 方法的显著图缺少红框内正在运动的马头显著目标,而融合显著图则同时具有这些显著目标。同样的,在 Johnny 第 2 帧、BasketballDrill 第 4 帧和 Bask
16、etballDrive 第 148 帧中,融合显著图都具有更加完备的显著目标。综上所述,相较于文献 11 所提方法和 HC 方法,本文所提方法提取的融合显著图更符合VVC 的编码特性,也更适合用于指导 VVC 的帧级比特分配。(c)LC 方法的显著图 (d)HC 方法的显著图图 3 视频帧和基于三种方法提取的显著图 (a)RaceHorses 第 1 帧 (b)AC 方法的显著图 (a)视频帧 (b)文献 11 的显著图图 4 视频帧和基于三种方法提取的显著图(c)HC 方法的显著图 (d)融合显著图2023 年第 7 期96计算机应用信息技术与信息化1.2 基于感知权重控制的帧级比特分配本节
17、中,本文利用融合显著图对帧级比特分配进行控制。在编码视频之前,首先根据图像在视频中的播放顺序将其划分到不同的图像组(group of pictures,GOP),帧级比特分配的主要目标即是在 GOP 级目标比特的约束下,最小化重建视频和原始视频之间的整体失真。表示为:,1112 s.t.,minNNGGPPGiiP PPiiNGDRR=,(6)其中,NG和 RG分别表示一个 GOP 中含有的总帧数和总目标比特,Pi表示该 GOP 中的第 i 帧,PiD和PiR分别表示在该GOP 中 Pi的失真和目标比特。在视频编码时,通常利用拉格朗日成本优化方法将公式(6)转换为无约束问题,表示为:12,11
18、,minGGiiiPPPNGNNPPPiiJDR=+(7)其中,J 是 GOP 的总失真,Pi是 Pi的拉格朗日乘子。由公式(7)可知,帧级比特分配问题可转化为,在 GOP 内所有帧消耗的总比特数等于或小于 GOP 级目标比特数的条件下,为每帧选择一个合适的 值。因此,帧级比特分配的一个关键问题就是确定Pi。Pi代表了Pi在GOP中的权重,其值越小,Pi分得的比特越多,反之分得的比特越少。为了计算Pi,本文采用 R-码率控制模型,使用 6 中建议的双曲线函数,计算公式为:,PiiPiiKPPDC R=(8)其中,iPD通过计算 Pi的均方误差得到,PiC和PiK是 Pi的内容参数,在编码时由其
19、内容特征决定,计算方法将在下文介绍。实际上,Pi是双曲线函数的负斜率,因此Pi可以通过以下公式预测得到:1=,KPPiiPPiPPiiiPiDC K RR=(9)在实际编码时,需要给 Pi设置初始目标比特和初始量化参数(quantitative parameter,QP),对视频第一帧进行预编码,预编码之后,可以得到 Pi的实际失真_PactualiD和实际比特_PactualiR,因此,Pi的实际拉格朗日乘子_Pactuali计算为:1_=,KPactualPiiPactualPactualiPPiiiPactualiDC K RR=(10)联合公式(8)和公式(10),Pi的内容参数将按照
20、以下方式求解:_=PactualPactualiiPiPactualiPactualiKPiPiPactualiRKDDCR (11)由于在视频中,连续的视频帧内容基本相似,内容参数也基本相等,因此更新后的PiC和PiK将被存储,并通过公式(10)用于预测下一帧的 值。最后,_Pactuali被用于确定实际编码使用的_PactualiQP,计算公式如下:_4.2005 ln()13.7122.PactualiiPactualQP=+(12)_PactualiQP确定后,编码器正式开始编码。应该指出,_PactualiQP决定了视频帧的编码质量,_PactualiQP越小,视频帧的编码质量越高。
21、实际编码时 VVC 会按照上述过程顺序完成整个视频的编码。为了利用融合显著图指导 VVC 的帧级比特分配,本文从人眼感知特性出发,认为人眼更关注显著区域面积大的Pi。因此根据融合显著图设计了感知权重iP来表示人眼关注Pi的程度,iP越大,人眼关注程度越高。本文通过以下方式计算iP:1,PiiPiPNPiSS=(13)其中,PiS是融合显著图中显著区域的面积,NP表示视频的总帧数。通过统计实验,NP设置为300,并循环更新感知权重。由公式(13)可知,iP越大,表明人眼越关注。iP表明了 Pi在整个视频中的重要性,这样做可以避免Pi的重建质量过高,从而有助于平滑整个重建视频的质量。为了在比特分配
22、过程中应用iP,本文设计了下式将_Pactuali更新:_ ,PactualPPPiiiiPactualSPactualiiPPiiPi=,(14)其中,Pi是所有感知权重的平均值,_SPactuali是感知帧级比特分配权重。由公式(13)和公式(14)可知,Pi的显著性越高,_SPactuali越小,Pi分得的比特更多。最后,将_SPactuali取代公式(12)中的_Pactuali,为显著性更高的 Pi分配更小的_PactualiQP,从而达到提高重建帧质量的目标。2 实验结果与分析本节验证了本文所提比特分配方法的编码性能,并与其他最新的编码方法进行比较。主要分为以下三部分:实验配置,客
23、观质量结果及分析和主观质量结果及分析。2.1 实验配置为了验证所提方法的性能,将实验结果与 JVET-K03906进行对比,使用文献 15 中的 15 个标准视频进行测试,具 体 包 括 Class B:BasketballDrive、Cactus、BQTerrace、MarketPlace;Class C:BasketballDrill、RaceHorsesC、BQMall、PartyScene;Class D:BasketballPass、BQSquare、BlowingBubbles、RaceHorses;Class E:FourPeople、Johnny、KristenAndSara。
24、实验使用低延迟 B 编码配置,编码 2023 年第 7 期97计算机应用信息技术与信息化300 帧,分别测试 QP 为 22、27、32、37 的四种情况。2.2 客观质量结果及分析本文使用 Bjntegaard delta bit rate(BD-rate)作为比特分配方法的客观性能指标,将 JVET-K03906定为基准算法,其值越小说明编码的客观性能越好。实验测试结果如表 1所示。表 1 中 Q6和 QPRO分 别 表 示 通 过 JVET-K0390 和 所提方法得到的重建视频的 PSNR。从表中可以看出,与JVET-K0390 相比,本文方法的重建视频客观质量仍然保持较好,BD-ra
25、te 仅略微有些下降,其最大下降了 0.15%,但尚在可接受范围之内。与传统比特分配方法不同,本文主要从人类视觉特性出发,因此在比特分配过程中主要根据感知权重进行比特分配,而非在客观质量下求解最优。其中,下降最为明显的是 BQSquare 视频,这是因为它具有场景变换平滑、对比度不明显、缺少人眼感兴趣区域等特点。而RaceHorsesC 和 BasketballPass 等视频的 BD-rate 无下降,这是因为这些视频内容的显著性不断变化,所提方法能根据这些变化自适应的分配比特。总体说来,所有视频的 BD-rate平均仅下降了 0.03%,所提方法和 JVET-K0390 在客观质量基本相同
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- Equation Chapter Section 1面向多功能视频编码的感知比特分配方法 面向 多功能 视频 编码 感知 比特 分配 方法
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【自信****多点】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【自信****多点】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。
链接地址:https://www.zixin.com.cn/doc/523643.html