《感知无损压缩 第1部分:图像编制说明.docx》由会员分享,可在线阅读,更多相关《感知无损压缩 第1部分:图像编制说明.docx(11页珍藏版)》请在优知文库上搜索。
1、团体标准感知无损压缩第1部分:图像报批稿编制说明一、工作简况1.任务来源感知无损压缩第1部分:图像(以下简称PLC标准)规定了人眼感知质量无损等级的高效图像压缩方法的压缩位流结构与解码过程。本标准适用于高速视频传输接口、帧存压缩等多种应用。其项目计划代号为2023011201。2.编制组成本标准起草组成员单位有:北京大学、杭州海康威视数字技术股份有限公司、上海海思技术有限公司、绍兴市北大信息技术科创中心、鹏城实验室、深圳市大疆创新科技有限公司、中山大学、广州柯维新数码科技有限公司、紫光展锐(上海)科技有限公司。3.编制背景数字音视频编解码技术标准化工作组(简称AVS工作组)由国家信息产业部科学
2、技术司于2002年6月批准成立。工作组的任务是:面向我国的信息产业需求,联合国内企业和科研机构,制(修)订数字音视频的压缩、解压缩、处理和表示等共性技术标准,为数字音视频设备与系统提供高效经济的编解码技术,服务于高分辨率数字广播、高密度激光数字存储媒体、无线宽带多媒体通讯、互联网宽带流媒体等重大信息产业应用。自AVS工作组2002年成立以来,至今,己制订了多代视频/图像压缩相关的国家标准。PLC标准的核心是在主观视觉质量没有损伤的前提下将高分辨率、高帧率、高采样精度的视频信号以极低的传输延迟和硬件成本压缩36倍。PLC标准和AVS系列编码标准、文字编码标准等一样都是信源编码标准,正如ASCIl
3、分别之于英文信息系统,GB-2312、GBT8030之于中文信息系统,或者AVS之于GB/T20090、GB/T33475.2-2016,PLC标准是数字音视频系统在高速视频接口和帧存压缩领域的基础标准。4.编制过程工作组自2022年8月第78次会议开始,讨论启动感知无损压缩标准的制定工作,要求视频编码支持8K以上超高分辨率、RGB/YUV444/YUV422/YUV420/YUV400等多种格式的视频信号,同时具备良好的硬件实现友好性和极低的编码传输延时。经过对应用需求、潜在创新技术等的详细梳理,以及国际最新感知无损压缩标准发展态势的分析,在经过多次需求分析、审议技术提案后,于2022年12
4、月工作组第79次会议时确定了感知无损压缩的实验平台并组建了标准制定的专家组,随后于2023年1月第79次会议加会时输出了第一份感知无损压缩标准工作组草案(N3292)。之后AVS工作组与感知无损压缩专家组经过了高效工作和封闭开发,共计召开了7次工作组全体会议、7次视频组加会、40次AHG工作组会议,收到并讨论了134项感知无损压缩标准相关提案,最终采纳其中60项提案,形成了此次的征求意见稿。5.主要起草人所做的工作北京大学、杭州海康威视数字技术股份有限公司、上海海思技术有限公司:主要负责项目的组织与实施、关键技术的研发与规范、标准的起草、标准的编写、意见的征集与修改、定稿、报批工作。其他单位:
5、标准技术内容的讨论、意见的征集与修改、标准技术的质量测试、标准的编写等。二、标准编制原则和确定主要内容的论据及解决的主要问题1.本标准的编制原则PLC标准是为了适应高速视频传输接口、帧存压缩等多种感知无损压缩应用中对图像和视频高效压缩技术的需要而制定的,目标是在达到有效视频信号压缩的同时保持尽可能低的硬件实现复杂度。PLC标准是以我国科研机构和重点企业为首、引领全球信息技术领域有影响力企业共同集体创新而成。为了形成优化的技术方案,工作组视频专题组根据标准的实际应用设定了详细的评估条件和测试方法,收集了反映各种典型情况的测试序列,技术评估的基本依据是综合考虑提窠对编码效率的贡献、实现复杂度和知识
6、产权情况,这些原则与手段为PLC视频标准的技术先进性和妥善解决知识产权问题奠定了坚实基础。2.确定主要内容的论据本标准是经过多次内部研讨,以科学严谨的态度面对征集意见,对内容进行反复商议和修改,从而逐渐优化形成的.在2022年召开的第一次线上专题研讨会上,研究了标准的初步制定计划,讨论了国际有关标准的实施现状,计划了PLC标准的核心需求与关键技术,经过一系列的讨论和研究,达成了PLC标准的研究技术路线;在随后召开的数十次封闭专家组内部研讨会上,研究了标准编制的核心技术框架,研究了PLC标准与其他相关标准感知损伤程度的判定依据,研究了标准制定的若干关键技术与核心算法,讨论了标准存在的技术和协调性
7、问题,经过专家的交叉检查与讨论,最后达成了标准在内容与技术路线上的一致性。3.解决的主要问题感知无损视频编码采用了与传统混合视频编码框架相似的流水框架,区别在于增加了码率控制而去除了变换,即将一幅图像首先划分成编码块,每个编码块先划分成预测块进行预测、量化,最后量化后的残差与所有编码模式信息一起进行无损的埼编码进而生成码流。与国际已有的DSC视频编码标准的不同之处在于PLC采用了更灵活多样的预测技术、更符合人眼特性的量化技术以及更加灵活稳定的码率控制算法。4、有关技术问题说明PLC的特色技术包括:更灵活多样的预测技术PLC标准支持编码单元进行三种基础的预测方法,分别为:点预测模式、普通帧内预测
8、模式和块复制模式。具体来说,PLC按照不同的通道类型和采样比将编码基本单元设置为了最大16x2的像素块,对每个像素组会逐通道遍历所有合法的点预测模式和普通帧内预测模式,然后将通道最优的预测结果与三通道共同预测的块复制模式进行对比,最终选择出最佳的预测模式。其中:点预测模式VVV=VV三V=V=Vb) 8x2像素块M三A三Mc) 8x1像素块参考像素预测像素块V三V三V=V三V三V=V三VV=V三V=V三V=V三V三Va)16x2像素块图1点预测模式点预测模式如图1所示,在每个像素块中串行参考己重建的编码像素,提供相比于传统编码预测模式更精细的重建效果,其中:“三”表示采用左右两侧像素的重建值求
9、平均得到当前像素的预测值;表示直接采用左侧像素的重建值作为当前像素的预测值:V”表示宜接采用上侧像素的重建值作为当前像素的预测值。普通帧内预测模式对于16x2像素块,普通帧内预测模式有7种,包括DC模式和6种角度模式,如图2所示。参考像素 16x2预测像素块/预测角度图216x2像素块普通帧内预测模式(其中XY表示X和Y的像素平均值)ABCDEFO力DDODDOQQQDDDD对于8x2和8x1像素块,普通帧内预测模式各有1种,如图3所示。NB.C.).D.E.F参考像素8xn预测像素块a)8x2块DC预测模式b)8x1块DC预测模式图38x2和8x1像素块普通帧内预测模式(D为上侧8个参考像素
10、的平均值)块复制帧内预测模式块复制帧内预测模式通过将编码单元整块复制的方法大幅提升了对规律性纹理编码效率,通过对编码区域的判定,PLC支持对搜索区域的灵活变化和对平坦区域的自适应判别。参考像素共享搜索区域的PU130129I11.-31x2搜索区域-JV左侧8x2像素块*右侧8x2像素块图4块复制帧内预测模式此外PLC还支持在普通帧内预测模式和块复制帧内预测模式中嵌套预测单元级的差值预测模式、用于防止编码膨胀的原始值模式、以及用于防止编码缓冲区上溢的回退模式。灵活多样的预测技术为PLC在极低计算复杂度和硬件成本的前提下提供了良好的压缩效率支撑,通过预测降低的信号能级为量化和墙编码的性能提供了保
11、障。更符合人眼特性的量化技术PLC的量化过程与传统的移位量化相同,即令QSteP=2QP,量化参数QP的取值范围是0BitDepth0但考虑到量化过程对像素块不同残差带来的感知程度可能存在差异,PLC依据其编码单元的设计特性创新性地引入了逐点量化技术(PWQ,Point-WiseQuantization),即针对点预测模式进行逐像素点的调整量化参数QP,这一调整过程不需要额外的语法传输。V vVVvVV参考像素PWQ调整位置1b) 8x2像素块点预测模式PWQ调整位置2vlc)8x1像素块点预测模式图5PWQ调整位置在此基础上,PLC同时支持块级量化参数调整技术(BWQ,Block-WiseQ
12、uantization),即根据上一行参考像素的梯度信息对子块进行量化参数调整。该技术应用于Slice非首行的普通帧内预测模式的2x2或2x1子块(如图7所示),以及SliCe非首行非首列的IBC模式中满足BV=O的PB(如图8所示,帧内预测模式BWQ子块图6参考像素 BWQ子块a) 16x2像素块参考像素 BWQ子块图7 IBC模式BWQ子块通过对人眼视觉特性和感知失真程度的进一步建模,块级量化参数调整和逐点量化参数调整技术为更细粒度的量化质量分配提供了技术支撑,同时在标准规范中预留了充足的参数优化空间,为PLC标准实现过程中压缩重建的感知质量提升和进一步为感知域的冗余去除提供了良好的基础。
13、更加灵活稳定的码率控制算法PLC相比国际同类编码标准,支持更加灵活的码率控制策略。具体而言:PLC采纳了如图8所示的码率控制算法框架,通过对编码单元的复杂度分级策略构建了一系列基于历史信息自适应更新的编码比特数估计模型,并通过对目标编码比特数、最低感知无损比特数、最高编码缓冲比特数三方特性进行放缩和钳位,最终推导获得不同编码单元的比特分配数量,进而通过亮色度量化参数映射模型导出实际用于各个像素块的量化参数配置。在实际编码流程结束后,实际编码的比特数通过反向比特数映射被用于更新上述估计模型。( 结束)图8码控算法流程图通过上述码率控制模型,PLC支持使用更低的缓冲区尺寸来开展更灵活的码率分配策略
14、,进而允许以更低的硬件成本实现稳定且高效的编码资源分配。三、主要试验或验证情况分析High-speedInterfaceMOdel(简称HlM)作为PLC视频标准评测新技术的基础软件平台。第一个版本参考软件HPMLO(QYEEl.0)在2023年1月发布,至今已到了第8个版本,即HIM8.1。相应地,根据不同的标准应用情况,工作组建立了高速视频传输接口、帧存压缩等不同通用测试条件,收集了从4K到8K的各种分辨率、各种采样精度的典型视频测试序列27条,通过至少20位测试人员,依据国际通用判定标准(ISo/IEC29170-2)中判定方法进行了闪烁测试和并排测试两类测试。目前,HlM的客观编码效率
15、测试结果如下:表IHIM客观编码效率序号序列名称YR-PSNRUG-PSNRVB-PSNR1BitstreamAnalyzer_l920x1080_30hz_8bit_444p.rgb49.1851.1949.132Brickwall_3840x2160_8bit_444p.yuv50.1948.8248.853Casuarius3.1920x1080_8bit_444p.rgb37,3139.4137.394ChineseEditing-1920x1080_60hz_8bit_444p.yuv52.9350,8751.51序号序列名称YR-PSNRUG-PSNRVB-PSNR5Church.3840x2160_10bil_444p.rgb48.