多媒体技术视频编码基础.ppt

《多媒体技术视频编码基础.ppt》由会员分享，可在线阅读，更多相关《多媒体技术视频编码基础.ppt（66页珍藏版）》请在优知文库上搜索。

1、视频编码基础 2主要内容o 基本概念o 视频序列的常用格式o 块的运动估计与运动补偿o 视频序列的混合编码框架3基本概念o 视频中存在的冗余性n 空间冗余性p 无损规则物体的物理相关性n 时间冗余性p视频帧间的相关性n 信息熵冗余（编码冗余性）p 数据与携带的信息n .o 编码器/解码器n 编码器n 解码器 4基本概念o 压缩算法n 无损压缩p 指使用压缩后的数据进行重构(或者叫做还原，解压缩)，重构后的数据与原来的数据完全相同p 用于要求重构的信号与原始信号完全一致的场合。一个很常见的例子是磁盘文件的压缩。n 有损压缩p 重构后的数据与原来的数据有所不同，但不影响人对原始资料表达的信息造成误

2、解。p 适用于重构信号不一定非要和原始信号完全相同的场合。 5基本概念o 数据压缩的性能指标n压缩质量评价p 客观评价：均方误差、信噪比 、峰值信噪比 （图像）、分段信噪比（音频）等211255 25510log101( ( , )( , )NMxyPSNRf x yg x yMN2211( , )1( ( , )( , )NMxyf x ySNRf x yg x yMN6基本概念o 数据压缩的性能指标n压缩质量评价p 峰值信噪比的局限性PSNR值值25.56时的效果时的效果PSNR值值29.87时的效果时的效果7基本概念 (d)8基本概念 (d)(c)(d)相比，相比，(d)更好更好 9基本

3、概念10基本概念PSNR数值都是数值都是27.123，单从数值上，我们并不能判断哪一幅更好。单从数值上，我们并不能判断哪一幅更好。 11基本概念o 数据压缩的性能指标n压缩质量评价p 主观评价 ： (1) 由人来评测图像质量，按(优良中差劣)等级打分 (2) 成对比较打分，国际上通用的测试方法: 按照随机次序请评委观察比较原始图像和压缩编码的图像。其中A为原始图像，B为编码解码后的图像，以任意的A、B次序让评委打分评定。12基本概念o 数据压缩的性能指标n 衡量压缩算法的三个主要性能指标p 压缩比p 压缩质量（失真）p 压缩与解压缩的速度n 不能兼得时，要综合考虑13视频序列的常用格式o 彩色

4、电视制式o 颜色空间o 典型的视频图像采样格式o 不同分辨率的视频序列14视频序列的常用格式o 彩色电视制式 n 视频图像序列是对电视信号和摄像机输出信号的数字化而形成n 原始电视信号是 一种扫描方式的模拟信号，以PAL制式（倒相正交平衡调幅制）为例p 单遍扫描完成一个图像分量，按照奇偶场扫描，50场/秒，奇偶交叉产生一个图像帧 ， 25帧/秒，625行(扫描线)/帧p 高宽比(aspect ratio)：4:3p 颜色模型：YCbCr（是YUV模式的一个经过校正的版本）15视频序列的常用格式o 颜色空间n YUV,YIQ与YCrCb颜色空间16视频序列的常用格式o 颜色空间n 图像子采样 p

5、 如果对色差信号使用的采样频率比对亮度信号使用的采样频率低，这种采样就称为图像子采样(subsampling)。17视频序列的常用格式o 颜色空间n 图像子采样 18视频序列的常用格式o 颜色空间n 例如19视频序列的常用格式o 视频帧格式nCIF ： Common Intermediate FormatnQCIF ： Quarter CIFnSQCIF：Sub-Quarter CIF video frame formatsVideo frame formats20不同分辨率的视频序列o 视频帧格式不同分辨率的采样结果不同分辨率的采样结果21运动估计与运动补偿o 运动估计与运动补偿的必要性o

6、运动估计与运动补偿的概念o 基于块的运动估计与运动补偿o 基于区域的运动估计与运动补偿o 基于像素的运动估计与运动补偿o 运动向量的快速搜索算法22运动估计与运动补偿o 运动估计与运动补偿的必要性Still image from natural video sceneSpatial and temporal sampling of a video sequence23运动估计与运动补偿o 运动估计与运动补偿的必要性Interlaced video sequence24运动估计与运动补偿o 运动估计与运动补偿的必要性Top fieldbottom field25运动估计与运动补偿o 运动估计与运

7、动补偿的必要性residual frame=current frame-reference frame26运动估计与运动补偿的必要性o 运动估计与运动补偿的必要性像素的运动轨迹像素的运动轨迹27运动估计与运动补偿o 运动估计与运动补偿的概念n 运动补偿MC(motion compensation)p 在图像序列中，相邻帧间的主要变换是由物体的运动引起，检测物体运动参数，通过运动参数由前一帧预测当前帧，称为运动补偿 MCn 运动估计ME(motion estimation)p 运动补偿的主要任务是检测物体的运动参数，物体的运动参数的检测称为运动估计ME28运动估计与运动补偿o 基于块的运动估计与

8、运动补偿n 运动补偿MC(motion compensation)块匹配示意图Reference frame current frame29运动估计与运动补偿o 基于块的运动估计与运动补偿n 基于块运动补偿的步骤p 运动估计在参考帧搜索与当前帧中的当前块MN块最匹配的块，以获得运动向量MV( motion vector)p 运动补偿计算余量块 =当前块-最匹配的块 (形成residual frame)p 空间模型输入 residual frame 作为空间模型的输入 , 同时运动向量作为熵编码模型的输入30运动估计与运动补偿o 基于块的运动估计与运动补偿n 基于块运动补偿的特点p 算法简单易行

9、, 适合于矩形帧处理, 适于基于块的变换 , 例如 余弦变换DCTp 真实的物体可能没有清晰的边界, 物体运动可能不是整数像素位置运动, 运动复杂,如可变性物体运动 , 旋转等。31运动估计与运动补偿o 基于块的运动估计与运动补偿n 宏块的概念p 一个宏块 : 4个Y 块 1个Cb块1个Cr块32运动估计与运动补偿o 基于块的运动估计与运动补偿n 宏块的概念p 一个宏块 : 4个Y 块 1个Cb块1个Cr块33运动估计与运动补偿o 基于块的运动估计与运动补偿n 自适应块运动补偿p 块越小 ，residual frame 的能量越小，运动补偿效果越好。p 最好的运动补偿块大小应是自适应的，即自适

10、应（Adaptive）块运动补偿 , 平坦处块大, 细节处块小。34运动估计与运动补偿o 基于块的运动估计与运动补偿n 自适应块运动补偿35运动估计与运动补偿o 基于块的运动估计与运动补偿n 自适应块运动补偿36运动估计与运动补偿o 基于块的运动估计与运动补偿n Sub-pixel 运动估计reference region Reference region interpolated to half-pixel positions37运动估计与运动补偿o 基于块的运动估计与运动补偿n Sub-pixel 运动估计Residual (4*4blocks,quater-pixels compensa

11、tion) Residual (4*4blocks,half-pixels compensation)38运动估计与运动补偿o 基于块的运动估计与运动补偿n Sub-pixel 运动估计Residual (4*4blocks,quater-pixels compensation) Residual (4*4blocks,half-pixels compensation)39运动估计与运动补偿o 基于块的运动估计与运动补偿n Sub-pixel 运动估计40运动估计与运动补偿o 基于块的运动估计与运动补偿n Sub-pixel 运动估计p 用SAE（sum of absolute errors）

12、度量剩余能量。p 在每一个序列中，都有改进。41运动估计与运动补偿o 基于块的运动估计与运动补偿n Sub-pixel 运动估计42运动估计与运动补偿o 基于块的运动估计与运动补偿n Sub-pixel 运动估计43运动估计与运动补偿o 基于块的运动估计与运动补偿n Sub-pixel 运动估计p 44的Quarter-pixel运动补偿需要插值，与1616整数像素相比运动补偿算法复杂度高。p 两种情形 44 Quarter-pixel 用较多的字节编码向量 ，用较少的字节编码剩余。 1616 Integer-pixel 用较多的字节编码剩余能量，用较少的字节编码向量。44运动估计与运动补偿o

13、 基于区域的运动估计与运动补偿45运动估计与运动补偿o 基于区域的运动估计与运动补偿n 当前的块覆盖运动物体(椭圆)的一部分和非运动物体矩形的部分，这两个候选块均能作为最佳匹配块.n 对于任意形状区域的运动估计与运动补偿。46运动估计与运动补偿o 基于像素的运动估计与运动补偿n 基于像素的运动估计是对每一个像素估计其运动向量n 在视频编码发展中曾经起到重要作用。n 实验研究表明:它的有效性不如块匹配,在实际中应用较少，没被标准采纳。47运动估计与运动补偿o 基于像素的运动估计与运动补偿n 基于像素的运动估计是对每一个像素估计其运动向量n 在视频编码发展中曾经起到重要作用n 实验研究表明:它的有

14、效性不如块匹配,在实际中应用较少，没有标准采纳该方法48运动估计与运动补偿o 快速运动估计（Fast ME）算法n 运动估计的关键问题p 匹配准则p 搜索算法49运动估计与运动补偿o 快速运动估计（Fast ME）算法n 常用的运动估计匹配准则p 均方误差p 平均绝对误差50运动估计与运动补偿o 快速运动估计（Fast ME）算法n 常用的运动估计匹配准则51运动估计与运动补偿o 快速运动估计（Fast ME）算法n 经典的快速运动估计（Fast ME）算法p 二维对数搜索算法p 三步搜索算法p 新三步搜索算法52运动估计与运动补偿o 快速运动估计（Fast ME）算法n 二维对数搜索算法p

15、1981年Jain等人提出了二维对数搜索法。p 基本思想：从（0，0）位置开始搜索的。每一步试验菱形排列的五个搜索点。下一步，把中心点移到前一步找到的最佳匹配点处并重复菱形搜索。当最佳匹配点是中心点或是在最大搜索区域的边界上时，就减小搜索步长（菱形的半径）。否则步长保持不变。当步长减少到一个像素时，就达到了最后一步，并且在这最后一步检验九个搜索点。初始搜索步长一般设定为最大搜索区域的一半。53运动估计与运动补偿o 快速运动估计（Fast ME）算法n 二维对数搜索算法54运动估计与运动补偿o 快速运动估计（Fast ME）算法n 三步搜索算法p 1981年Koga等人提出了三步搜索法(TSS)

16、。p 基本思想：这种搜索的步长从等于或者略大于最大搜索范围的一半开始。在每一步中，比较九个搜索点。它们包括搜索正方形的中心点和八个位于搜索区边界上的搜索点。每一步以后搜索步长减小一半，直至搜索步长为一个像素时结束。在每一个新的搜索步中，搜索中心点移到由前一步得到的最佳匹配点。 55运动估计与运动补偿o 快速运动估计（Fast ME）算法n 三步搜索算法56视频序列混合编码模型o 快速运动估计（Fast ME）算法新三步搜索算法p Li等人在1994年 提出新三步搜索法（NTSS），是对三步搜索法的改进。p 基本思想：在第一次搜索时，增加了一个内环， 分三种情况： 1.第一次搜索的最小点在外环上 2.第一次搜索的最小点在内环中心点，此时运动矢量为（0，0） 3.第一次搜索的最小点在内环点，以最小点为核心 进行一次搜 索步长为1的全搜索 57运动估计与运动补偿o 快速运动估计（Fast ME）算法n 新三步搜索算法58运动估计与运动补偿o 快速运动估计（Fast ME）算法n 新三步搜索算法59运动估计与运动补偿o 快速运动估计（Fast ME）算法n 新三步搜索算法60视频序列的混合编码