新一代视频压缩编码标准
2009-11
人民邮电
毕厚杰//王健
287
无
2003年3月，ITU-T/ISO的联合项目组JVT发布了视频编码标准H．264／AVC，由于其优越的压缩比以及较强的网络适应能力，。H．264／AVC获得了日益广泛的应用。为了进一步扩大H．264标准的应用范围，使其适合应用于高保真视频压缩，JVT于2004．年7月增加了重要扩展FRExt部分；为了更好地适应各种不同的网络环境和用户终端的网络业务应用，ⅣT最终于2007年6月确定了基于H．264架构扩展的可伸缩编码SVC标准。 本书（第二版）正是在前版的基础上修订而成，根据视频编码技术和业务发展的要求，在修订过程中主要考虑如下：完善和优化H．264／AVC标准的基本技术的部分内容，增加H．264视频编码传输及其在移动通信中的应用，增加H．264／AVC的新扩展部分FRExt和SVC。 本书（第二版）的第8章为新增加的内容，主要论述H．264视频编码传输及其在移动通信中的应用，讨论了H．264在无线传输中的应用和它的容错技术，并以中国移动正在运营的“万花筒”业务为例，增加了H．264应用于移动互联网的多媒体业务平台的设计以及移动无线信道中的精确码率控制算法，这一章由马国强、王健编写。
H.264视频编码标准被称为新一代视频编码标准。《新一代视频压缩编码标准：H.264/AVC(第2版)》在介绍数字视频和视频编码基本原理的基础上，系统阐述了H.264/AVC标准的特点、编码器原理、解码器原理以及码流的句法和语义。根据音视频编码技术和应用发展的特点，还分别论述了H.264视频编码传输在移动通信中的应用、H.264的高保真范围扩展FRExt和H.264的可伸缩编码SVC。 《新一代视频压缩编码标准：H.264/AVC(第2版)》取材新颖、内容全面，重点论述了H.264视频编码标准，还介绍了已有的若干视频编码国际标准。《新一代视频压缩编码标准：H.264/AVC(第2版)》可作为高等院校通信、广播电视专业本科生教材或教学参考书，也可供该领域的硕士生、博士生深入研究参考，还可作为视频技术、视频服务领域广大技术人员的必备参考书。
第1章 绪论 11.1 信息化与视频通信 11.1.1 什么是信息 11.1.2 什么是信息化 11.1.3 我国的信息化和视频通信 21.2 视频信息和信号的特点 21.2.1 直观性 21.2.2 确定性 21.2.3 高效性 21.2.4 广泛性 31.2.5 视频信号的高带宽性 31.3 视频压缩编码的要求和可能性 31.3.1 视频压缩编码的目标 31.3.2 视频压缩的可能性 31.4 视频压缩编码技术综述 41.4.1 基本结构 41.4.2 基于波形的编码 51.4.3 基于内容的编码 51.4.4 立体(三维)视频编码 6参考文献 6第2章 数字视频 72.1 数字电视的基本概念 72.1.1 数字电视的优越性 72.1.2 数字电视的PCM原理 82.2 数字电视信号 112.2.1 电视信号的时间和空间取样 112.2.2 彩色空间 122.2.3 彩色电视取样格式 122.2.4 数字电视信号的编码参数 132.3 视频信号的预处理 142.3.1 色彩插值(Color Interpolation) 142.3.2 色彩校正(Color Correction) 152.3.3 伽马校正(Gamma Correction) 152.3.4 图像增强(Image Enhancement) 172.3.5 白平衡(White Balance) 202.4 视频质量 222.4.1 主观质量的评定 222.4.2 客观质量的测量 22参考文献 23第3章 视频压缩编码的基本原理 243.1 预测编码 243.1.1 预测编码的基本概念 243.1.2 帧内预测编码 253.1.3 帧间预测编码 293.1.4 运动估计 323.2 变换编码 433.2.1 变换编码的基本概念 433.2.2 K-L变换 443.2.3 离散余弦变换(DCT) 443.2.4 锯齿形扫描和游程编码 463.3 变换编码与预测编码的比较 473.4 熵编码 473.4.1 变长编码 473.4.2 算术编码 48参考文献 49第4章 视频编码标准简介 514.1 视频编码发展简史 514.2 H.261标准 514.2.1 图像格式 524.2.2 H.261视频编解码器 534.3 H.263标准 564.3.1 H.263标准图像格式 564.3.2 H.263视频信源编码算法 574.4 MPEG-1标准 574.4.1 功能 574.4.2 图像类型和编码结构 574.5 MPEG-2标准 584.5.1 MPEG-2编码复用系统 584.5.2 MPEG-2档次和级别 584.5.3 MPEG-2视频编码器 594.6 MPEG-4标准 614.6.1 MPEG-4标准构成 614.6.2 基于VOP的视频编码 634.6.3 MPEG-4档次和级别 664.7 JPEG标准 674.8 JPEG2000标准 694.8.1 JPEG2000标准的组成和特点 694.8.2 JPEG2000核心编解码器 704.9 AVS标准 724.9.1 AVS标准进展情况 724.9.2 AVS视频编码及关键技术 72参考文献 75第5章 H.264/AVC编码器原理 765.1 概述 765.2 H.264/AVC编解码器 775.2.1 H.264编解码器特点 775.2.2 H.264编码器 785.2.3 H.264解码器 785.3 H.264/AVC的结构 785.3.1 名词解释 785.3.2 档次和级 795.3.3 编码数据格式 795.3.4 参数图像 815.3.5 片和片组 815.4 帧内预测 835.4.1 4×4亮度预测模式 845.4.2 16×16亮度预测模式 865.4.3 8×8色度块预测模式 865.4.4 帧内预测模式的选择和编码 875.5 帧间预测 895.5.1 可变尺寸块运动补偿 895.5.2 运动矢量 905.5.3 MV预测 915.5.4 B片预测 925.5.5 加权预测 955.6 H.264的SP/SI帧技术 955.6.1 SP/SI帧的应用 965.6.2 SP/SI帧的基本原理 985.6.3 实验结果和性能分析 1015.7 整数变换与量化 1035.7.1 整数变换 1035.7.2 量化 1065.7.3 DCT直流系数的变换量化 1085.8 CAVLC(基于上下文自适应的可变长编码) 1095.8.1 熵编码的基本原理 1095.8.2 CAVLC的基本原理 1105.8.3 CAVLC的上下文模型 1105.8.4 CAVLC的编码过程 1105.8.5 CAVLC的解码过程 1125.8.6 CAVLC编解码过程实例 1145.8.7 CAVLC与UVLC比较 1155.9 CABAC(基于上下文的自适应二进制算术熵编码) 1175.9.1 自适应算术编码 1175.9.2 上下文模型 1205.9.3 对输入流预编码 1225.9.4 初始化 1235.9.5 结论 1235.10 码率控制 1245.10.1 基于Lagrangian优化算法的H.264编码控制模型 1245.10.2 实验结果和性能分析 1265.11 去方块滤波 1295.11.1 去方块滤波基本概念 1295.11.2 边界分析 1305.11.3 滤波过程 1325.12 其余特征 1355.12.1 参考图像的管理 1355.12.2 重排序 1355.12.3 隔行视频 1355.12.4 数据分割片 1365.12.5 H.264传输 136参考文献 137第6章 H.264的句法和语义 1406.1 句法 1406.1.1 句法元素的分层结构 1406.1.2 句法的表示方法 1436.2 句法表 1456.3 语义 1586.3.1 NAL层语义 1586.3.2 序列参数集语义 1606.3.3 图像参数集语义 1626.3.4 片头语义 1646.3.5 参考图像序列重排序的语义 1686.3.6 加权预测的语义 1696.3.7 参考图像序列标记(Marking)操作的语义 1696.3.8 片数据的语义 1706.3.9 宏块层的语义 1716.3.10 宏块预测的语义 1756.3.11 子宏块预测的语义 1756.3.12 用CAVLC方式编码的残差数据的语义 1766.3.13 用CABAC方式编码的残差数据的语义 1766.4 总结 177参考文献 177第7章 H.264/AVC解码器的原理和实现 1797.1 解码器原理 1797.2 NAL单元 1807.2.1 NAL单元结构 1807.2.2 NAL单元解码过程 1807.3 图像序列号的计算 1817.3.1 图像序列号(POC) 1817.3.2 POC类型为0的POC计算 1837.3.3 POC类型为1的POC计算 1837.3.4 POC类型为2的POC计算 1857.4 宏块片组映射图的产生 1867.5 片数据分割的解码 1887.6 参考图像列表的初始化 1897.6.1 图像序号的计算 1897.6.2 参考图像列表的初始化 1897.6.3 参考帧列表的重排序 1937.7 解码的参考图像的标记过程 1957.7.1 frame_num不连续的解码过程 1967.7.2 参考图像滑窗标记过程 1967.7.3 参考图像的自适应内存控制标记过程 1977.8 帧内预测 1997.8.1 4×4亮度块预测方式的推导 1997.8.2 4×4亮度块的帧内预测编码方式 2007.8.3 16×16亮度块的帧内预测方式 2047.8.4 8×8色度块的帧内预测方式 2057.9 帧间预测解码处理 2077.9.1 MV分量及参考索引获取 2087.9.2 帧间预测像素解码处理 2107.10 变换系数解码 2167.10.1 变换系数逆扫描过程 2177.10.2 DCT变换系数中直流系数的逆变换量化 2177.10.3 残差变换系数的反量化 2197.10.4 残差变换系数的逆DCT变换 2197.10.5 去方块滤波前的图像恢复与重建 2197.11 SP片中的P宏块和SI片中的SI宏块的解码过程 2207.11.1 主SP片中P宏块的解码过程 2207.11.2 辅SP/SI片的解码过程 221参考文献 223第8章 H.264视频编码传输及其在移动通信中的应用 2248.1 概述 2248.2 H.264/AVC在无线通信中的传输 2248.2.1 H.264/AVC在无线通信中的应用 2248.2.2 H.264分层传输结构 2258.2.3 H.264分组交换业务传输协议栈 2268.3 H.264视频编码的容错技术 2278.3.1 H.264的视频编码层的错误恢复 2288.3.2 H.264的网络提取层的错误恢复 2298.4 移动无线信道中的精确码率控制算法 2328.4.1 宏块能量的提取 2328.4.2 与宏块能量相结合，在宏块级别分配码率 2348.4.3 计算编码量化参数Qp 2348.5 移动互联网中多媒体业务平台的设计 2358.5.1 移动互联网的多媒体业务核心平台 2358.5.2 编转码系统 2368.5.3 设计流分发服务器 2368.5.4 客户端 2388.5.5 系统小结 238参考文献 238第9章 高质量视频编码 2419.1 H.264+与H.265 2419.1.1 视频编码的需求 2419.1.2 视频编码标准及其应用简史 2419.1.3 H.264+和H.265最近研究方向 2419.1.4 H.265主要特征与KTA 2429.1.5 H.265的几个方向性课题 2449.2 H.264的高保真范围扩展FRExt 2449.2.1 引言 2449.2.2 自适应分块 2459.2.3 空间域的残差变换 2469.2.4 帧内预测方法 2469.2.5 基于视觉的量化缩放矩阵 2479.2.6 色度空间的残差色度变换 2479.2.7 无失真宏块模式 2479.2.8 FRExt的测试结果 2479.3 本章结论 248参考文献 248第10章 H.264的可伸缩编码SVC 24910.1 概述 24910.2 SVC的基本原理 25010.2.1 传统可伸缩编码 25110.2.2 精细粒度可伸缩编码 25310.2.3 渐进精细粒度可伸缩编码 25310.3 H.264的SVC 25410.3.1 空域可伸缩性 25510.3.2 时域可伸缩性 25710.3.3 质量可伸缩性 25910.3.4 H.264的扩展 26010.4 性能与分析 262参考文献 263缩略语 266附录一 CAVLC相关码表 270附录二 CABAC相关码表 275附录三 H.264档次和级 283
1．1信息化与视频通信 本书在讨论视频编码之前，先简要介绍一些与信息化有关的问题，研讨当前信息社会背景，然后讨论信息化与视频通信的关系。 1．1．1什么是信息众所周知，人类社会的三大支柱是物质、能量和信息。具体而言，农业现代化的支柱是物质，工业现代化的支柱是能量，而信息化的支柱是信息。 广义地讲，信息就是客观世界的描述和分析，它无所不在、无时不在，具有广泛性和通用性，这是信息的一个特性。信息没有重量，没有长度，具有抽象性，但它确实存在，这是信息的另一个特性。 信息的第三个特性是无限性。例如，关于物质的信息，物质具有无限的不可分性，物质由分子组成，分子由原子组成，下面还有中子、质子、电子、中微子等；关于通信网络的信息，为了增加通信容量，最初一对电话线只能通一路电话，后来利用N-ISDN技术，可在一对电话线上同时通两路电话，以后又发展B-ISDN、ATM、IP、MPLS，直到今天，通信网络技术仍在不断地发展，应该说，它具有无限性。
无