信息论与编码
2011-4
高等教育出版社
仇佩亮 等 著
463
信息论与编码是研究信息传输和信息处理过程中一般规律和具体实现的一门应用科学，是现代信息科学和工程技术的基础理论。《信息论与编码（第2版）》在吸取了国内外经典教材的优点，结合作者们长期教学和科研实践经验的基础上编写而成。本书深入浅出，既保持理论的完整性、系统性和严谨性，又概念清晰、易读好懂，同时还介绍了信息论与编码技术的新发展。本书主要介绍Shannon信息论和相关的编码技术。内容包括如下11章：绪论，熵和互信息，离散无记忆信源的无损编码，信道、信道容量及信道编码定理，率失真理论和保真度准则下的信源编码，受限系统和受限系统编码，线性分组纠错编码，循环码，卷积码，先进的信道编码技术，多用户信息论。 《信息论与编码（第2版）》适合作为高等院校电子信息类专业的高年级本科生和研究生教材，对于从事信息科学和技术领域工作和研究的人员也极具参考价值。
第1章 绪论第2章 熵和互信息2.1 随机变量的熵和互信息2.1.1 事件的自信息和互信息2.1.2 条件事件的互信息与联合事件的互信息2.1.3 随机变量的平均自信息——熵2.1.4 熵的性质2.1.5 凸函数2.1.6 随机变量间的平均互信息2.1.7 概率分布的散度（相对熵）2.1.8 关于疑义度的Fano不等式2.1.9 马尔可夫链和数据处理定理2.1.10 Shannon信息度量与集合论之间的联系2.1.11 信息论与博弈之间的关系2.2 连续随机变量的互信息和微分熵2.2.1 连续随机变量的互信息2.2.2 连续随机变量的熵——微分熵2.2.3 微分熵的极大化2.3 平稳离散信源的熵2.3.1 平稳离散信源的一般概念2.3.2 平稳信源的熵2.3.3 马尔可夫信源2.4 平稳随机过程的信息量与熵习题第3章 离散无记忆信源的无损编码3.1 离散无记忆信源的等长编码3.1.1 等长编码3.1.2 Shannon信源编码定理叙述3.1.3 渐近等分性质与Shannon定理的证明3.2 离散无记忆信源的不等长编码3.2.1 不等长编码的唯一可译性和译码延时3.2.2 Kraft不等式3.2.3 不等长编码定理3.3 几种不等长编码算法3.3.1 最佳不等长编码（Huffman编码）3.3.2 Shannon编码法3.3.3 Fano编码3.3.4 Shannon-Fano-Elias编码3.3.5 算术编码3.3.6 通用信源编码算法3.3.7 压缩编码与离散随机数发生3.4 平稳信源和马尔可夫信源的编码定理3.4.1 平稳信源的编码3.4.2 马尔可夫信源的编码习题第4章 信道、信道容量及信道编码定理4.1 信道、信道模型和分类4.2 离散无记忆信道及其容量4.2.1 信道容量定义及例子4.2.2 离散无记忆信道的容量定理4.2.3 对称离散无记忆信道容量的计算4.2.4 转移概率矩阵可逆信道的容量计算4.2.5 离散无记忆信道容量的迭代计算4.3 信道的组合4.3.1 积信道（平行组合信道）4.3.2 和信道4.3.3 级联信道4.4 离散无记忆信道的编码定理4.4.1 几个有关定义4.4.2 二元对称信道编码定理的证明4.4.3 一般离散无记忆信道编码定理的证明（典型列方法）4.4.4 信道编码定理之逆4.4.5 具有理想反馈的离散无记忆信道的容量4.4.6 信源、信道编码分离定理和信源、信道联合编码4.5 加性高斯噪声信道4.5.1 高斯信道的容量4.5.2 高斯信道编码定理4.5.3 高斯信道编码定理之逆4.5.4 带有独立高斯噪声的平行信道4.5.5 带有相关高斯噪声的平行信道4.5.6 MIMO高斯信道的容量4.6 模拟信道的信道容量4.6.1 带限、加性白高斯噪声信道4.6.2 带限、有色高斯噪声信道习题第5章 率失真理论和保真度准则下的信源编码5.1 率失真函数的定义5.2 简单信源的率失真函数计算5.2.1 Hamming失真度量下的贝努利信源5.2.2 高斯信源5.2.3 高斯矢量信源5.3 率失真函数的性质……第6章 受限系统和受限系统编码第7章 线性分组纠错编码第8章 循环码第9章 卷积码第10章 先进的信道编码技术第11章 多用户信息论参考文献
众所周知，自然界的信号都是连续的，无论是语音信号、图像信号或各种传感信号，不可能用有限比特不失真地表示它们。因此问题在于如何设计一种编码方法，使其在给定的许可失真范围内，用最少的比特表示它们，或者说如何用给定的比特数来表示这个连续信号，使失真最小。这就是保真度意义下的压缩编码。几十年来，在这方面已发展了许多成功的实用压缩编码方法，比如矢量量化、预测编码、变换编码、子带编码等技术，其中许多技术已成为国际标准，例如ITU中关于语音压缩和图像压缩的标准。正是由于这些有损压缩编码技术的应用使得语音、图像信号的码率可以成十倍甚至上百倍地降低，同时使由压缩编码引起的信号质量下降不为人类感官所觉察。这些编码技术是当前各种多媒体技术的核心。信道编码也就是通常所说的纠错编码，是另一大类信息编码技术。这类编码的目的在于检测或纠正传输中的错误，提高信息在传输中的可靠性。纠错编码中最早的Hamming码是几乎与香农信息论同时被提出来的。早期纠错码研究集中在线性分组码，采用的数学工具是矩阵理论。到20世纪60年代，由于以有限域理论为主的抽象代数工具的引入使线性分组码的研究突飞猛进。循环码，特别是BCH码、RS码等的研究，不仅为线性编码的研究打下坚实的基础，而且由于代数构造的引入使得译码复杂性大为下降。20世纪70年代以后基于概率译码的序贯编码理论，特别是卷积码，获得了极大的发展。……
