信息论基础
2002-7
武汉大学出版社
石峰、莫忠息
251
无
本书从基本概念和基本方法人手，尽量使用初等的数学工具，系统而又全面地介绍信息论的基础理论、基本方法以及近年来发展的新成果，包括一些最新的、较为成熟的原理。全书共分10章。第1章介绍香农信息理论的基本概念、基本内容和发展简史。第2章讨论信源、信息的度量等。第3章介绍互信息。第4章主要介绍有关信源编码的一些基本概念和Huffman最优编码。第5章主要介绍离散信道编码定理。第6章介绍线性码。第7章介绍有关率失真理论。第8章介绍最大熵原理和最小鉴别信息原理。在第9章中对非统计意 义下的信息理论（组合信息与算法信息）作了介绍，同时给出通用编码方法的代表——Lempel-Ziv编码方法。第10章介绍密码学的基础知识。大部分内容附有习题。 本书适用于信息与计算科学、应用数学、概率统计、计算机科学、自动控制、通信工程等专业的本科生作教材，也可作为这些专业的研究生的学习参考，并可供有关工程技术人员自学。
前 言第1章 概论1.1 信息理论的基本内容1.2 信息理论的发展简史1.3 控制论、信息论与系统论1.4 信息理论的应用第2章 信息与熵2.1 信源熵2.2 联合熵与条件熵2.3 熵函数的惟一性2.4 熵函数的性质2.5 连续型随机变量的熵2.6 意义信息和加权熵习题第3章 互信息3.1 平均互信息3.1.l 事件的互信息3.1.2 多随机变量下条件互信息与联合事件的互信息3.1.3 F均互信息3.2 互信息与其他熵之间的关系3.2.1 互信息的等价定义3.2.2 熵之间的关系3.3 多个随机变量的互信息3.3.1 两组随机变量之间的互信息3.3.2 条件互信息3.3.3 随机向量中各随机变量之间的互信息3.4 互信息函数的性质3.5 连续型随机变量的互信息习题第4章 离散信源的无错编码4.1 信源与信源编码简介4.1.1 信源4.1.2 信源的分类4.1.3 信源编码4.2 无记忆信源的渐近等同分割性与定长编码定理4.2.1 渐近等同分割性（AEP）4.2.2 定长编码定理4.3 离散无记忆信源的变长编码4.3.1 前缀码与Kraft不等式4.3.2 Huffman编码与最优编码定理4.3.3 常用变长编码4.4 离散平稳信源及其编码定理4.4.1 平稳信源的熵率及冗余度4.4.2 平稳信源的编码定理4.5 马尔可夫信源及其编码4.5.1 马尔可夫信源4.5.2 马尔可夫信源的编码习题第5章 离散无记忆信道的编码理论5.1 信道容量5.1.1 信道容量的定义和例子5.1.2 离散无记忆信道容量的有关性质5.!.3 某些简单情况下信道容量的计算5.1.4 转移概率可逆时信道容量的计算5.1.5 离散无记忆信道容量的迭代计算5.1.6 达到信道容量时输入输出字母概率分布的惟一性5.2 信道编码5.2.1 信道编码概述5.2.2 联合典型序列5.3 信道编码定理5.3.1 信道编码定理的证明5.3.2 Fano不等式和逆编码定理5.3.3 信源一信道联合编码5.4 葛斯信道5.4.1 高斯信道容量5.4.2 高斯信道编码定理5.4.3 高斯信道编码定理的逆定理5.5 级联信道和并联信道的信道容量5.5.1 级联信道5.5.2 并联信道5.6 信道编码实例5.6.1 重复码5.6.2 Hamming码习题第6章 线性码6.1 线性分组码的定义及表示6.2 系统编码和校验矩阵6.3 系统编码及其最优译码的实现6.4 线性码的差错概率及纠错能力第7章 信源的率失真函数与熵压缩编码7.1 熵压缩编码和信源的率失真函数7.2 率失真函数的基本性质7.3 对离散信源求解率失真函数的迭代算法7.4 连续无记忆信源的信息率失真函数7.4.1 基本性质7.4.2 差值失真度量下率失真函数的下界7.4.3 差方失真度量下的率失真函数7.5 标量量化7.6 限失真信源编码定理习题第8章 最大熵原理与最小鉴别信息原理8.1 最大熵原理8.1.l 最大熵原理的提出8.1.2 最大熵原理的合理性8.1.3 最大熵谱估计8.2 鉴别信息8.2.1 鉴别信息的定义8.2.2 鉴别信息的性质8.3 最小鉴别信息原理8.3.1 最小鉴别信息原理8.3.2 独立分量分析习题第9章 组合信息与算法信息9.1 自适应统计编码9.2 组合信息9.2.1 基于组合的信息度量9.2.2 Fitingof通用编码9.3 算法信息9.3.1 Kolmogorov算法熵9.3.2 算法熵的不可计算性9.3.3 Lewpel—ziv通用编码9.3.4 Kieffer_Yang通用编码习题第10章 密码学引论10.1 古典密码学10.1.1 古典密码举例10.1.2 古典密码分析10.2 基于信息论的密码学10.2.1 完全保密lO.2.2 惟一解距离-10.2.3 实用安全性10.3 数据加密标准（DES）10.3.1 DES的描述10.3.2 DES的讨论10.4 其他10.4.1 公开钥密码系统10.4.2 认证系统10.4.3 数字签名10.4.4 密钥的管理lO.4.5 电子货币部分习题解答或提示参考文献
本书从基本概念和基本方法人手，尽量使用初等的数学工具，系统而又全面地介绍信息论的基础理论、基本方法以及近年来发展的新成果，包括一些最新的、较为成熟的原理。本书适用于信息与计算科学、应用数学、概率统计、计算机科学、自动控制、通信工程等专业的本科生作教材，也可作为这些专业的研究生的学习参考，并可供有关工程技术人员自学。
无