信息论基础
2007-12
高等教育出版社
陈前斌，蒋青，于秀兰 著
236
信息论是信息科学的主要理论基础之一，是一门具有高度概括性、综合性和应用广泛的学科。它利用数理统计方法研究信息的计量、发送、传递、交换、接收和存储中的一般规律和本质属性。随着以计算机技术、通信技术、网络技术为代表的现代信息技术的高速发展，信息技术成为当今社会渗透性最强、覆盖范围最宽、应用范围最广的高新技术领域之一。信息论的一些基本理论在通信、计算机网络、数字音像、信息处理等工程实践中得到广泛应用，并指导信息系统的最优化设计，包括在如何提高信息系统的可靠性、有效性、保密性等方面提供理论基础。随着信息革命和信息科学的发展，信息技术的研究和使用，目前信息论研究范畴远远超出了通信及相近学科，已应用到生物学、生理学、人类学、物理学、化学、电子学、经济学和管理科学等多个学科。 在这种形势下，信息论作为一门专业基础课程列入了许多高校的教学计划。同时，不同的高校和不同的专业，结合各自培养方案的特点，对信息论教学内容有不同的取舍和偏重。本书面向通信工程、电子信息工程、信息工程和电子信息科学与技术等专业教学需要，着重讲授以经典信息论内容为主的信息论基础，特别强调概念阐述清楚、理论体系相对完整，围绕信息传输系统这一工程应用背景建立信息论的数学分析方法。读者在学习中应结合信息传输系统的数学模型理解信息论中基本理论方法，培养抽象分析能力和系统工程概念。 本书参考学时为32～48学时，既可作为高等学校通信工程、电子信息工程和其他相近专业本科学生的教材，也可以作为信息、通信、电子工程相关专业科技人员的参考书。
《信息论基础》重点介绍由香农理论发展而来的信息论的基本理论以及编码理论，联系实际通信系统，用较多的例题和图示展示基本概念的运用方法，尽量减少繁杂的公式、定理证明；叙述上力求概念清楚、重点突出、深入浅出、通俗易懂；内容上力求科学性、先进性、系统性与实用性相统一。全书共分8章，内容包括绪论、离散信源及其信息度量、离散信道及其信道容量、无失真信源编码、波形信源和波形信道、限失真信源编码、有噪信道编码和网络信息论初步。 《信息论基础》既可作为高等学校通信工程、电子信息工程和其他相近专业本科学生教材，也可以作为信息、通信、电子工程相关专业科技人员的参考书。
第1章 绪论1．1 信息的概念1．1．1 信息1．1．2 香农“信息”的定义1．1．3 “信息”的度量1．2 信息论的形成和发展1．3 信息论的研究范畴1．3．1 通信系统模型1．3．2 信息论的研究内容第2章 离散信源及其信息度量2．1 信源的分类及描述2．2 信源的数学模型2．2．1 单符号离散信源2．2．2 简单的连续信源2．2．3 多符号离散信源2．2．4 多维连续平稳信源和波形信源2．3 信息的度量和信源熵2．3．1 自信息、联合自信息与条件自信息2．3．2 互信息和条件互信息2．3．3 信息熵2．4 信源熵的基本性质和定理2．5 离散无记忆扩展信源2．6 离散平稳信源2．6．1 离散平稳信源的数学模型2．6．2 离散平稳信源的信息熵和极限熵2．7 马尔可夫信源2．7．1 马尔可夫信源的定义2．7．2 马尔可夫信源的信息熵2．8 信源的相关性和剩余度习题第3章 离散信道及其信道容量3．1 信道的分类及其描述3．2 单符号离散信道的数学模型3．3 平均互信息及其特性3．3．1 平均互信息的定义3．3．2 损失熵和噪声熵3．3．3 平均互信息的特性3．4 信道容量及其计算方法3．4．1 信道容量的定义3．4．2 无噪信道的信道容量3．4．3 对称离散信道的信道容量3．4．4 准对称离散信道的信道容量3．4．5 一般离散信道的信道容量3．5 多符号离散信道的数学模型3．6 离散无记忆扩展信道的信道容量3．7 组合信道及其信道容量3．7．1 独立并联信道及其信道容量3．7．2 串联信道及其信道容量3．8 信源与信道的匹配习题第4章 无失真信源编码4．1 信源编码器4．2 无失真离散信源编码定理4．2．1 无失真定长信源编码定理4．2．2 无失真变长信源编码定理4．3 霍夫曼码和其他编码方法4．3．1 唯一可译码和即时码4．3．2 香农码4．3．3 霍夫曼码4．3．4 费诺码4．4 算术码4．4．1 香农－费诺－埃利斯码4．4．2 算术码习题第5章 波形信源和波形信道5．1 波形信源的统计特性和处理方法5．1．1 波形信源的统计特性5．1．2 随机波形信源的处理方法5．2 连续信源的信息度量5．2．1 连续信源的熵及其性质5．2．2 连续信源的最大熵5．2．3 熵功率5．3 波形信源的信息度量5．4 波形信道的分类和处理方法5．4．1 波形信道的分类5．4．2 波形信道的处理方法5．5 连续信道的信道容量5．5．1 连续信道的平均互信息5．5．2 连续信道的信道容量5．6 波形信道的信道容量5．6．1 波形信道的信息传输速率5．6．2 波形信道的信道容量习题第6章 限失真信源编码6．1 失真测度6．1．1 失真函数6．1．2 平均失真6．1．3 保真度准则6．2 信息率失真函数6．2．1 信息率失真函数的定义6．2．2 R（D）函数的性质6．2．3 R（D）函数的计算6．3 限失真信源编码定理习题第7章 有噪信道编码7．1 有噪信道编码定理7．1．1 平均错误概率7．1．2 信道编码的基本思想7．1．3 有噪信道编码定理7．1．4 信道编码的途径7．2 联合信源信道编码定理7．3 信道编码的基本原理7．3．1 信道编码的一般方法7．3．2 信道编码的检错和纠错能力7．3．3 最小汉明距离译码7．4 线性分组码7．4．1 线性分组码的编码7．4．2 线性分组码的译码7．4．3 完备码和汉明码7．4．4 循环码7．5 卷积码7．5．1 卷积码的解析表示7．5．2 卷积码的图形描述7．5．3 卷积码的译码方法7．5．4 递归型系统卷积码7．6 Turbo码7．6．1 Turbo编码7．6．2 Turbo译码习题第8章 网络信息论初步8．1 多用户信道8．1．1 多址接入信道8．1．2 广播信道8．1．3 相关信源的多用户信道问题8．2 无线信道8．2．1 信道模型8．2．2 圆对称复数高斯随机矢量8．2．3 MIMO高斯信道容量附录概率论基础知识概要参考文献
香农信息定义的出发点是假定事物状态可以用一个以经典集合论为基础的概率模型来描述。然而实际存在的某些事物运动状态，要寻找一个合适的概率模型往往是非常困难的。对某些情况来讲，是否存在这样一种模型还值得探讨。 香农信息的定义和度量没有考虑收信者的主观特性和主观意义，也撇开了信息的具体含义、具体用途、重要程度和引起后果等因素。这就与实际情况不完全一致。例如，当得到同一消息后，对不同的收信者来说常常会引起不同的感情、不同的关心程度、不同的价值，这些都应认为是获得了不同的信息。又例如，甲乙两人同去听一段音乐，若甲缺乏欣赏音乐的基本知识和必要训练，这种信息就不能发生什么作用。若乙是一位训练有素的音乐家，那么他将从这段音乐中获得大量信息。因此，信息有很强的主观性和实用性。 由此可见，香农信息的定义和度量是科学的，是能反映信息的某些本质的；但同时却是有缺陷的、有局限的，因此，它的适用范围会受到严重的限制。但由于人们对信息的本质认识还不够充分，所以，国际上尚未形成一个普遍公认的、完整的、确切的定义。为此，有关信息的定义和其测度的研究还在不断地深入。我们深信，随着人们对信息这一概念的不断深入研究，将会得出更合理、更确切的信息的定义和测度，彻底揭示信息的本质，全面和准确地把握信息。
本书面向通信工程、电子信息工程、信息工程和电子信息科学与技术等专业教学需要，着重讲授以经典信息论内容为主的信息论基础，特别强调概念阐述清楚、理论体系相对完整，围绕信息传输系统这一工程应用背景建立信息论的数学分析方法。读者在学习中应结合信息传输系统的数学模型理解信息论中基本理论方法，培养抽象分析能力和系统工程概念。本书既可作为高等学校通信工程、电子信息工程和其他相近专业本科学生教材，也可以作为信息、通信、电子工程相关专业科技人员的参考书。
