信息论与编码
2009-12
中国科学技术大学出版社
姜丹
797
无
随着科学技术，特别是信息技术的发展，信息理论在通信领域中发挥着越来越重要的作用，显示出解决通信领域中有关问题的有力工具的本色。同时，由于信息理论解决问题的思路和方法的独特、新颖和有效，在当今信息时代，信息理论已渗透到其它相关的自然科学，甚至社会科学领域，与电子技术、自动控制、计算机网络以及管理科学、生物医学工程、遗传工程、人工智能、心理学等学科密切结合，显示出它的勃勃生机和不可估量的发展前景。信息论是信息科学中最成熟、最完整、最系统的重要组成部分，它是信息科学的发展起源与基石。信息论是信息与通信学科的基础理论。 本书以香农（Claude E。Shannon）信息论为基础，论述近代信息理论的基本概念和主要结论。 作者鉴于近30年的教学经验，为了便于读者正确认识通信领域中信息的定义和本质，理解信息论解决问题的思路和方法，在“引言”中归纳、提炼出香农信息论的三大理论支柱。为了便于读者建立信息流通的完整系统概念，把信息论的基础理论部分由传统的“信源一条线”、“信道一条线”的“纵向结构”，改变成由“单符号离散通信系统”（第一章、第二章）、“多符号离散通信系统”（第三章）、“单维连续通信系统”（第四章）、“多维连续通信系统”（第五章）等四个“横向教学板块”组成的“横向结构”，由简单到复杂、由浅人深、循序渐进地安排教学内容。信息论是一门具有严密的数学演绎体系和高度抽象性、概括性的科学理论。为了帮助读者排除学习信息论过程中经常遇到的数学分析方面的困难，结合有关内容，系统而简明地介绍必要的数学基础知识，给出导致重要结论的数学推演过程，提供不同的证明方法和途径。为了帮助读者正确理解有关结论的物理含意，提供通俗易懂、富有哲理的诠释。 本书在全面系统地论述信息论基础理论的基础上，严密论证了“无失真信源编码定理”、“抗干扰信道编码定理”、“限失真信源编码定理”和“信源-信道编码定理”等信息论中的关键定理和结论，深入阐明剖析了信息率-失真函数的定义、数学特性及其内涵。按照理论联系实际的原则，介绍“霍夫曼（Huffman）码”、“线性分组码”、“汉明（Hamming）码”和“扩展汉明码”等实际编码方法。使读者既能掌握、理解信息论的总的结论，看到实现有效而可靠的通信系统的光明前景，又能掌握实现通信系统的“最优化”的某些实际编码方法和技巧。 本书对如何构建“加权熵”、“效用信息熵”；如何运用信息率-失真理论定义“信息价值”；如何凝练“信息率-失真函数”的数学精髓，构建“广义信息率-失真函数”，估算通信系统的有关指标界限等问题，进行了探索性的讨论。以“多用户信道”的容量界限为重点，对网络信息传输的有关特性，作了初步探讨，给读者提供探究当今正在蓬勃兴起的互联网通信理论的初步基础知识。 本书的一个鲜明特色，是具有较强的理论性。通篇贯穿了一条主轴，这就是用数学模型描述要讨论的问题，用严密的数学理论分析，导致讨论问题的结论，用完整而系统的数学推演论证定理。
本书系统论述香农信息论的基本理论，介绍编码的基本方法。全书共分12章。内容包括：信息的定义、信息论的基本思路；单符号离散信源与信道、信息熵、互信息、信道容量、数据处理定理、加权熵、效用信息熵；多符号离散信源与信道、极限熵、独立并列信道的信道容量；连续信源与信道、相对熵、高斯白噪声加性信道的信道容量；无失真信源编码定理、霍夫曼编码方法；抗干扰信道编码定理、线性分组码、汉明码与扩展汉明码；限失真信源编码定理、信息率-失真函数、数据压缩原理、信息价值、广义信息率-失真函数；信源-信道编码定理；网络信息理论等。 本书可作为高等院校、科研院所相关专业的研究生、高年级本科生的教材或教学参考书，也可供从事信息理论、信息技术和信息科学的教学、科研和工程技术人员参考。
第三版前言再版前言前言引言第一章 单符号离散信源 第一节 信源的数学模型 第二节 信源符号的自信量 第三节 信源的信息熵 第四节 信息熵的代数性质 第五节 信息熵的解析性质 第六节 最大离散熵定理 第七节 均值受限的最大离散熵 第八节 熵函数的唯一性定理 第九节 加权熵及其数学特性 第十节 加权熵的唯一性定理 第十一节 效用信息熵 习题第二章 单符号离散信道 第一节 信道的数学模型 第二节 信道的交互信息量 第三节 条件交互信息量 第四节 平均交互信息量 第五节 平均交互信息量的非负性 第六节 平均交互信息量的极值性 第七节 平均交互信息量的不增性 第八节 平均交互信息量的上凸性 第九节 信道容量及其一般算法 第十节 信道容量的等量平衡定理 第十一节 几种无噪信道的信道容量 第十二节 几种对称信道的信道容量 第十三节 可逆矩阵信道的信道容量 第十四节 信道容量的迭代计算 习题第三章 多符号离散信源与信道 第一节 离散平稳信源的数学模型 第二节 离散平稳无记忆信源的信息熵 第三节 离散平稳有记忆信源的信息熵 第四节 离散平稳有记忆信源的极限熵 第五节 马尔柯夫（Markov）信源的极限熵 第六节 信源的剩余度与结构信息 第七节 扩展信道及其数学模型 第八节 无记忆扩展信道 第九节 扩展信道的平均交互信息量 第十节 无记忆扩展信道的信道容量 第十一节 独立并列信道的信道容量 习题第四章 单维连续信源与信道 第一节 连续信源的相对熵 第二节 连续信道和平均交互信息量 第三节 几种连续信源的相对熵 第四节 相对熵的数学特性 第五节 最大相对熵定理 第六节 熵功率与信息变差 第七节 相对熵的变换 第八节 平均交互信息量的不变性 第九节 连续信道的数据处理定理 第十节 连续信源的信息测量 第十一节 连续信道的信道容量 第十二节 高斯加性信道的信道容量 习题第五章 多维连续信源与信道 第一节 随机过程的离散化 第二节 多维连续信源的相对熵 第三节 最大多维相对熵定理 第四节 多维相对熵的变换 第五节 无记忆信道的平均交互信息量 第六节 高斯白噪声加性信道的容量 第七节 独立并列高斯加性信道容量的最大化 习题第六章 无失真信源编码 第一节 单义可译码 第二节 非延长码及其构成 第三节 单义可译定理 第四节 平均码长与码率 第五节 信源扩展与数据压缩 第六节 无失真信源编码定理 第七节 霍夫曼（Huffman）码 习题第七章 抗干扰信道编码 第一节 译码规则和错误概率 第二节 最小错误概率译码准则 第三节 简单重复编码 第四节 信道编码的一般概念 第五节 汉明（Hamming）距离与最小误码率 第六节 抗干扰信道编码定理 习题第八章 线性分组码 第一节 线性分组码的一般概念 第二节 线性分组码的代数结构 第三节 线性分组码的构成 第四节 一致校验矩阵 第五节 错误图样与伴随式 第六节 标准阵列与译码表 第七节 检纠能力与一致校验矩阵的关系 第八节 完备码 第九节 汉明（Hamming）码与扩展汉明码 习题第九章 信息率-失真函数 第一节 平均交互信息量的下凸性 第二节 平均失真度 第三节 信息率-失真函数的定义 第四节 R（D）函数的定义域 第五节 R（D）函数的数学特性 第六节 二元离散信源的R（D）函数 第七节 等概离散信源的R（D）函数 第八节 离散信源R（D）函数的参量表述 第九节 二元离散信源R（D）函数的参量计算 第十节 高斯连续信源的R（D）函数 第十一节 连续信源R（D）函数的参量表述 第十二节 高斯连续信源R（D）函数的参量计算 第十三节 R（D）函数的迭代计算 第十四节 R（D）函数与信息价值 第十五节 广义信息率-失真函数 习题第十章 限失真信源编码 第一节 离散无记忆扩展信源的R（D）函数 第二节 数据压缩的一般概念 第三节 限失真信源编码定理 习题第十一章 信源-信道编码 第一节 信息传输速率的上界 第二节 信源-信道编码定理 习题第十二章 网络信息理论 第一节 双输入单输出信道的信道容量 第二节 离散二址接入信道的容量计算 第三节 高斯加性二址接人信道的容量计算 第四节 单输入双输出信道的信道容量 第五节 高斯链式接续信道的容量计算习题附录《供熵函数计算用的几种函数表》参考文献
这就是说，一切有通信意义的消息的发生都是随机的，是事先无法预料的。消息传传递过程中受到的噪声干扰也是随机的，通信系统的工程设计者也是无法事先预料的。例如，面对公众的公用电话系统，不是针对某一特定对象设计的。什么人，什么时候来使用公用电话，以及通话人声音的最高频率、频带宽度、峰值功率、平均功率、持续时间等技术参数都是随机的，工程设计者都是无法事先预料的。显然，根据通信系统工程的这一特点，在设计工程时，不可能把某一特定的对象的技术参数作为设计的依据，而是要用概率论、随机过程、数理统计等数学工具，从大量的不可预料的随机消息（包括噪声）中，寻求其统计规律，作为通信工程设计的依据，用非决定论的观点和方法，来观察、描述信息。这就是香农的“非决定论”观点。 这种“非决定论”观点，是对通信活动的总的认识观。它从原则上回答了应采用什么类型的数学工具来解决信息度量问题。 （三）不确定性 通过对通信活动的机制和作用的剖析研究，香农一针见血地指出“人们只在两种情况下有通信的需要。其一，是自己有某种形式的消息要告知对方，而估计对方‘不知道’这个消息；其二，是自己有某种‘疑问’要询问对方，而估计对方能作出一定的解答”。这里的所谓“不知道”、“疑问”，就是通信前对某事件可能发生的若干种结果不能作出明确的判断，存在某种知识上的“不确定性”。通信后，通过消息的传递，由原先的“不知道”到“知道”，或由“知之不多”到“知之甚多”；原先的“疑问”得到了解答，或部分解答，由原先的“疑问”到“明白”，或部分“明白”。这就是说，通信后，消除或部分消除了通信前存在的“不确定性”。所以，通信的作用就是通过消息的传递，使接收者从收到的消息中获取了一样“东西”，因而消除或部分消除了通信前存在的“不确定性”。这种“东西”，就是“信息”。这样，我们就有理由给“信息”下一个明确的定义：“信息就是用来消除不确定性的东西”，进而，可合理地推断：通信后接收者从收到的消息中获取的“信息”，在数量上等于通信前、后“不确定性”的消除量。这就是香农从“不确定性”观点出发，给“信息”下的明确的定义。 我们知道，“可能性”的大小在数学上可以用概率的大小来表示：概率大即表示出现的“可能性”大；概率小即表示出现的“可能性”小。我们同样知道，“不确定性”与“可能性”是有联系的：“可能性”大就意味着“不确定性”小；“可能性”小就意味着“不确定性”大。这样，“不确定性”就可与消息发生的概率联系起来。例如，“中国女子乒乓球队夺取2008年奥运会冠军”这条消息，根据中国女子乒乓球队历来的表现，夺取奥运会冠军的概率很大，即“可能性”很大，也就意味着“不确定性”很小。这个消息一旦发生，消除的“不确定性”也很小，收信者从这条消息中获取的信息量也很小。相反，“中国男子足球队夺取世界杯赛冠军”这条消息，根据中国男子足球队历来的表现，夺取世界杯赛冠军的概率很小，即“可能性”很小，也就意味着“不确定性”很大。若有朝一日这个消息真的发生了，消除的“不确定性”很大，收信者从这条消息中获取的信息量也很大，甚至惊喜万分、欢呼跳跃。由此可见，“不确定性”与消息发生的概率有内在联系，它应该是消息发生概率的某一函数。 根据香农关于信息的定义，通信后收信者从消息中获取的“信息”，从数量上等于通信前、后“不确定性”的消除。既然“不确定性”一定是消息发生概率的某一函数，那么，“不确定性”的“消除量”也一定是消息发生概率的某一函数。当然，通信后获取的信息量也应该是消息发生概率的某一函数。
为研究生教学用书，教育部研究生工作办公室推荐。
无
国内为数不多的写的和国外教材可以媲美的书，通俗易懂，完全就是给你讲明白信息论，而不是让你越看越糊涂。
中科院研究生的教材，好！
写的不错，有参考价值，值得购买。
教材书，应该不错
教材吧，还行的
我没有看到实物，不过据说挺好的！很实用的一本书。货到得非常神速！遗憾的是有几本没买到，怎么总缺货呢？
较难理解啊
这是上课用的书，写的很详细
还不错，就是配送的时间太长了
上课的教材。。。不好评价，中规中矩吧。。。
印刷质量不是特别好 但是内容不错
该书内容讲得很详细，例子也很经典，好
发货速度蛮慢的，不知道是缺货还是什么的原因，书本质量也一般
书很厚，但整个书软软的感觉快散了，也许是受潮了