习题 2.26

课程地位：

信息论是信息科学中最成熟、最完整、最系统的一部分，以活跃、新颖的思路和高效解决问题的方法而显示出独特的魅力。它与其他学科的交叉和融合，促进了许多新学科的生长，展示出勃勃生机和巨大的发展前景。
信息论不仅在方法论的层面上解决通信的有效性和可靠性问题，而且在认识论的层面上帮助认识事物的本质。学完信息论之后，在重新审视一下周围的事物，会有许多新的看法和认识。用信息论可以宏观的认识某些政治问题，也可以定量的解决某些经济问题，还可以分析、解释外语学习中存在的问题……总之，信息论是高层次信息技术人才必不可少的基础知识。

课程内容：
本课程主要介绍香农狭义信息论，包括香农信息论三定理——信息的测度定理、信道容量定理、信息率失真函数定理，以及香农的三个基本编码定理——无失真信源编码定理、信道编码定理、限失真信源编码定理。以及信源和信道编码的基本方法。

课程目标：
学习本课程可以达到以下目标：
1. 学习信息的概念和信息量的计算方法；
2. 学习**通信系统模型；
3. 学习信道容量的概念和信道容量的计算方法；
4. 学习压缩编码的原理和常用压缩编码方法；
5. 学习信道编码的原理和常用容错编码方法；

适合对象：
1. 将从事计算机底层信息处理（例如：图像算法、压缩算法，等）的软件工程师；
2. 将从事通信工程领域的通信工程师；
 
学习条件：
1. 较好有大学的数学基础；