1. 内容

• 绪论
• 信息的统计度量
• 离散信源
• 离散信道及其容量
• 无失真信源编码
• 有噪信道编码
• 限失真信源编码
• 保密系统的基本信息理论

2. 信息

2.1 客观世界三大基本要素

• 物质：材料科学
• 能量：能源科学
• 信息：信息科学

2.2 信息、消息、信号

• 消息：是信息的载体和具体表现形式（比如文字、图片等），是信号的具体内容

• 信息：是消息中包含的有意义的内容

  1. 同一消息对不同的接收者来说，可以包含不同的信息；
  2. 同一信息，可以用不同形式的消息来载荷。

• 信号：是消息的物理表现形式（比如声波、光波等）

2.3 信息的特性

• 信息是无形的

• 信息是可共享的

• 信息是无限的

  时空上的可扩展：具有时效性；前后信息相连，会提供新信息

• 信息是可度量的

2.4 信息的概念

• 通俗概念：消息 = 信息

• 广义概念：信息是对物质存在和运动形式的一般描述；信息是认识主体（人、生物、机器）所感受的
  事物运动状态和变换方式

• 狭义概念（概率信息）：信息是用来消除不确定性的东西

  1. 事件发生的概率越大，它提供的信息量就越小。
  2. 事件发生的概率越小，一旦该事件发生，它发生后提供的信息量越大。

3. 通信

3.1 通信过程

• 通信的过程是传输消息，消息的传递过程具有不确定性

• 通信过程是一种消除上述不确定性的过程。不确定性一旦被消除，收信者就得到了信息

• 消息的传递过程是一个从不知到知的过程，或是从知之甚少到知之甚多的过程，或是从不确定到部分
  确定或全部确定的过程

3.2 通信系统模型

信息论是通信的数学基础。

• 研究对象：通用通信系统

• 基本问题：在某一点精确或近似地恢复另一点发送的消息

  • 信源：产生消息的源泉
  • 信宿：信息的接受者
  • 编码器：将消息变换成适合于信道传输的形式
    1. 信源编码：压缩
    2. 信道编码：纠错
    3. 保密编码：保证信息的安全性
    4. 调制：将消息变换成适合信道传输的信号形式（数模转换）
  • 译码器：编码的逆变换
  • 信道：将信号从发射端传到接受端的通道
  • 干扰源（噪声源）：信道中的噪声
  

3.3 香农定理的提出

• 香农第一定理：为了无失真地传输信源信息， 信源编码的极限是什么？

• 香农第二定理：在有噪信道中无失真地通信， 信道编码的极限是多少？

• 香农第三定理：如果允许一定量的失真， 信源编码的极限是什么？

3.4 研究目的 & 研究目标

• 研究目的：找到信息传输过程的共同规律，提高信息传输的有效性、 可靠性、保密性和认证性，以达到信息传输系统的最优化。

  1. 有效性：用尽可能短的时间和尽可能少的设备来传送一定数量的信息。
  2. 可靠性：使信源发出的消息经过信道传输以后，尽可能准确地、不失真地再现于接收端。
  3. 保密性：隐蔽和保护通信系统中传送的消息，使它只能被授权接收者获取，而不能被未授权者接收和理解。
  4. 认证性：接收者能正确判断所接收的消息的正确性，验证消息的完整性，而不是伪造的和被窜改的。

• 研究目标：以通用的通信系统为研究对象，找到信息传输过程的共同规律，以提高信息传输的有效性、可靠性、保密性和认证性

  数字通信的三项基本技术：数据压缩、数据纠错、数据加密。

4. 信息论

• 总的来说，信息论是一门应用概率论、随机过程、数理统计和近代代数的方法，来研究广义的信息传输、提取和处理系统中的一般规律的学科。

• 它的主要目的是提高信息系统的可靠性、有效性、保密性和认证性，以使达到系统最优化；

• 它的主要内容（或分支）包括香农理论、编码理论、维纳理论、检测和估计理论、信号设计和处理理论、调制理论、随机噪声理论和密码学理论等。

4.1 狭义信息论（经典信息论）

主要研究信息的测度、信道容量、信源编码和信道编码等问题。这部分内容是信息论的基础理论，又称为香农信息论。

• 核心：在通信系统中，采用适当的编码后，能够实现高效率和高可靠地传输信息，并给出了信源编码定理和信道编码定理。

从数学观点看，这些定理是最优编码的存在定理；但从工程的观点看，不能从定理的结果直接得到实现最优编码的具体途径。然而，它们给出了编码的性能极限在理论上阐明了通信系统中各种因素之间的相互关系，为人们寻找最佳通信系统提供了重要的理论依据。

4.2 一般信息论（工程信息论）

主要研究信息传输和处理问题，除了香农理论外，还包括编码理论、噪声理论、信号滤波和预测、统计检测和估计理论、调制理论、信息处理理论、保密理论等。

4.3 广义信息论

是现代信息科学理论，它是一门新兴的综合性学科，不仅包括上述两方面的内容，而且包括所有与信息有关的领域，如模式识别、计算机翻译、心理学、遗传学、生物学、神经生理学、语言学、语义学等，甚至包括了社会、人文、经济等学科中有关信息的问题。