信息论整理

信息论研究的目的和范畴

通信系统模型

古人近距离用语言来传递信息，远距离用手势、烽火来传递信息；现代人用各种通讯工具(电话、互联网)来传递信息。它们的手段不同，但是目的是相同的，都是为了传递信息，我们以此来建模，就有了上图的模型。甲方(信源)是发送消息的一方，乙方(信宿)是接收消息的一方。信源发出消息，经过编码器变成信号送入信道，同时噪声源发出噪声也送入信道。这样信号加噪声就一起通过信道发送给了译码器，译码器将信号提取出来变回原始的消息交给信宿。

• 模型的六个部分

1. 信源：信源是产生消息(或称符号)的源。
2. 编码器：编码是把信源的原始信息按一定的理论或工程要求，编成另一种消息形态，称之为信号的器件。
3. 信道：信道是信号从信源传输到信宿的通路。
4. 噪声源：噪声是一种无处不在的干扰器。
5. 译码器：译码器是编码器的逆器件，译码器把信道输出的包含干扰的信号进行反变换，以恢复信源信息。
6. 信宿：信宿是消息传送的对象，信宿一般是合法的接受者。

• 通信的方式

1. 单工：如果只是从信源到信宿的单向通讯，即为单工。
2. 半双工：信源可以向信宿传输信息，信宿也可以向信源传输信息，但是两边不能同时传送。
3. 全双工：信源和信宿可以同时双向传输信息。
4. 广播：一个信源向多个信宿发送消息。
5. 网络：多个用户向多个用户发送消息。它们互为信源信宿。

• 信息传输的有效性、可靠性、保密性和认证性。

1. 有效性：用最短的时间，最少的设备资源来传输同样的信息量。对于信源来说就是要压缩掉信源当中的冗余，除了必要信息以外的冗余需要消除。采用的技术方式为信源编码。
2. 可靠性：指信源发出的消息，经过有噪声信道传输以后，要尽可能的在接收端准确的再现信源发出的消息，失真越小越好。采用的技术方式为信道编码或抗干扰编码。
3. 保密性：指通信系统传输的消息，仅仅是对信宿和信源这两个合法的端是可以理解的。而对于其他任何非法的窃取者，都不能够理解。采用的技术方式为加密编码。
4. 认证性：指接受者能正确无误的判断消息的正确性，验证消息的完整性，而不是伪造和篡改的消息。

基本信息论

信源及信源的不确定性

实际有用的信源应具有不确定性(也称为不肯定性)。信源应该至少包括有两种消息，例如二元信源就包括有0和1这两种消息，信宿也知道信源有这两种消息，但是信宿不知道的是信源在某个时刻发送的是哪个消息。信宿在收到信源的消息的时候，经过译码，才能够判断信源发送的到底是哪个消息。如果信道中没有噪声干扰，信宿一定判断正确，也就是译码正确，于是通讯就可以无差错的完成。

• 不确定性的概念

不确定性是指信宿对信源某时刻发出的哪个消息不能肯定。但是信宿对信源会发送哪几种消息是知道的。这就是不确定性。