Loading [MathJax]/jax/output/CommonHTML/config.js
首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
MCP广场
社区首页 >专栏 >信息论整理

信息论整理

作者头像
算法之名
发布于 2022-09-08 04:05:57
发布于 2022-09-08 04:05:57
3670
举报
文章被收录于专栏:算法之名算法之名

信息论研究的目的和范畴

通信系统模型

古人近距离用语言来传递信息,远距离用手势、烽火来传递信息;现代人用各种通讯工具(电话、互联网)来传递信息。它们的手段不同,但是目的是相同的,都是为了传递信息,我们以此来建模,就有了上图的模型。甲方(信源)是发送消息的一方,乙方(信宿)是接收消息的一方。信源发出消息,经过编码器变成信号送入信道,同时噪声源发出噪声也送入信道。这样信号加噪声就一起通过信道发送给了译码器,译码器将信号提取出来变回原始的消息交给信宿。

  • 模型的六个部分
  1. 信源:信源是产生消息(或称符号)的源。
  2. 编码器:编码是把信源的原始信息按一定的理论或工程要求,编成另一种消息形态,称之为信号的器件。
  3. 信道:信道是信号从信源传输到信宿的通路。
  4. 噪声源:噪声是一种无处不在的干扰器。
  5. 译码器:译码器是编码器的逆器件,译码器把信道输出的包含干扰的信号进行反变换,以恢复信源信息。
  6. 信宿:信宿是消息传送的对象,信宿一般是合法的接受者。
  • 通信的方式
  1. 单工:如果只是从信源到信宿的单向通讯,即为单工。
  2. 半双工:信源可以向信宿传输信息,信宿也可以向信源传输信息,但是两边不能同时传送。
  3. 全双工:信源和信宿可以同时双向传输信息。
  4. 广播:一个信源向多个信宿发送消息。
  5. 网络:多个用户向多个用户发送消息。它们互为信源信宿。
  • 信息传输的有效性、可靠性、保密性和认证性。
  1. 有效性:用最短的时间,最少的设备资源来传输同样的信息量。对于信源来说就是要压缩掉信源当中的冗余,除了必要信息以外的冗余需要消除。采用的技术方式为信源编码。
  2. 可靠性:指信源发出的消息,经过有噪声信道传输以后,要尽可能的在接收端准确的再现信源发出的消息,失真越小越好。采用的技术方式为信道编码或抗干扰编码。
  3. 保密性:指通信系统传输的消息,仅仅是对信宿和信源这两个合法的端是可以理解的。而对于其他任何非法的窃取者,都不能够理解。采用的技术方式为加密编码。
  4. 认证性:指接受者能正确无误的判断消息的正确性,验证消息的完整性,而不是伪造和篡改的消息。

基本信息论

信源及信源的不确定性

实际有用的信源应具有不确定性(也称为不肯定性)。信源应该至少包括有两种消息,例如二元信源就包括有0和1这两种消息,信宿也知道信源有这两种消息,但是信宿不知道的是信源在某个时刻发送的是哪个消息。信宿在收到信源的消息的时候,经过译码,才能够判断信源发送的到底是哪个消息。如果信道中没有噪声干扰,信宿一定判断正确,也就是译码正确,于是通讯就可以无差错的完成。

  • 不确定性的概念

不确定性是指信宿对信源某时刻发出的哪个消息不能肯定。但是信宿对信源会发送哪几种消息是知道的。这就是不确定性。

本文参与 腾讯云自媒体同步曝光计划,分享自作者个人站点/博客。
原始发表:2022-07-17,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 作者个人站点/博客 前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
暂无评论
推荐阅读
编辑精选文章
换一批
概论
主要研究信息的测度、信道容量、信源编码和信道编码等问题。这部分内容是信息论的基础理论,又称为香农信息论。
hotarugali
2022/03/01
3760
概论
隔空取物之侧信道攻击
在学习CISSP密码学时了解到侧信道攻击(又称边信道攻击、旁路攻击side-channel attack),攻击者通过测量功耗、辐射排放以及进行某些数据处理的时间,借助这些信息倒推处理过程,以获得加密秘钥或敏感数据。本文将从实践角度尝试一种侧信道攻击方法,主要关注特殊场景下的信息泄漏方式。
FB客服
2020/09/14
2.3K0
隔空取物之侧信道攻击
信息系统项目管理-信息的基本概念
信息是一种答观事物,它与材料、能源一样,都是社会的基础资源。但是,理性认识信息却只有几十年的历史。1948年,美国科学家香农(Claude E.Shannon)在对通信理论深入研究的基础上,提出了信息的概念,创立了信息理论(人们通常将香农于1948年10月发表的论文《通信的数学理论》(A Mathematical Theory of Communication)作为现代信息论研究的开端)。
Altumn
2019/10/21
1.1K0
计算机网络之物理层-数据通信基础
消息:人类能够感知的描述。例如: 眼睛看到的文字和图像; 耳朵听到声音; 鼻子闻到气味等。
越陌度阡
2020/12/09
6980
计算机网络之物理层-数据通信基础
信息论绪论
在通信系统中,实际传输的是信号,但本质内容的是信息。信息包含在信号之中,信号是信息的载体。通信的结果是消除或部分消除不确定性,从而获得信息。
timerring
2023/02/24
3300
信息论绪论
计算机网络原理梳理丨物理层
消息:人类能够感知的描述 信息:对事物的存在状态或存在方式的不确定性表述,可度量 通信:本质是在一点精确或近似地再生另一点的信息 通信系统:能够实现通信功能的各种技术、设备和方法的总体 信号:通信系统中,在传输通道中传播的信息的载体 数据:对客观事物的性质状态以及相互关系等进行记载的符号及其组合 信道:信道是以传输介质为基础的信号通道
码脑
2019/04/11
8700
计算机网络原理梳理丨物理层
失真的概念和定义
对于限失真信源, 应该传送的最小信息率是R(D), 而不是无失真情况下的信息熵H(X) , 显然
timerring
2023/04/09
6930
失真的概念和定义
通信原理教材,就该这么写!
通信的官方定义更加严谨一些——人与人,或人与自然之间,通过某种行为或媒介,进行的信息交流与传递,叫做通信。
鲜枣课堂
2019/07/22
1.6K1
通信原理教材,就该这么写!
《移动互联网技术》第一章 概述: 掌握移动互联网的基本概念和组成
《移动互联网技术》课程是软件工程、电子信息等专业的专业课,主要介绍移动互联网系统及应用开发技术。课程内容主要包括移动互联网概述、无线网络技术、无线定位技术、Android应用开发和移动应用项目实践等五个部分。移动互联网概述主要介绍移动互联网的概况和发展,以及移动计算的特点。无线网络技术部分主要介绍移动通信网络(包括2G/3G/4G/5G技术)、无线传感器网络、Ad hoc网络、各种移动通信协议,以及移动IP技术。无线定位技术部分主要介绍无线定位的基本原理、定位方法、定位业务、数据采集等相关技术。Android应用开发部分主要介绍移动应用的开发环境、应用开发框架和各种功能组件以及常用的开发工具。移动应用项目实践部分主要介绍移动应用开发过程、移动应用客户端开发、以及应用开发实例。 课程的教学培养目标如下: 1.培养学生综合运用多门课程知识以解决工程领域问题的能力,能够理解各种移动通信方法,完成移动定位算法的设计。 2.培养学生移动应用编程能力,能够编写Andorid应用的主要功能模块,并掌握移动应用的开发流程。 3. 培养工程实践能力和创新能力。  通过本课程的学习应达到以下目的: 1.掌握移动互联网的基本概念和原理; 2.掌握移动应用系统的设计原则; 3.掌握Android应用软件的基本编程方法; 4.能正确使用常用的移动应用开发工具和测试工具。
猫头虎
2024/04/08
5310
《移动互联网技术》第一章 概述: 掌握移动互联网的基本概念和组成
深入浅出通信原理丨边缘计算阅读周
今天是阅读周最后一次荐书,推荐的书是清华大学出版社至今为止销量最好的通信类书籍《深入浅出通信原理》,这本书最早在通信人家园论坛连载,总点击阅读量超过800万,被大家称为通信界的《明朝那些事儿”》。
边缘计算
2020/07/22
1.1K0
深入浅出通信原理丨边缘计算阅读周
《通信专业实务初级》-- 1.现代通信网概述(笔记)
完成信息的传递和交换要通过一套设备实现,将一个用户的信息传递到另一个用户的全部功能实体就组成了一个通信系统,即通信系统就是用电信号(或光信号)传递信息的系统,也叫电信系统。
爱学习的程序媛
2022/05/25
9570
《通信专业实务初级》-- 1.现代通信网概述(笔记)
信息论与编码:信道的定义和分类
信道是任何一种通信系统中必不可少的组成部分。任何一个通信系统都可以视为由发送,信道与接收三部分组成。信道通常指以传输媒介为基础的信号通道。
timerring
2022/12/02
9180
自信息的定义与分类
收到某消息获得的信息量=不确定性的减少量=(收到该消息前关于某事件发生的不确定性)-(收到此消息后关于某事件发生的不确定性)
timerring
2023/02/23
1.2K0
自信息的定义与分类
到底什么是语义通信?
文字、图片、音频、视频……越来越多的数据在不断产生,不仅占据着我们的硬盘空间,也充斥着整个通信网络。
鲜枣课堂
2023/08/21
1.3K1
到底什么是语义通信?
信息
一、如何度量信息 信息量是对信息的度量,香农不仅对信息作了定性描述,还进行了定量分析。 信源发出的信息常常是随机的,具有不确定性。如果信源中某一消息的不确定性越大,一旦发生,并为收信者接到,消除的不
用户1733462
2018/06/01
7000
编码通信与魔术初步(一)——通信浅谈
从今天开始,我将给大家介绍在数学魔术中非常值得浓墨重彩,大书特书一笔的一个系列——通信与编码。它是支撑21世纪信息世纪几乎最重要的数学基础理论,而且在魔术这个小领域里也有着十分重要的从理论到实践的应用。本系列是通信编码专题的第一个系列,前面会从通信和编码的纯理论部分开始讲起,然后以几个经典魔术来说明其中的奥妙。
magic2728
2023/01/30
3970
编码通信与魔术初步(二)——信息论基础
上一讲我们讲到了基本的通信模型以及经过简化抽取其核心变量的噪声信道模型,相关内容请戳:
magic2728
2023/01/30
2690
信息论的熵
在信息论里则叫信息量,即熵是对不确定性的度量。从控制论的角度来看,应叫不确定性。信息论的创始人香农在其著作《通信的数学理论》中提出了建立在概率统计模型上的信息度量。他把信息定义为“用来消除不确定性的东西”。在信息世界,熵越高,则能传输越多的信息,熵越低,则意味着传输的信息越少。
黄规速
2022/04/15
9240
信息论的熵
机器学习与网络安全基础篇(五)信息论基础
信息论是应用数学的一个分支,主要研究的是对一个信号包含信息的多少进行量化,最初是用于研究在一个含有噪声的信道上用离散字母表来发送消息,例如通过无线电来传输通信。
牛油果
2019/09/27
8240
机器学习与网络安全基础篇(五)信息论基础
从香农熵到手推KL散度:一文带你纵览机器学习中的信息论
IT派 - {技术青年圈} 持续关注互联网、大数据、人工智能领域 信息论是应用数学的一个分支,主要研究的是对一个信号包含信息的多少进行量化。它最初被发明是用来研究在一个含有噪声的信道上用离散的字母表来发送消息,例如通过无线电传输来通信。而本文主要探讨信息熵在 AI 或机器学习中的应用,一般在机器学习中,我们可以将信息论应用在连续型变量上,并使用信息论的一些关键思想来描述概率分布或者量化概率分布之间的相似性。 因此在机器学习中,通常要把与随机事件相关信息的期望值进行量化,此外还要量化不同概率分布之间的相似性
IT派
2018/03/27
9410
从香农熵到手推KL散度:一文带你纵览机器学习中的信息论
相关推荐
概论
更多 >
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档