Loading [MathJax]/jax/output/CommonHTML/jax.js
前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
MCP广场
社区首页 >专栏 >连续信源的熵与RD

连续信源的熵与RD

作者头像
timerring
发布于 2023-04-21 13:31:42
发布于 2023-04-21 13:31:42
7040
举报
文章被收录于专栏:TechBlogTechBlog

连续信源的熵

由于连续信源信号幅度取值无限性, 要精确表示这样的信号, 理论上需要无穷个bit才行。即连续信源的绝对熵为

仿照离散信源熵的定义, 有连续信源的熵(相对熵)定义为

其中

为连续信源信号

的概率密度函数。连续信源的 (相对) 熵可正可负。

R(D) 的定义域

率失真的定义域问题就是在信源和失真函数已知的情况下,讨论允许平均失真度

的最小和最大取值问题

由于平均失真度

是非负实数

的数学期望, 因此

也是非负的实数,即

, 故

的下界是 0 。允许平均失真度能否达到其下限值0, 与单个符号的失真函数有关。

信源的最小平均失真度:

只有当失真矩阵的每一行至少有一个

元素时,信源的平均失真度才能达到下限值

, 即信源不允许任何失真时,信息率至少应等于信源输出的平均信息量一信息熵。

对于连续信源

因为实际信道总是有干扰,其容量有限,要无失真地传送连续信息是不可能的。

当允许有一定失真时,

将为有限值, 传送才是可能的。

的定义域为

  • 通常
  • 当 D ≥ D max  D \geq D_{\text {max }} D≥Dmax ​ 时,

时,

由于

是非负函数,而

是在约束条件下的

的最小值, 所以

也是一个非负函数, 它的下限值是零。

:是定义域的上限。

是满足 R(D)=0 时所有的平均失真度中的最小值。

由于

的充要条件是 X 与 Y 统计独立, 即:

例: 设输入输出符号表为

, 输入概率分布

, 失真矩阵

解:失真矩阵的每一行至少有一个 0 元素时,

例: 设输入输出符号表为

, 输入概率分布

, 失真矩阵

解:

参考文献:

  1. Proakis, John G., et al. Communication systems engineering. Vol. 2. New Jersey: Prentice Hall, 1994.
  2. Proakis, John G., et al. SOLUTIONS MANUAL Communication Systems Engineering. Vol. 2. New Jersey: Prentice Hall, 1994.
  3. 周炯槃. 通信原理(第3版)[M]. 北京:北京邮电大学出版社, 2008.
  4. 樊昌信, 曹丽娜. 通信原理(第7版) [M]. 北京:国防工业出版社, 2012.

本专栏包含信息论与编码的核心知识,按知识点组织,可作为教学或学习的参考。markdown版本已归档至【Github仓库:https://github.com/timerring/information-theory 】

本文参与 腾讯云自媒体同步曝光计划,分享自作者个人站点/博客。
原始发表:2023-04-17,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 作者个人站点/博客 前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
暂无评论
推荐阅读
编辑精选文章
换一批
信息率失真函数与平均互信息
Theorem [Rate-Distortion]. 以小于或等于失真 D 去重构无记忆信源所需的最小信源输出 bit/sym 称为率失真函数 (rate-distortion function),用 R(D) 表示, 记为
timerring
2023/04/12
8040
信息率失真函数与平均互信息
离散信源 R(D)计算及限失真信源编码定理
但要得到它的显式表达式,一般比较困难。通常用参量表达式。即使如此,除简单的情况外实际计算还是困难的, 只能用迭代逐级逼近的方法。
timerring
2023/05/01
6870
离散信源 R(D)计算及限失真信源编码定理
信道容量详解
我们研究信道的目的是要讨论信道中平均每个符号所能传送的信息量, 即信道的信息传输率 R , 即
timerring
2023/06/11
1.3K0
信道容量详解
无失真信源编码详解
定义: 在无失真信源编码中, 编译码过程是可逆的, 即信源符号可以通过编码序列无差错的恢复 ,该编码方式适用于离散信源的编码。
timerring
2023/03/01
8970
无失真信源编码详解
离散无记忆与有记忆信源的序列熵
本专栏包含信息论与编码的核心知识,按知识点组织,可作为教学或学习的参考。markdown版本已归档至【Github仓库:information-theory】,需要的朋友们自取。 文章目录 离散无记忆信源的序列熵 信源的序列熵 离散有记忆信源的序列熵 平稳有记忆N次扩展源的熵 离散无记忆信源的序列熵 马尔可夫信源的特点:无后效性。 发出单个符号的信源 指信源每次只发出一个符号代表一个消息; 发出符号序列的信源 指信源每次发出一组含二个以上符号的符号序列代表一个消息。 当信源无记忆时: \b
timerring
2023/02/26
9430
离散无记忆与有记忆信源的序列熵
失真函数、失真矩阵与平均失真
: 描述某个信源在某一试验信道传输下的失真大小, 它对信源和信道进行了统计平均, 是从总体上描述整个系统的失真。
timerring
2023/04/12
6310
失真函数、失真矩阵与平均失真
平均互信息与条件熵
通信系统中若发端的符号为 X 收端的符号为 Y。如果是 一一对应信道, 接收到 Y 后对 X 的不确定性将完全消除: H(X|Y) = 0,一般情况 H(X|Y) < H(X), 即了解 Y 后对 X 的不确定度将减少。
timerring
2023/04/08
7570
平均互信息与条件熵
限失真信源编码
有失真信源编码的数学模型如下图所示,将编码过程看成信息经过有扰信道传输的过程。信道输出 Y 即为编码输出。
timerring
2023/04/07
8790
限失真信源编码
熵速率定义与各类熵的关系
定义:一个平稳的时域离散随机过程的熵速率 (entropy rate) 定义为
timerring
2023/02/24
3950
信息熵的定义及物理含义
注: 信息熵不等于平均获得的信息量(仅是能提供的信息量)。一般情况下获得的信息量是两熵之差,而不是信息熵本身(获得的还是需要根据实际计算)。
timerring
2023/02/23
4390
率失真函数的性质
通常我们总希望信息通过信道传输时输入与输出之间的互信息最大,是在信道给定情况下的要求。而这里是在信源给定而不是信道给定条件下传输。信息率失真理论要解决的问题就是计算满足失真要求的传输所需的最小信道容量或传输速率,以达到降低信道的复杂度和通信成本的目的。
timerring
2023/04/30
5800
率失真函数的性质
WSDM'22「谷歌」SA2C:用于推荐系统的监督优势 Actor-Critic
由于异策略训练,巨大的动作空间和缺乏充分的奖励信号,强化学习(RL)很难直接用于推荐系统(RS)。本文提出一种负采样策略来训练RL,并将其与监督序列学习结合,称为SNQN。并且,利用Actor-Critic的优势扩展上述方法提出SA2C,通过计算优势函数(advantage),将其作为监督序列学习部分的权重。
秋枫学习笔记
2022/09/19
5900
信息论与编码:信源分类与数学模型
用离散随机变量X表示单符号离散信源(一个符号表示一完整消息,符号取值可列),X的可能取值为信源发出的各种不同符号,X的概率分布为各符号的先验概率。
timerring
2022/11/21
6950
信息论与编码:信源分类与数学模型
PyTorch 学习 -6- 损失函数
功能:计算二分类任务时的交叉熵(Cross Entropy)函数。在二分类中,label是{0,1}。对于进入交叉熵函数的input为概率分布的形式。一般来说,input为sigmoid激活层的输出,或者softmax的输出。
为为为什么
2023/07/24
5730
PyTorch 学习 -6- 损失函数
蒙特卡洛(Monte Carlo)方法
由于向纸上投针是完全随机的, 因此用二维随机变量 (X, Y) 来确定针在纸上的具体位置。其中:
为为为什么
2022/08/05
1.6K0
蒙特卡洛(Monte Carlo)方法
联合熵和条件熵
联合集 X Y \mathbf{X Y}XY 上, 条件自信息I ( y / x ) I(y / x)I(y/x)的平均值定义为条件熵:
timerring
2023/02/23
1.2K0
霍夫曼编码详解
在霍夫曼编码算法中, 固定长度的信源输出分组将映射成可变长度的二进制分组。该过程称为定长到变长编码。
timerring
2023/03/01
1.2K0
霍夫曼编码详解
Deep Learning Chapter01:机器学习中线性代数
好久不见,大家好,我是北山啦。机器学习当中需要用到许多的数学知识,如今博主又要继续踏上深度学习的路程,所以现在在网上总结了相关的考研数学和机器学习中常见相关知识如下,希望对大家有所帮助。
北山啦
2022/10/31
5120
Deep Learning Chapter01:机器学习中线性代数
KDD'21「华为」数值型特征embedding方法
这类方法不做embedding,而是直接用原始的数值作为特征,或者在数值上面做一些改进,例如youtube对于数值型特征分别做平方和平方根得到
秋枫学习笔记
2022/09/19
1.7K0
浙江理工 & 谷歌开源 CFMW | 挑战恶劣天气,Mamba 引领目标检测新风向!
在开放和动态的环境中,目标检测面临如雨、雾和雪等具有挑战性的天气条件。基于深度学习的目标检测方法的快速发展显著提高了识别和分类物体的能力。得益于先进的特征提取和融合策略,跨模态目标检测方法已达到高精度,例如CFT(杨等人,2017年)、GAFF(杨等人,2017年)和CFR
集智书童公众号
2024/05/10
1.7K0
浙江理工 &  谷歌开源 CFMW | 挑战恶劣天气,Mamba 引领目标检测新风向!
相关推荐
信息率失真函数与平均互信息
更多 >
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档