由于连续信源信号幅度取值无限性, 要精确表示这样的信号, 理论上需要无穷个bit才行。即连续信源的绝对熵为
。
仿照离散信源熵的定义, 有连续信源的熵(相对熵)定义为
其中
为连续信源信号
的概率密度函数。连续信源的 (相对) 熵可正可负。
率失真的定义域问题就是在信源和失真函数已知的情况下,讨论允许平均失真度
的最小和最大取值问题。
由于平均失真度
是非负实数
的数学期望, 因此
也是非负的实数,即
, 故
的下界是 0 。允许平均失真度能否达到其下限值0, 与单个符号的失真函数有关。
和
信源的最小平均失真度:
只有当失真矩阵的每一行至少有一个
元素时,信源的平均失真度才能达到下限值
。
当
, 即信源不允许任何失真时,信息率至少应等于信源输出的平均信息量一信息熵。
对于连续信源
因为实际信道总是有干扰,其容量有限,要无失真地传送连续信息是不可能的。
当允许有一定失真时,
将为有限值, 传送才是可能的。
的定义域为
。
时,
由于
是非负函数,而
是在约束条件下的
的最小值, 所以
也是一个非负函数, 它的下限值是零。
:是定义域的上限。
是满足 R(D)=0 时所有的平均失真度中的最小值。
由于
的充要条件是 X 与 Y 统计独立, 即:
例: 设输入输出符号表为
, 输入概率分布
, 失真矩阵
求
和
解:失真矩阵的每一行至少有一个 0 元素时,
例: 设输入输出符号表为
, 输入概率分布
, 失真矩阵
求
和
解:
参考文献:
本专栏包含信息论与编码的核心知识,按知识点组织,可作为教学或学习的参考。markdown版本已归档至【Github仓库:https://github.com/timerring/information-theory 】
扫码关注腾讯云开发者
领取腾讯云代金券
Copyright © 2013 - 2025 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号:粤B2-20090059 深公网安备号 44030502008569
腾讯云计算(北京)有限责任公司 京ICP证150476号 | 京ICP备11018762号 | 京公网安备号11010802020287
Copyright © 2013 - 2025 Tencent Cloud.
All Rights Reserved. 腾讯云 版权所有