联合熵和条件熵

timerring

发布于 2023-02-23 16:07:21

1.2K0

文章被收录于专栏：TechBlogTechBlog

本专栏包含信息论与编码的核心知识，按知识点组织，可作为教学或学习的参考。markdown版本已归档至【Github仓库：information-theory】，需要的朋友们自取。

文章目录

- - 联合熵
  - 条件熵

联合熵

联合集 XY 上, 对联合自信息

I(x y)

的平均值称为联合熵:

\begin{array}{l} H(X Y)=\underset{p(x y)}{E}[I(x \rightleftharpoons y)] \\ =-\sum_{x} \sum_{y} p(x y) \log p(x y) \end{array}

当有n个随机变量

X=\left(X_{1}, X_{2}, \ldots, X_{n}\right)

, 有

H(\mathbf{X})=-\sum_{X_{1}, X_{2}, \ldots, X_{n}} p\left(x_{1}, x_{2}, \ldots, x_{n}\right) \log p\left(x_{1}, x_{2}, \ldots, x_{n}\right)

信息熵与热熵的关系

信息熵的概念是借助于热熵的概念而产生的。

信息熵与热熵含义相似
信息熵与热熵的区别:
- 信息熵的不增原理
- 热熵不减原理
热熵的减少等于信息熵的增加。

条件熵

联合集 X Y \mathbf{X Y}XY 上, 条件自信息I ( y / x ) I(y / x)I(y/x)的平均值定义为条件熵：

\begin{array}{l} H(Y / X)=\underset{p(x y)}{E}[I(y / x)]=-\sum_{x} \sum_{y} p(x y) \log p(y / x) \\ =\sum_{x} p(x)\left[-\sum_{y} p(y / x) \log p(y / x)\right]=\sum_{x} p(x) H(Y / x) \end{array}

推广：

\begin{array}{l} H\left(X_{n} \mid X_{1}, \ldots, X_{n-1}\right) =-\sum_{X_{1}, X_{2}, \ldots, X_{n}} p\left(x_{1}, x_{2}, \ldots, x_{n}\right) \log p\left(x_{n} \mid x_{1}, \ldots, x_{n-1}\right) \end{array}

注意：当有n个随机变量

X=\left(X_{1}, X_{2}, \ldots, X_{n}\right)

。

\begin{array}{l} H(X, Y)=H(Y)+H(X \mid Y)=H(X)+H(Y \mid X) \\ H(\mathbf{X}) =H\left(X_{1}\right)+H\left(X_{2} \mid X_{1}\right)+\ldots+H\left(X_{n} \mid X_{1}, X_{2}, \ldots, X_{n-1}\right) \end{array}

注意：

\mathbf{H}(\mathbf{X} \mid \mathbf{Y})

表示已知变量

\mathbf{Y}

后, 对变量

\mathbf{X}

尚存在的平均不确定性（存在疑义）。

已知信源

X=\left[\begin{array}{ccc}A & B & C \\ 1 / 3 & 1 / 3 & 1 / 3\end{array}\right]

和

Y=\left[\begin{array}{ccc}D & E & F \\ 1 / 10 & 3 / 5 & 3 / 10\end{array}\right]

,请快速两个信源的信息熵的关系。答：H(X) > H(Y)。其实不用计算，由上面可知一个简单的结论，等概率时信息熵最大。

参考文献：

Proakis, John G., et al. Communication systems engineering. Vol. 2. New Jersey: Prentice Hall, 1994.
Proakis, John G., et al. SOLUTIONS MANUAL Communication Systems Engineering. Vol. 2. New Jersey: Prentice Hall, 1994.
周炯槃. 通信原理（第3版）[M]. 北京：北京邮电大学出版社, 2008.
樊昌信, 曹丽娜. 通信原理（第7版） [M]. 北京：国防工业出版社, 2012.

本文参与腾讯云自媒体同步曝光计划，分享自作者个人站点/博客。

原始发表：2023-02-22，如有侵权请联系 cloudcommunity@tencent.com 删除

github