互信息（Mutual Information, MI）

jack.yang

发布于 2025-04-05 11:03:24

38800

代码可运行

运行总次数：0

代码可运行

起源

互信息（Mutual Information, MI）这一概念最早由克劳德·香农在信息论的开创性工作中引入，主要用来量化两个随机变量之间的相互依赖程度。它是一种衡量变量间统计相关性的非参数度量，不仅能够捕捉线性关系，还能反映非线性关系。

原理与定义

互信息测量了知道一个随机变量的值后，我们能获得的关于另一个随机变量的信息量。换句话说，它衡量了两个变量联合分布相比于它们各自独立分布的额外信息量。如果两个变量完全独立，它们的互信息为0；如果一个变量完全确定另一个变量，互信息达到最大。

公式

给定两个离散随机变量X和Y，它们的联合概率分布为P(X,Y)，各自的边缘概率分布为P(X)和P(Y)，互信息I(X;Y)定义为：

对于连续随机变量，上述求和变为积分：

引申义

互信息可以视为一种非对称度量，尽管通常在实践中视作对称使用，它还能够推广到多变量情况，形成多变量互信息，以及条件互信息，用于评估三个或更多变量间的相互依赖关系。

异同点

- **与相关系数**：互信息不限于线性关系，而皮尔逊相关系数主要衡量线性关系；斯皮尔曼等级相关系数虽能捕捉非线性关系，但不如互信息一般化。 - **与熵**：互信息是两个变量联合熵与各自熵的差，体现了信息增益或减少。

优缺点

**优点**： - 非参数性，适用于任何类型的变量关系，包括非线性关系。 - 能够检测变量间的复杂依赖结构。 - 信息论基础，具有坚实的理论支持。

**缺点**： - 计算量大，尤其是对于高维或连续变量，可能需要复杂的估计技术。 - 对于高维空间，互信息可能过估计变量间的相关性。 - 对于离散变量，结果受变量划分（离散化）影响。

应用场景

- 特征选择：在机器学习中，用于挑选与目标变量最相关的特征。 - 数据挖掘：发现数据集中隐藏的关联规则。 - 信息检索：评估查询词和文档的相关性。 - 神经科学：分析神经元活动间的相互作用。

数据示例

假设有两个离散随机变量 (X) 和 (Y)，分别代表某地区的天气情况（晴天、雨天）和是否适合户外活动（适合、不适合）。我们有以下联合概率分布表：

从上表中，我们可以提取出边缘概率分布：

计算互信息 I(X;Y))

按照这个公式，我们需要对所有组合进行计算：

具体计算

总和

将上述计算结果相加得到互信息 (I(X;Y))：

因此，在这个例子中，随机变量 (X)（天气）和 (Y)（是否适合户外活动）之间的互信息大约为 0.466 nats（自然单位的信息量）。这表明这两个变量之间存在一定的相关性，即知道其中一个变量的值可以提供关于另一个变量的信息。

Java代码实现

import java.util.HashMap;
import java.util.Map;

public class MutualInformationExample {

    public static void main(String[] args) {
        // 定义联合概率分布
        Map<String, Double> jointProbabilities = new HashMap<>();
        jointProbabilities.put("晴天_适合", 0.6);
        jointProbabilities.put("晴天_不适合", 0.1);
        jointProbabilities.put("雨天_适合", 0.1);
        jointProbabilities.put("雨天_不适合", 0.2);

        // 计算边缘概率分布
        Map<String, Double> marginalX = new HashMap<>();
        Map<String, Double> marginalY = new HashMap<>();

        for (Map.Entry<String, Double> entry : jointProbabilities.entrySet()) {
            String key = entry.getKey();
            Double prob = entry.getValue();

            String x = key.split("_")[0];
            String y = key.split("_")[1];

            marginalX.put(x, marginalX.getOrDefault(x, 0.0) + prob);
            marginalY.put(y, marginalY.getOrDefault(y, 0.0) + prob);
        }

        // 计算互信息
        double mutualInfo = 0.0;
        for (Map.Entry<String, Double> entry : jointProbabilities.entrySet()) {
            String key = entry.getKey();
            Double probXY = entry.getValue();
            Double probX = marginalX.get(key.split("_")[0]);
            Double probY = marginalY.get(key.split("_")[1]);

            if (probX != 0 && probY != 0) {
                mutualInfo += probXY * (Math.log(probXY / (probX * probY)) / Math.log(2)); // 使用2为底的对数转换为比特
            }
        }

        System.out.printf("互信息 (I(X;Y)): %.3f bits%n", mutualInfo);
    }
}