算法之朴素贝叶斯：用概率魔法做分类的“快速裁判”

紫风

发布于 2025-10-14 15:11:00

18200

代码可运行

运行总次数：0

代码可运行

一、核心思想：用“条件概率”做分类的直觉

朴素贝叶斯就像一位经验丰富的裁判，通过观察选手的特征表现（如速度、力量）快速判断其属于哪支队伍（类别）。它的核心假设是：所有特征相互独立（“朴素”一词的由来）。尽管现实世界中特征可能相关，但这种简化能让计算大幅加速。

数学本质：基于贝叶斯定理

P(类别∣特征)=P(特征∣类别)P(类别)P(特征)P(类别∣特征)=P(特征)P(特征∣类别)P(类别)

实际计算中只需比较分子大小，因为分母对所有类别相同。

二、Java代码示例：文本分类（垃圾邮件检测）

import java.util.*;

public class NaiveBayes {
    // 存储每个类别的词频统计
    private Map<String, Map<String, Integer>> classWordCounts = new HashMap<>();
    private Map<String, Integer> classDocCounts = new HashMap<>();
    private Set<String> vocabulary = new HashSet<>();

    // 训练模型
    public void train(List<String> documents, List<String> labels) {
        for (int i = 0; i < documents.size(); i++) {
            String doc = documents.get(i);
            String label = labels.get(i);
            classDocCounts.put(label, classDocCounts.getOrDefault(label, 0) + 1);
            
            Map<String, Integer> wordCounts = classWordCounts.getOrDefault(label, new HashMap<>());
            for (String word : doc.split(" ")) {
                wordCounts.put(word, wordCounts.getOrDefault(word, 0) + 1);
                vocabulary.add(word);
            }
            classWordCounts.put(label, wordCounts);
        }
    }

    // 预测类别
    public String predict(String document) {
        double maxProb = Double.NEGATIVE_INFINITY;
        String bestLabel = "";
        
        for (String label : classDocCounts.keySet()) {
            double logProb = Math.log((double)classDocCounts.get(label) / classDocCounts.values().stream().mapToInt(i->i).sum());
            
            for (String word : document.split(" ")) {
                int count = classWordCounts.get(label).getOrDefault(word, 0);
                logProb += Math.log((count + 1.0) / (classWordCounts.get(label).values().stream().mapToInt(i->i).sum() + vocabulary.size()));
            }
            
            if (logProb > maxProb) {
                maxProb = logProb;
                bestLabel = label;
            }
        }
        return bestLabel;
    }

    public static void main(String[] args) {
        NaiveBayes model = new NaiveBayes();
        List<String> docs = Arrays.asList(
            "free money urgent win", "hello meeting tomorrow",  
            "lottery prize claim", "project update schedule"
        );
        List<String> labels = Arrays.asList("spam", "ham", "spam", "ham");
        
        model.train(docs, labels);
        System.out.println(model.predict("free lottery")); // 输出"spam"
    }
}

三、性能分析

指标	数值	说明
训练时间复杂度	O(n*d)	n=样本数，d=平均特征数
预测时间复杂度	O(c*d)	c=类别数，d=特征数
空间复杂度	O(c*d + v)	v=词表大小，d=特征维度，c=类别数

注：使用对数概率避免浮点数下溢，通过拉普拉斯平滑处理未登录词。

四、应用场景

文本分类
- 垃圾邮件过滤（如Gmail早期版本）
- 新闻分类（体育/财经/科技）
情感分析
- 用户评论的正负面判断
推荐系统
- 基于用户行为的兴趣预测
医疗诊断
- 根据症状快速初筛疾病

五、学习路径：从新手到高手

新手入门：

理解基础概率：条件概率、先验概率
手动计算示例：
- 假设特征：词语“免费”在垃圾邮件中出现3次，正常邮件出现0次
- P(垃圾|“免费”) = P(免费|垃圾) * P(垃圾) / P(免费)
数据预处理：学习TF-IDF、停用词过滤

成手进阶：

处理连续特征：实现高斯朴素贝叶斯

// 高斯概率密度函数
private double gaussianProb(double x, double mean, double std) {
    return (1/(std*Math.sqrt(2*Math.PI))) * Math.exp(-(x-mean)*(x-mean)/(2*std*std));
}

突破独立性假设：