朴素贝叶斯 Numpy实现高斯朴素贝叶斯

小小程序员

发布于 2023-12-09 10:36:47

2170

发布于 2023-12-09 10:36:47

文章被收录于专栏：小小程序员——DATA

Numpy实现朴素贝叶斯

朴素贝叶斯

y=\arg \max _{c_{k}} P\left(Y=c_{k}\right) \prod_{j=1}^{n} P\left(X_{j}=x^{(j)} Y=c_{k}\right)

后验概率最大等价于0-1损失函数时的期望风险最小化。

GaussianNB 高斯朴素贝叶斯

特征的可能性被假设为高斯

概率密度函数：

P(x_i | y_k)=\frac{1}{\sqrt{2\pi\sigma^2_{yk}}}exp(-\frac{(x_i-\mu_{yk})^2}{2\sigma^2_{yk}})

数学期望(mean)：

\mu

方差：

\sigma^2=\frac{\sum(X-\mu)^2}{N}

代码实现

import numpy as np
from scipy.stats import norm

class GaussianNaiveBayes:
    def fit(self, X, y):
        # 获取类别标签
        self.classes = np.unique(y)
        # 计算每个类别的先验概率
        self.class_probs = self._calculate_class_probs(y)
        # 计算每个类别的特征均值和方差
        self.mean, self.variance = self._calculate_statistics(X, y)

    def predict(self, X):
        # 对每个样本进行预测
        predictions = [self._predict_instance(x) for x in X]
        return np.array(predictions)

    def _predict_instance(self, x):
        # 计算每个类别的后验概率，并返回具有最大后验概率的类别
        posteriors = []

        for idx, c in enumerate(self.classes):
            prior = np.log(self.class_probs[idx])
            posterior = np.sum(np.log(norm.pdf(x, loc=self.mean[idx], scale=np.sqrt(self.variance[idx]))))
            posterior += prior
            posteriors.append(posterior)

        return self.classes[np.argmax(posteriors)]

    def _calculate_class_probs(self, y):
        # 计算每个类别的先验概率
        class_probs = [np.sum(y == c) / len(y) for c in self.classes]
        return class_probs

    def _calculate_statistics(self, X, y):
        # 计算每个类别的特征均值和方差
        mean = []
        variance = []

        for c in self.classes:
            X_c = X[y == c]
            mean_c = np.mean(X_c, axis=0)
            variance_c = np.var(X_c, axis=0)
            mean.append(mean_c)
            variance.append(variance_c)

        return np.array(mean), np.array(variance)


# 生成一些示例数据
np.random.seed(42)
X = np.random.rand(100, 2)
y = (X[:, 0] + X[:, 1] > 1).astype(int)

# 创建并训练高斯朴素贝叶斯分类器
nb_classifier = GaussianNaiveBayes()
nb_classifier.fit(X, y)

# 预测新样本
new_samples = np.array([[0.8, 0.2], [0.4, 0.6]])
predictions = nb_classifier.predict(new_samples)

print("预测结果:", predictions)