数据挖掘中常用的基本降维思路及方法总结

👆点击关注｜选择星标｜干货速递👆

01 降维的意义

• 降低无效、错误数据对建模的影响，提高建模的准确性。
• 少量切具有代表性的数据将大幅缩减挖掘所需的时间。
• 降低存储数据的成本。

02 需要降维的情况

大多数情况下，面临高维数据，就要降维处理

• 维度数量。降维基本前提是高维。
• 建模输出是否必须保留原始维度。如果需要最终建模输出是能够分析、解释和应用，则只能通过特征筛选或聚类等方式降维。
• 对模型对计算效率和建模时效性有要求。
• 是否需要保留完整的数据特征。

03 基于特征选择的降维

根据一定的规则和经验，直接选取原有维度的一部分参与后续的计算和建模过程，用选择的维度代替所有维度。优势是既能满足后续数据处理和建模要求，又能保留维度原本的业务含义，以便业务理解和应用。

四种思路

经验法： 根据业务专家或数据专家的以往经验、实际数据情况、业务理解程度等进行综合考虑。

测算法： 通过不断测试多种维度选择参与计算，通过结果来反复验证和调整，并最终找到最佳特征方案。

基于统计分析方法： 通过相关分析不同维度间的线性关系，在相关性高的维度中进行人工去除或筛选

• 方差过滤：classs sklearn.feature_selection.VarianceThreshold(threshold=0.0) .fit_transform(X,y)
• 卡方过滤：原假设是相互独立 SelectKBest(chi2,k).fit_transform(X,y)
• F检验：原假设是不存在显著的线性关系 SelectKBest(f_classif,k).fit_transform(X,y)
• 通过计算不同维度间的互信息，找到具有较高互信息的特征集，然后去除或留下其中一个。SelectKBest(model,k).fit_transform(X,y) 其中 model=multual_info_classif 或 multual_info_regression

机器学习算法： 通过机器学习算法得到不同特征的特征值或权重，选择权重较大的特征。

• 嵌入法：精确度模型本身，是过滤法的进阶版。 sklearn.feature_selection.SelectFromModel(sklearn.ensemble.RandomForestClassifier(),threshold=0.01).fit_transfrom(X,y)
• 包装法： sklearn.feature_selection.RFE(sklearn.SVM.SVC(),k).fit_transfrom(X,y)

04 基于特征转换的降维

按照一定的数学变换方法，把给定的一组相关变量（特征）通过数学模型将高维空间数据点映射到低维空间中，然后用映射后到变量的特征来表示原有变量的总体特征。这种方式是一种产生新维度的过程，转换后的维度并非原有的维度本体，而是其综合多个维度转换或映射后的表达式。

PCA（主成分分析）

PCA (Principal Component Analysis) sklearn.decomposition.PCA(n_components=None,whiten=False)

from sklearn.decomposition import PCA
pca=PCA().fit()
pca.components_ # 返回模型各个特征向量
pca.explained_variance_ratio_ # 返回各自成分的方差百分比

图片来源网络

按照一定的数学变换方法，把给定的一组相关变量（特征）通过线性变换转换成另一组不相关的变量，这些新变量按照方差依次递减的顺序排列。方法越大，包含的信息越多。（无监督式学习，从特征的协方差角度，去选择样本点投影具有最大方差方向）n维可用。

二维转一维举例

所谓主成分：选出比原始变量个数少、能够解释数据中大部分的变量的几个新变量，来替换原始变量进行建模。

PCA是将数据投影到方差最大的几个相互正交的方向上，以期待保留最多的样本信息。

PCA算法 1，将原始数据按列组成

行

列矩阵

2，将

的每一行（代表一个属性字段） 进行标准化处理。 3，求出相关系数矩阵

4，求出

的特征值

及对应的特征向量

5，将特征向量按对应特征值大小从上到下按行排列成矩阵，取前

行组成矩阵

6，

,

LDA（线性判别分析）

LDA (Linear Discriminant Analysis)

通过已知类别的“训练样本”，来建立判别准则，并通过预测变量来为已知数据进行分类。（有监督式学习，考虑分类标签信息，投影后选择分类性能最好的方向） C-1维（分类标签数-1）

基本思想是将高维数据的模式样本投影到最佳鉴别矢量空间，已到达抽取分类信息和压缩特征空间维度的效果。投影后保证模式样本在新子空间的类空间距离和最小的类距离，集模式在该空间中有最佳可分离性。

使样本尽可能好分的投影方向，就是要使投影后使得同类样本尽可能近，不同类样本尽可能远。

图片来源网络

05 基于特征组合的降维

将输入特征与目标预测变量做拟合的过程，它将输入特征经过运算，并得出能对目标变量作出很好解释（预测性）对复合特征，这些特征不是原有对单一特征，而是经过组合和变换后的新特征。

优点： 提高模型准确率、降低噪声干扰（鲁棒性更强）、增加了对目标变量的解释性。

方法：

• 基于单一特征离散化后的组合。 现将连续性特征离散化后组合成新的特征。如RFM模型
• 基于单一特征的运算后的组合。 对于单一列基于不同条件下获得的数据记录做求和、均值等获得新特征。
• 基于多个特征的运算后的组合。 将多个单一特征做复合计算（包括加减乘除对数等），（一般基于数值型特征）获得新特征。
• 基于模型等特征最优组合。 基于输入特征与目标变量，在特定的优化函数的前提下做模型迭代计算，以到达模型最优的解。如多项式的特征组合、基于GBDT的特征组合。

GBDT

sklearn.ensemble.GradientBoostingClassifier(
        ).fit(X,y).apply(X)[:,:,0]

apply()返回的是 [n_samples,n_estimators, n_classes]

多项式

sklearn.preprocessing.\
PolynomialFeatures.fit_transform(X,y
                    ).get_feature_names()

Ok，今天的分享就到这里啦，更多原创好文，请关注数据STUDIO！