【面试宝典】机器学习：深度解析高频面试题与解答策略（上）

🍔 机器学习中特征的理解

• def：特征选择和降维
• 特征选择：原有特征选择出⼦集，不改变原来的特征空间
• 降维：将原有的特征重组成为包含信息更多的特征，改变了原有的特征空间
• 降维的主要⽅法：
• Principal Component Analysis(主成分分析)
• Singular Value Decomposition(奇异值分解)
• 特征选择的⽅法：
• Filter⽅法：卡⽅检验、信息增益、相关系数
• Wrapper⽅法
• 其主要思想是：将⼦集的选择看作是⼀个搜索寻优问题，⽣成不同的组合，对组合进⾏评价，再与 其他的组合进⾏⽐较。这样就将⼦集的选择看作是⼀个是⼀个优化问题，这⾥有很多的优化算法可 以解决，尤其是⼀些启发式的优化算法，如GA，PSO，DE，ABC等，详⻅“优化算法——⼈⼯蜂群 算法(ABC)”，“优化算法——粒⼦群算法(PSO)”。
• Embedded⽅法
• 其主要思想是：在模型既定的情况下学习出对提⾼模型准确性最好的属性。这句话并不是很好理 解，其实是讲在确定模型的过程中，挑选出那些对模型的训练有重要意义的属性。 主要⽅法：正则化。岭回归就是在基本线性回归的过程中加⼊了正则项。

🍔 机器学习三要素如何理解?

统计学习=模型+策略+算法

• 模型：规律y=ax+b
• 策略：什么样的模型是好的模型？损失函数
• 算法：如何⾼效找到最优参数，模型中的参数a和b

🍔 机器学习中，有哪些特征选择的⼯程⽅法？

数据和特征决定了机器学习的上限，⽽模型和算法只是逼近这个上限⽽已

• 构建单个特征的模型，通过模型的准确性为特征排序，借此来选择特征；
• 通过L1正则项来选择特征：L1正则⽅法具有稀疏解的特性，因此天然具备特征选择的特性，但是要注 意，L1没有选到的特征不代表不重要，原因是两个具有⾼相关性的特征可能只保留了⼀个，如果要确定 哪个特征重要应再通过L2正则⽅法交叉检验*；
• 训练能够对特征打分的预选模型：RandomForest和Logistic Regression等都能对模型的特征打分， 通过打分获得相关性后再训练最终模型
• 通过特征组合后再来选择特征：如对⽤户id和⽤户特征最组合来获得较⼤的特征集再来选择特征，这 种做法在推荐系统和⼴告系统中⽐较常⻅，这也是所谓亿级甚⾄⼗亿级特征的主要来源，原因是⽤户数
• 据⽐较稀疏，组合特征能够同时兼顾全局模型和个性化模型，这个问题有机会可以展开讲。
• 通过深度学习来进⾏特征选择：⽬前这种⼿段正在随着深度学习的流⾏⽽成为⼀种⼿段，尤其是在计 算机视觉领域，原因是深度学习具有⾃动学习特征的能⼒，这也是深度学习⼜叫unsupervised feature learning的原因。从深度学习模型中选择某⼀神经层的特征后就可以⽤来进⾏最终⽬标模型的训练了。

🍔 机器学习中的正负样本

在分类问题中，这个问题相对好理解⼀点，⽐如⼈脸识别中的例⼦，正样本很好理解，就是⼈脸的图 ⽚，负样本的选取就与问题场景相关，具体⽽⾔，如果你要进⾏教室中学⽣的⼈脸识别，那么负样本就 是教室的窗⼦、墙等等，也就是说，不能是与你要研究的问题毫不相关的乱七⼋糟的场景图⽚，这样的 负样本并没有意义。负样本可以根据背景⽣成，有时候不需要寻找额外的负样本。⼀般3000-10000的正样本需要5，000,000-100,000,000的负样本来学习，在互⾦领域⼀般在⼊模前将正负⽐例通过采样的⽅ 法调整到3:1-5:1。

🍔 线性分类器与⾮线性分类器的区别及优劣

• 区别：所谓线性分类器即⽤⼀个超平⾯将正负样本分离开，表达式为 y=wx 。这⾥强调的是平⾯。
• ⽽⾮线性的分类界⾯没有这个限制，可以是曲⾯，多个超平⾯的组合等。
• 典型的线性分类器有感知机，LDA，逻辑斯特回归，SVM（线性核）；
• 典型的⾮线性分类器有朴素⻉叶斯（有⽂章说这个本质是线性的， http://dataunion.org/12344.html），kNN，决策树，SVM（⾮线性核）
• 优缺点：1.线性分类器判别简单、易实现、且需要的计算量和存储量⼩。
• 为解决⽐较复杂的线性不可分样本分类问题，提出⾮线性判别函数。：超曲⾯，⾮线性判别函数计算复杂，实际应⽤上受到较⼤的限制。在线性分类器的基础上，⽤分段线性分类器可以实现复杂的分类⾯。
• 解决问题⽐较简便的⽅法是采⽤多个线性分界⾯将它们分段连接，⽤分段线性判别划分去逼近分界的超曲⾯。
• 如果⼀个问题是⾮线性问题并且它的类边界不能够⽤线性超平⾯估计得很好，那么⾮线性分类器通常会⽐线性分类器表现得更精准。如果⼀个问题是线性的，那么最好使⽤简单的线性分类器来处理。

🍔 如何解决过拟合问题？

• 解释过拟合：模型在训练集表现好，在真实数据表现不好，即模型的泛化能⼒不够。从另外⼀个⽅⾯来 讲，模型在达到经验损失最⼩的时候，模型复杂度较⾼，结构⻛险没有达到最优。
• 如何解决：
• 学习⽅法上：限制机器的学习，使机器学习特征时学得不那么彻底，因此这样就可以降低机器学到
• 局部特征和错误特征的⼏率，使得识别正确率得到优化.
• 数据上：要防⽌过拟合，做好特征的选取。训练数据的选取也是很关键的，良好的训练数据本身的局部特征应尽可能少，噪声也尽可能⼩.

🍔 L1和L2正则的区别，如何选择L1和L2正则？

• L0正则化的值是模型参数中⾮零参数的个数。

• 也就是如果我们使⽤L0范数，即希望w的⼤部分元素都是0. （w是稀疏的）所以可以⽤于ML中做稀疏编码，特征选择。通过最⼩化L0范数，来寻找最少最优的稀疏特征项。但不幸的是，L0范数的最优化问题是⼀个NP hard问题，⽽且理论上有证明，L1范数是L0范数的最优凸近似，因此通常使⽤L1范数来代替。
• L1正则化表示各个参数绝对值之和。

• L1范数的解通常是稀疏性的，倾向于选择数⽬较少的⼀些⾮常⼤的值或者数⽬较多的insignificant的⼩值。
• L2正则化标识各个参数的平⽅的和的开⽅值。

• L2范数越⼩，可以使得w的每个元素都很⼩，接近于0，但L1范数不同的是他不会让它等于0⽽是接近于0.

🍔 有监督学习和⽆监督学习的区别

• 有监督学习：对具有概念标记（分类）的训练样本进⾏学习，以尽可能对训练样本集外的数据进⾏标记（分类）预测。这⾥，所有的标记（分类）是已知的。因此，训练样本的岐义性低。监督学习中只要输⼊样本集,机器就可以从中推演出制定⽬标变量的可能结果.如协同过滤推荐算法,通过对训练集进⾏监督学习,并对测试集进⾏预测,从⽽达到预测的⽬的.
• ⽆监督学习：对没有概念标记（分类）的训练样本进⾏学习，以发现训练样本集中的结构性知识。这 ⾥，所有的标记（分类）是未知的。因此，训练样本的岐义性⾼。聚类就是典型的⽆监督学习监督学习的典型例⼦就是决策树、神经⽹络以及疾病监测，⽽⽆监督学习就是很早之前的⻄洋双陆棋和聚类。

🍔 你对LR是怎么理解的？LR的损失函数是怎样的？

• ⾸先，LR是逻辑斯特回归，是分类算法。
• LR的原理是在线性回归的基础上增加⼀个⾮线性函数，这⾥⽤的是sigmod函数，得到的结果是以概率 的形式输出类别的结果。
• LR的损失函数是似然函数，似然函数的log对数的形式，得到是交叉熵损失，对应的是分类中最重要交叉 熵损失函数。
• 交叉熵损失和其他的损失函数区别就在于交叉熵损失是定义在概率分布基础上的，它通常是被⽤于基于 多项式的逻辑斯特回归和神经⽹络中，还有⽤在EM算法中。对数损失是⽤来度量分类器的预测输出的概 率分布和真是分布的差距，⽽不是⽐较离散类标签是否相等。

🍔 KMeans算法和KNN算法区别？​​​​​​​

• KMeans算法是聚类的算法，KNN是⼀个分类算法。
• KNN是通过K值设定最近邻的个数，通过当前样本点到各个点之间的距离的求解，通过少数服从多数的投票原则划分当前样本点。
• KMeans通过K值设定有⼏个聚类中⼼，通过将各个样本点到聚类中⼼的距离，将离中⼼点最⼩距离的样本进⾏组合，从⽽将样本点分成不同的簇，通过均值的⽅法迭代聚类中⼼，直到迭代次数或mse误差或聚类中⼼不在改变停⽌迭代。

🍔 请问GBDT和XGBoost的区别是什么？

• XGBoost类似于GBDT的优化版，不论是精度还是效率上都有了提升。
• 与GBDT相⽐，具体的优点有：
• 损失函数是⽤泰勒展式⼆项逼近，⽽不是像GBDT⾥的就是⼀阶导数；对树的结构进⾏了正则化约束，防⽌模型过度复杂，降低了过拟合的可能性；节点分裂的⽅式不同，GBDT是⽤的基尼系数，XGBoost是经过优化推导后的。

🍔 在k-means或kNN，我们是⽤欧⽒距离来计算最近的邻居之间的距离。为什么不⽤曼哈顿距离？

• 曼哈顿距离只计算⽔平或垂直距离，有维度的限制。另⼀⽅⾯，欧⽒距离可⽤于任何空间的距离计算问题。因为，数据点可以存在于任何空间，欧⽒距离是更可⾏的选择。例如：想象⼀下国际象棋棋盘，象或⻋所做的移动是由曼哈顿距离计算的，因为它们是在各⾃的⽔平和垂直⽅向做的运动。