的RFECV()评分-学习
提问于 2016-01-09 23:17:31
Scikit-learn库支持递归特征消除(RFE)及其交叉验证版本(RFECV)。RFECV对我非常有用，它选择了一些小的特性，但是我想知道RFE的交叉验证是如何完成的。
RFE是减少最不重要的特性的方法。所以我认为RFECV会计算交叉验证分数，去掉1乘1的特征。
但是如果使用交叉验证，我认为每个折叠都会选择其他特性，因为数据是不同的。有人知道在RFECV中如何删除功能吗？
回答 1
Stack Overflow用户
回答已采纳
发布于 2016-01-10 01:49:13
交叉验证是在数量的特性上进行的。每个CV迭代都会更新每个被删除的特征的分数。
然后，根据评分选择要保留的多个n_features_to_select特性，并在完整的数据集上使用RFE，只保留n_features_to_select特性。
来自来源
for n, (train, test) in enumerate(cv):
X_train, y_train = _safe_split(self.estimator, X, y, train)
X_test, y_test = _safe_split(self.estimator, X, y, test, train)
rfe = RFE(estimator=self.estimator,
n_features_to_select=n_features_to_select,
step=self.step, estimator_params=self.estimator_params,
verbose=self.verbose - 1)
rfe._fit(X_train, y_train, lambda estimator, features:
_score(estimator, X_test[:, features], y_test, scorer))
scores.append(np.array(rfe.scores_[::-1]).reshape(1, -1))
scores = np.sum(np.concatenate(scores, 0), 0)
# The index in 'scores' when 'n_features' features are selected
n_feature_index = np.ceil((n_features - n_features_to_select) /
float(self.step))
n_features_to_select = max(n_features_to_select,
n_features - ((n_feature_index -
np.argmax(scores)) *
self.step))
# Re-execute an elimination with best_k over the whole set
rfe = RFE(estimator=self.estimator,
n_features_to_select=n_features_to_select,
step=self.step, estimator_params=self.estimator_params)
rfe.fit(X, y)页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://stackoverflow.com/questions/34703051
复制
腾讯云开发者
