当应用交叉验证来估计预测模型的性能时,所报告的性能通常是所有验证折叠上的平均性能。由于在此过程中,创建了多个模型,必须选择一个模型作为实际用于预测真实世界样本的模型(例如在产品中)。
我想知道,将验证性能报告为最终(选定)模型的估计性能是否真的有效(因为性能是使用在验证过程中创建的所有其他模型导出的,但在使用最终模型进行预测时不考虑)。
我预计所选模型的性能偏差可能与所有模型的平均性能大不相同(取决于几个因素,例如所使用的算法和验证方案)。
为什么交叉验证被用来评估预测模型的性能,尽管有给定的事实(例如,在许多同行评审的科学出版物中)?在独立测试集上对选定的模型进行额外的性能评估,并在验证性能的同时报告结果的性能,这不是总是更好吗?
发布于 2019-09-07 02:12:51
交叉验证用于估计特定数据集上某种类型模型的性能。
必须选择一个模型作为实际用于预测真实世界样本的模型(例如在产品中)。
选择一个在交叉验证过程中获得的模型是不合适的,这样做确实会导致您提到的问题。正确的方法是在交叉验证后(即独立于在CV期间训练的模型)对完整的训练数据进行最后的模型训练。这样,通过CV获得的性能代表了最终模型的预期性能。
https://datascience.stackexchange.com/questions/58817
复制相似问题