问时间序列分析模型评价性能指标在时间序列应用中的集成

EN

我假设您有一个在生产中运行的模型，它定期重新训练(例如:每个月)，它预测未来的X天(例如: 30天)，并且您正在尝试使用RMSE和MAPE来评估模型(如果这个假设是错误的，请在您的问题中说明)

如果我用过去一年的数据训练和预测未来30天，但我们将得到实际数据后，30天的实时。我们如何将这些RMSE和MAPE与时间序列应用集成起来？

您将不得不支持测试您的模型，即预测您的模型在过去的一天，您将有30个预测值和30个实际值。然后聚合发生在Root Mean Square Error或Mean Average Percentage Error的平均部分。理想情况下，您的模型不应该在培训阶段看到评估数据。

正如我从一些数据科学家那里听到的，如果我跳过第一个培训周期，在下一个再培训周期中计算这些RMSE和MAPE，在过去的培训周期中，如果我有实际数据和预测数据，这种方法有用吗？

是的，这是评估模型的方法之一。

从生产的角度来看，每一次再培训的评估指标计算是否有用？

定期监控生产中的模型是一种很好的做法(除非成本太高)，因为您必须以最适合您的频率来估计评估指标。