频道年度小结和论文解读合集分享

01 年度小结

2024年度，科学最top频道总计与大家一起阅读了30篇文章，其中两篇关于patch和傅里叶变换的时序基础知识获得了较高的点赞，期间我还收到了很多粉丝的私信，来找我讨论思路，寻求合作或是时序入门讨论学习等等，谢谢大家支持！

其实能感受到，深度学习发展到现在各种零散的知识太多了，如果个人和课题组都不是特别强，想要快速摸索入门的门槛还是很高的。从自己的学习经历来看，还是非常推荐大家优先多阅读综述文献，有了整体认识再考虑具体方向。可能最需要避免的就是在入门阶段，刚读到一篇就考虑如何改进，因为没有整体的认知，这样得到思路往往经不住推敲，很可能会浪费时间。

公众号今年分享的所有文章，大家可从后台回复“资源”，无任何门槛的获取频道解读论文的合集，希望对大家有所帮助，新的一年祝大家论文多多发！

02 个人感想

过去的一年中，我们读过的论文的确有像Patch TST、华师大TFB这样的高质量的文章。但是随着阅读论文的增加，我们也逐渐发现不少文章是为了让模型复杂而复杂，2024年NIPS的一篇Workshop对时序的犀利点评，引起了群里很多朋友的共鸣。有些预测根本毫无意义。现在常用的一些数据集，比如exchange、weather，特别是汇率数据集，近乎可以认为，就不是一个可以的预测的任务。

这点在Workshop的PPT中也说了，汇率受外部环境比如政策，国际局势等影响巨大。依赖过去的OT数据预测未来的汇率波动，是不可能的。再加上用96的lookback窗口预测未来336的长度，就更显得更加荒谬。所以Dlinear这样的线性模型甚至比transformer效果更好。天气数据集也是一样，在不合理的设置下，用过去去预测未来，效果好也大概率是过拟合。

Workshop还提到了对比实验参数设置不合理，以及大模型付出巨大的算力和时间成本，实际效果却并不优于简单模型的尴尬境地。我非常推荐大家阅读一下workshop的PPT，对时间序列研究还是很有启发的。

03 后续计划

一年下来我渐渐发现，如果只是挑选一些论文做解读，实际还是不能把零散的知识，系统条理的汇集到一起，形成一个学习路线。自己看过的东西经常忘掉，查找资料也不方便。因此，今年计划做的第一件事就是系统梳理自己学习的过程。

第二件事情，计划记录自己一些想法的实现和证伪过程。有时候看完论文或者讨论完会产生一些不成熟的idea，经过验证不work基本也就丢掉了，但是我觉得从产生思路、到实现、再到证伪的过程本身也是有价值的。

anyway，祝愿大家2025年持续进步！