论文拾遗 | 4月论文集锦

时空探索之旅

发布于 2024-11-19 16:29:42

4150

声明：由于精力有限，在浩瀚如海的学术文章与贩卖焦虑的大模型中挣扎，实难独善其身。因此，决定开设此栏目，分享有一些有意思的论文（热度大），有部分论文可能后续出AI论文速读和论文精读。本栏目暂定每月一更，旨在为大家带来轻松愉悦的阅读体验（偶尔也夹带点私货），可能会带有一些个人主观评价。分享的论文将不拘泥于时空（spatial-temporal）和时序（time series）领域，我们也会收录其他领域有意思的文章，期待与大家在学术的海洋中，一起探索，一起遨游！ 祝大家五一假期愉快！

时间序列（Time Series）

包括但不限于：语言模型，Mamba，预测，扩散模型

1. TSLANet: Rethinking Transformers for Time Series Representation Learning

链接：https://arxiv.org/abs/2404.08472

代码：https://github.com/emadeldeen24/TSLANet

作者：Emadeldeen Eldele, Mohamed Ragab, Zhenghua Chen, Min Wu, Xiaoli Li

机构：A*STAR（新加坡科技研究局）

TL; DR：本文提出了一种新型的时间序列分析模型TSLANet，通过结合自适应频谱分析和卷积神经网络的优势，提高了时间序列数据的表示学习能力，尤其在处理噪声和不同数据规模方面表现出色。

关键词：时间序列分析，轻量级模型，自适应频谱块，交互式卷积块，自监督预训练，Transformer，卷积神经网络。

TSLANet

2. Language Models Still Struggle to Zero-shot Reason about Time Series

链接：https://arxiv.org/abs/2404.11757

代码：https://github.com/behavioral-data/TSandLanguage

作者：Mike A. Merrill, Mingtian Tan, Vinayak Gupta, Tom Hartvigsen, Tim Althoff

机构：华盛顿大学（Washington），弗吉尼亚大学（Virginia）

TL; DR：本文探讨了语言模型在零样本情况下对时间序列数据进行推理的能力，发现即使是先进的模型在时间序列推理任务上的表现也远低于人类，指出时间序列推理是语言模型研究中一个有待进一步探索的领域。

关键词：语言模型，时间序列，零样本推理

通过GPT-4获取可以执行以生成信号的代码来生成真实的时间序列和文本对

3. Integrating Mamba and Transformer for Long-Short Range Time Series Forecasting

链接：https://arxiv.org/abs/2404.14757

代码：https://github.com/XiongxiaoXu/Mambaformer-in-Time-Series

作者：Xiongxiao Xu, Yueqing Liang, Baixiang Huang, Zhiling Lan, Kai Shu

机构：芝加哥伊利诺伊理工大学（IIT），伊利诺伊大学芝加哥分校（UIC）

TL; DR：本文提出了一种结合Mamba和Transformer的混合模型，用于提高长期和短期时间序列预测的准确性。（就5页）

关键词：Mamba，Transformer，时间序列预测

MambaFormer

4. Bi-Mamba4TS: Bidirectional Mamba for Time Series Forecasting

链接：https://arxiv.org/abs/2404.15772

作者：Aobo Liang, Xingguo Jiang, Yan Sun, Chang Lu

机构：北京邮电大学

TL; DR：本文提出了一个名为Bi-Mamba4TS的新型双向状态空间模型，用于长期时间序列预测，通过选择性输入数据处理和硬件感知并行计算，有效平衡了计算效率和预测性能。

关键词：长时预测，Mamba

Bi-MambaTS

多元时序预测

5. Review of Data-centric Time Series Analysis from Sample, Feature, and Period

链接：https://arxiv.org/abs/2404.16886

作者：Chenxi Sun, Hongyan Li, Yaliang Li, Shenda Hong

机构：北京大学，阿里巴巴

TL; DR: 本文系统性地回顾了时间序列分析中的数据选择问题，提出了以数据为中心的AI新视角，并从样本、特征和周期三个维度对数据选择方法进行了分类和讨论，旨在提高时间序列分析模型的准确性和稳健性。

关键词：时间序列分析，数据预处理，数据增强，特征提取，表示学习，自监督学习。

6. A Survey on Diffusion Models for Time Series and Spatio-Temporal Data

链接：https://arxiv.org/abs/2404.18886

项目地址：https://github.com/yyysjz1997/Awesome-TimeSeries-SpatioTemporal-Diffusion-Model

作者：Yiyuan Yang, Ming Jin, Haomin Wen, Chaoli Zhang, Yuxuan Liang, Lintao Ma, Yi Wang, Chenghao Liu, Bin Yang, Zenglin Xu, Jiang Bian, Shirui Pan, Qingsong Wen

机构：牛津大学，莫纳什大学，北京交通大学，香港科技大学（广州），浙江师范大学，蚂蚁集团，香港大学，Salesforce，华东师范大学，复旦大学，微软亚洲研究院，格里菲斯大学，松鼠AI

TL; DR: 本文全面综述了扩散模型在时间序列和时空数据分析中的应用，探讨了模型分类、任务类型、数据模态、实际应用领域，并提出了未来的研究方向。

关键词：扩散模型，时间序列，时空数据，生成模型，预测，生成，插补，异常检测，分类

Diffusion models for TS&ST

时空数据（Spatial-temporal）

包括但不限于：持续学习，mamba，时空预测，轨迹生成，信控优化，扩散模型

1. Continual Learning for Smart City: A Survey

链接：https://arxiv.org/abs/2404.00983

作者：Li Yang, Zhipeng Luo, Shiming Zhang, Fei Teng, Tianrui Li

机构：西南交通大学

TL; DR：关于智慧城市中持续学习技术的综述，探讨了其定义、方法、应用、挑战和未来研究方向。

关键词：持续学习，城市计算，智慧城市

持续学习分类

智慧城市持续学习框架

2. Causality for Earth Science -- A Review on Time-series and Spatiotemporal Causality Methods

链接：https://arxiv.org/abs/2404.05746

作者：Sahara Ali, Uzma Hasan, Xingyan Li, Omar Faruque, Akila Sampath, Yiyi Huang, Md Osman Gani, Jianwu Wang

机构：悉尼大学（Sydney），纽卡斯特大学（UoN）

TL; DR：本文综述了时间序列和时空因果方法及其在地球科学中的应用，旨在为数据科学和地球科学领域的研究人员提供一个理解和量化地球系统中复杂因果关系的入门指南。

关键词：地球科学，时间序列，时空数据，因果发现，因果推断

时序和时空因果发现在地球科学的应用

3. 2024[IJCAI]X-Light: Cross-City Traffic Signal Control Using Transformer on Transformer as Meta Multi-Agent Reinforcement Learner

链接：https://arxiv.org/abs/2404.12090

代码：https://github.com/AnonymousID-submission/X-Light

作者：Haoyuan Jiang, Ziyue Li, Hua Wei, Xuantang Xiong, Jingqing Ruan, Jiaming Lu, Hangyu Mao, Rui Zhao

机构：百度，科隆大学，亚利桑那州立大学，中科院自动化所，复旦大学，商汤，启元研究院

TL; DR：本文提出了一个名为X-Light的基于Transformer on Transformer（TonT）的元多智能体强化学习模型，用于实现具有跨城市可转移性的多智能体交通信号控制

关键词：信控优化，跨城市可迁移性，元强化学习

X-Light

4. ST-SSMs: Spatial-Temporal Selective State of Space Model for Traffic Forecasting

链接：https://arxiv.org/abs/2404.13257

作者：Zhiqi Shao, Michael G.H. Bell, Ze Wang, D. Glenn Geers, Haoning Xi, Junbin Gao

机构：悉尼大学（Sydney），纽卡斯特大学（UoN）

TL; DR：本文提出了一种新的交通流量预测模型——时空选择性状态空间模型（ST-SSMs），通过创新的ST-Mamba块在保持预测准确性的同时显著降低了计算成本。

关键词：Mamba，状态空间模型，交通（时空）预测

ST-SSMs

5. ControlTraj: Controllable Trajectory Generation with Topology-Constrained Diffusion Model

链接：https://arxiv.org/abs/2404.15380

作者：Yuanshao Zhu, James Jianqiao Yu, Xiangyu Zhao, Qidong Liu, Yongchao Ye, Wei Chen, Zijian Zhang, Xuetao Wei, Yuxuan Liang

机构：南方科技大学，香港城市大学，香港科技大学（广州），约克大学（本文的一作也是DiffTraj的一作。应该是个延续工作）

DiffTraj：应用机器学习：NeurIPS23｜DiffTraj: 利用扩散模型生成 GPS 轨迹

TL; DR：本文提出了ControlTraj框架，利用扩散模型和道路网络拓扑约束生成高保真、可控的轨迹数据，以支持城市规划和位置基础服务等领域的研究。

关键词：轨迹生成、可控性、高保真、扩散模型、道路网络拓扑、城市规划、位置基础服务。

ControlTraj

其他（Others）

包括但不限于：mamba和LLM

1. Does Transformer Interpretability Transfer to RNNs?

链接：https://arxiv.org/abs/2404.05971

作者：Gonçalo Paulo, Thomas Marshall, Nora Belrose

机构：EleutherAI

TL; DR：本文探讨了Transformer模型的解释性方法是否适用于新型循环神经网络（RNN）架构，并尝试通过对比激活添加、调整透镜和潜在知识提取等技术来增强RNN模型的解释性和控制性。

关键词：可解释性，Transformer，RNN，Mamba，RWKV

RWKV&Mamba

2. State Space Model for New-Generation Network Alternative to Transformers: A Survey

链接：https://arxiv.org/abs/2404.09516

代码：https://github.com/Event-AHU/Mamba_State_Space_Model_Paper_List

作者：Xiao Wang, Shiao Wang, Yuhe Ding, Yuehang Li, Wentao Wu, Yao Rong, Weizhe Kong, Ju Huang, Shihao Li, Haoxiang Yang, Ziwen Wang, Bo Jiang, Chenglong Li, Yaowei Wang, Yonghong Tian, Jin Tang

机构：安徽大学，哈尔滨工业大学（深圳），北京大学

TL; DR：探讨了状态空间模型（SSM）作为Transformer的新一代网络替代方案在多个领域的应用和潜力，同时指出了当前的挑战和未来的研究方向。(The First review of State Space Model (SSM)/Mamba and their applications in artificial intelligence)

关键词：状态空间模型，Mamba，Transformer