[IJCAI 2022 | 论文简读] 多波段VAE：用于持续学习中知识整合的潜在空间对齐

简读分享 | 乔剑博 编辑 | 龙文韬

论文题目

Multiband VAE: Latent Space Alignment for Knowledge Consolidation in Continual Learning

论文摘要

作者提出了一种新的无监督生成性连续学习方法，该方法通过重新调整变分自动编码器的潜在空间。深度生成模型和其他神经结构一样，也会遭受灾难性遗忘。最近的生成性持续学习工作解决了这个问题，并试图从新数据中学习而不忘记以前的知识。然而，这些方法通常侧重于人工场景，其中示例在随后的数据部分之间几乎没有相似性，这在持续学习的实际应用中是不现实的假设。在这项工作中，作者确定了这一局限性，并将生成性持续学习的目标定位为知识积累任务。作者通过不断调整新数据的潜在表示来解决这个问题，作者称之为附加潜在空间中的频带，其中示例的编码与源任务无关。此外，作者还介绍了一种控制遗忘过去数据的方法，该方法简化了这一过程。在标准的持续学习基准之上，作者提出了一个新的具有挑战性的知识整合场景，并表明所提出的方法在所有实验和额外的实际评估中表现出了两倍于最先进的水平。据作者所知，多波段VAE是在生成性持续学习中显示正向和反向知识转移的第一种方法。

论文链接

https://www.ijcai.org/proceedings/2022/0402.pdf