[KDD 2022 | 论文简读] 用于实体对齐的多模态孪生神经网络

简读分享 | 龙文韬 编辑 | 李仲深

论文题目

Multi-modal Siamese Network for Entity Alignment

论文摘要

多模态知识图谱（MMKGs）的蓬勃发展提出了对多模态实体对齐技术的迫切需求，这有助于整合来自不同数据源的多个MMKGs。不幸的是，现有技术仅通过单模态特征嵌入的启发式合并来利用多模态知识。因此，隐藏在多模式知识中的模态间线索可能被忽略。为了解决这个问题，在本文中，作者提出了一种新颖的用于实体对齐的多模态孪生神经网络（MSNEA），用以对齐不同MMKGs中的实体，其中通过利用模态间效应可以全面利用多模态知识。具体来说，作者首先设计了一个多模态知识嵌入模块来提取实体的形象、关系和属性特征，从而为不同的MMKGs生成整体实体表示。在此过程中，作者采用模态间增强机制整合特征，从而指导特征学习，并自适应地分配注意力权重以捕获有价值的属性来进行对齐。之后，作者设计了一个多模态对比学习模块，用来实现模态间增强融合，避免了弱模态的过度影响。在两个公共数据集上的实验结果表明，与竞争基线相比，作者提出的MSNEA取得了最先进的性能，并且具有很大的差距。

论文链接

https://doi.org/10.1145/3534678.3539244