Loading [MathJax]/jax/output/CommonHTML/config.js
前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
MCP广场
社区首页 >专栏 >37项SOTA!全模态预训练范式MiCo:理解任何模态并学习通用表示|港中文&中科院

37项SOTA!全模态预训练范式MiCo:理解任何模态并学习通用表示|港中文&中科院

作者头像
量子位
发布于 2024-06-17 06:30:23
发布于 2024-06-17 06:30:23
4820
举报
文章被收录于专栏:量子位量子位
MiCo团队 投稿 量子位 | 公众号 QbitAI

GPT-4o掀起一股全模态(Omni-modal)热潮,去年的热词多模态仿佛已经不够看了。

要构建全模态智能,意味着能够理解任何模态并学习通用表示 (Universal Representations)。

现在,港中文、中科院等提出了一种大规模的全模态预训练范式,称为多模态上下文MiCo(Multimodal Context),它可以在预训练过程中引入更多的模态,数据量,模型参数。

借助 MiCo,团队预训练的模型在多模态学习中表现出极为令人印象深刻的性能,在目前主流的三大类任务上的评估结果显示出:

  • 10种不同模态的单模态感知基准。
  • 25种跨模态理解任务,包括检索、问答、描述。
  • 18种多模态大型语言模型基准,MiCo取得了37项最强性能的记录。

大规模全模态预训练

在AI的发展历程中, 大规模的预训练已经逐渐成为一种非常有前景的途径来实现通用智能(譬如大规模训练的GPT-4o, LLaMA, Stable Diffusion)。

其中图文对比学习是社区最有影响力的预训练方法之一,比如,CLIP构建起了数百万的图文数据对来实现跨模态的对比学习。

研究者将这样的对比学习范式推广到了更多的数据模态上(音频,点云)同时也实现了更深入的语义理解(LLaVA, VideoChat)。

但是在这多模态与AIGC的时代里,越来越多的数据模态(比如,音频,3D内容等)被广泛使用时,仅限于图文预训练的基础模型带来了包括多模态错位、误解、幻觉和偏见放大等问题,这些难题都阻碍了连贯的多模态理解(coherent multimodal understanding)。

因此,团队希望提出一种能适用于全模态(不局限于仅图文音视频3D内容)的大规模预训练方法,如图所示,团队将视频与相配对的音频、文字描述、深度还有法线进行联合预训练。

如何设计全模态预训练中的神经网络结构?

参考人脑中多模态认知的过程,如下图所示,根据理查德·梅耶的多媒体学习认知理论(Richard E Mayer. Multimedia learning. In Psychology of learning and motivation, volume 41,305 pages 85–139. Elsevier, 2002.),人脑对耳朵和眼睛的感知内容(图/文/视频/音频/3D)有两个不同的通道来处理他们的感觉记忆

感觉记忆通过文字将这些多模态信号与先验知识整合在一起,将新的多媒体信息转化为长期记忆。

由此团队能推断:1)大脑中的多媒体信号共享感知通道,2)文字在大脑中充当推理接口。

受此启发,团队将不同的模态分为两类:“知识模态”“接口模态”

知识模态主要来自原始传感器,以不同的形式贡献知识。例如,图像和深度图提供视觉知识,而音频和视频提供听觉和时空知识。人类语言模态本质上更为抽象,自然地作为了接口模态,促进大脑学习、推理和知识的协调。

为此,团队设计了一个全模态学习架构(详细严谨的结构设计见文3.2),如上图 (b) 所示,它有两个不同的分支:一个用于知识模态,一个用于接口模态,即自然语言。知识和界面模态通过一种新颖的生成推理方法进行对齐(见方法3.4)。

大规模的全模态预训练算法:多模态上下文与多模态尺度定律(Scaling Law)

“上下文”这一概念在本文指的是在注意力机制为序列中的每个标记分配一个唯一向量来强化了位置之间的潜在关联。

不同的模态(例如,文本、图像、音频)提供了互补信息,因此学习多模态的上下文可以更全面、细致地理解数据,还可以利用每种模态的优势,引导模型理解不同类型信息之间的交互。因此,团队寻求构建跨越不同模态的上下文关系,使得模态之间能够相互增强(见下图)并将学习能力扩展到全模态。

多模态配对数据中的多模态上下文

首先团队构建了多模态配对数据的数据集 (图像,深度,法线,图像的配对文字,音频,音频配对文字,视频,视频配对文字)。

然后使用一个全模态编码器(ViT) 提取多模态特征,然后使用文本编码器提取文本特征。通过自上而下的设计构建多模态上下文关系:

  1. 对于整个多模态Embeddings,它们共享一套位置编码,以构建跨越不同模态的融合上下文关系。 2.然后,对于每个特定模态的上下文,它们通过不同的模态标记来指示模态类别。
  2. 在同一模态上下文中,团队使用单独的上下文编码构建单一模态上下文关系(详见原文)上下文编码取决于特定模态的样本长度。

同时,不同模态的配对文本内容可以简单的拼接起来,其位置编码同样是共享的:

多数据集中的多模态上下文:图-文/音频-文字/视频-文字等

团队提出的范式还可以利用现有的大规模文本-图像、文本-音频和文本-视频数据集,共同预训练模型来学习通用表征。给定数据集 图文/音频-文字/视频-文字数据集,每对数据拥有局部的简单的上下文,例如,图文数据对在CLIP中仅对应一个简单的上下文,这可能会限制模型学习表征(工程中增大Batch Size来缓解)。团队提出通过跨数据集的联合采样,使用采样编码(Sampling Embeddings) 标记同一个数据集的配对数据,再层次化地在多数据之间构建多模态上下文。

通过这种方式,团队成功地结合了现有的多种跨模态数据集,通过构建更通用和复杂的多模态上下文(见上述公式)来预训练模型,从而实现更好的泛化学习能力、更完善的模态扩展性和数据扩展性来超越现有的预训练方法。

实验结果

10种单模态感知基准: 7项SOTA

25种跨模态检索、问答、描述基准: 20项SOTA

18种多模态大模型问答基准:10项SOTA

结论‍‍‍

在本文中,团队提出了一个新的大规模预训练框架 MiCo,用于训练具有全模态理解能力的基础模型。通过大规模的实验,团队得出结论,全模态学习的关键是模拟人脑的多模态认知过程。在 MiCo中,团队使用RGB图像、深度和法线图来模拟人类视觉认知的基本视觉感知能力、距离空间感知和几何感知。

此外,文字描述、音频和视频提供先验知识、听觉感知,时空感知能力,有效地提升了模型的对于多模态信息的理解能力,在未来的工作中,团队计划通过结合其他更多模态来继续增强全模态联合预训练,包括光流、IMU 数据和事件文件等。

团队相信MiCo中多模态上下文预训练算法是人工智能模拟人脑多模态认知的重要尝试,团队期待它能够启发未来的工作,开发更强大的全模态基础模型。

项目网站:https://invictus717.github.io/MiCo/ 开源代码:https://github.com/invictus717/MiCo Hugging Face模型:https://huggingface.co/Yiyuan/MiCo-ViT-g-14-omnimodal-300k-b64K

本文参与 腾讯云自媒体同步曝光计划,分享自微信公众号。
原始发表:2024-06-16,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 量子位 微信公众号,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
暂无评论
推荐阅读
编辑精选文章
换一批
区块链+旅游业
随着全球经济的持续发展,旅游业展现出强大生命力。据WTTC与牛津经济研究院统计,2017年旅游业增长3.8%,创造价值高达7.9万亿美元。旅游行业的迅速发展催生了在线旅游平台(OTA)的兴起,这种提供市场渠道、旅行产品、周边服务等一体服务的平台迅速吸引了大量用户,旅游市场被OTA所垄断。OTA的运营成本不可避免的转换为用户高昂的出行费用。
广州闪链科技
2018/10/19
1.3K0
区块链+旅游业
区块链旅游,让旅游回归到旅游的本质
我所认同的旅行的意义,就是离开自以为是的生活,走进还未泛滥的他乡。古有走遍大江南北的文人志士,今有在辞职信上写上“世界那么大我要去看看”的潇洒身影,旅游其实间接的给了我们一个逃离的出口,而如今的旅游市场似乎在慢慢搅乱这一切,所以我们转身投入了区块链旅游的怀抱。
区块链先锋
2018/08/08
3.1K0
区块链旅游,让旅游回归到旅游的本质
南京推进旅游新方式,区块链旅游大势已成
在产业融合的大背景下,工业旅游作为一种全新业态,成为“旅游+”的重要增长点。7月24日,南京启动工业旅游管理人员培训,来自全市各区旅游部门分管领导及相关工业旅游企业共40余人参加培训。目前南京有包括高淳陶瓷工业旅游区(点)、海尔曼斯工业旅游区(点)、南京金箔工业旅游区(点)、南京卷烟厂工业旅游区(点)、云锦博物馆等在内的一批全国工业旅游示范点。
区块链先锋
2018/07/30
6.9K0
南京推进旅游新方式,区块链旅游大势已成
token定义在区块链旅游中担任何种角色?
对于旅游业的发展来说,区块链技术同样没有缺席。Token,常见于区块链旅游的文章中。Token是什么?有人翻译成通证,有人翻译成代币,中国人民大学教授杨东,称其为“共票”。然而,放在区块链旅游平台中,Token更多地是指“积分”。例如,乐鸥在线文旅这一区块链旅游平台,自构建之初,就在其旅游生态圈中搭建起了Token系统,作为区块链旅游平台流通与循环使用的工具。
区块链先锋
2018/08/23
2.2K0
token定义在区块链旅游中担任何种角色?
“数字丝绸之路”能否给区块链旅游带来新的发展?
6月1日,据Cryptovest消息,迪拜提出基于区块链技术的数字丝绸之路倡议,旨在解决全球贸易体系的关键问题和挑战。而在5月26日,区块链+文旅
陌上花开2018
2018/06/02
1.1K1
“数字丝绸之路”能否给区块链旅游带来新的发展?
旅游行业真的需要区块链技术的加持吗?
尽管“区块链+”不断涌现,但“区块链+”并不是所有行业都通用,更多的则是借区块链热度的伪应用,缺乏可行性。“区块链+旅游”也曾一度受到质疑,那么,旅游行业是否需要区块链这一技术加持?
陌上花开2018
2018/05/26
1K1
旅游行业真的需要区块链技术的加持吗?
贸易战成加速区块链旅游发展的重要导火索
区块链旅游问世以来,就其影响力、功能效用方面饱受争议,而“颠覆传统旅游业”在如今看来只是说笑,那么区块链旅游在旅游业的突破口到底在哪?
区块链先锋
2018/07/31
6K0
贸易战成加速区块链旅游发展的重要导火索
区块链技术为旅游业保驾护航,扼杀“大数据杀熟”现象
随着“大数据时代”的到来,其中的弊端也日益显现,“大数据杀熟”现象就是其中最为突出的问题。这一现象在旅游业的表现也非常突出,严重损害了旅客的利益。但是“哪里有压迫,哪里就有反抗”,随着问题的逐渐深入,区块链技术破竹而出,为“大数据杀熟”问题提供了一套完美的解决方案,同时也为旅游业带来一个更加广阔的发展前景。
陌上花开2018
2018/05/31
5411
区块链技术为旅游业保驾护航,扼杀“大数据杀熟”现象
旅游行业难辨真假的信息无处不在,看区块链旅游如何变革。
如今,像区块链这样的新技术正在开始为世界带来类似的变革。在旅游行业方面,区块链旅游正在使旅游进行着潜移默化地改变,而区块链旅游的这种改变很可能就像多年前的互联网旅游一样具有破坏性。目前已经有不少公司在旅游行业的不同领域开发各自的区块链旅游产品,寻求区块链技术在这个领域的解决方案。
区块链先锋
2018/08/22
5590
旅游行业难辨真假的信息无处不在,看区块链旅游如何变革。
旅游会是区块链下一个无法到达的地方吗?
互联网在逐步发展过程愈发暴露出所存在的“封闭”和不足,从而加固了时代对区块链崛起的信心和希望。而区块链落地到各行各业成为历史大趋势,区块链旅游成为了下一个在众目睽睽之下成长的领域。
区块链先锋
2018/08/14
2.3K0
旅游会是区块链下一个无法到达的地方吗?
旅游行业可以与区块链一起繁荣
对于区块链旅游行业而言,2018年是非常活跃的一年,许多创业公司纷纷涌现投身于这一行业,展示了这一颠覆性技术在旅游行业的实际用途。目前,区块链技术已应用到旅游行业的四个场景中。
陌上花开2018
2018/05/29
9531
旅游行业可以与区块链一起繁荣
旅游行业的“羽毛”,区块链旅游如何守护?
在区块链旅游口号喊出来的这段时间内,我一直很好奇当下的旅游乱象已经发展到了什么程度,闲暇之余打开了知乎,在回答云南旅游乱象的相关问题底下,看到了以下几位网友的独特见解:
区块链先锋
2018/08/07
2.6K0
旅游行业的“羽毛”,区块链旅游如何守护?
区块链与工业4.0颠覆旅游行业,需面临的挑战
工业4.0是由德国政府《德国2020高技术战略》所提出的十大未来项目之一。而区块链则是工业4.0的重要组成部分。两者应用于旅游行业,诞生了“区块链旅游”这一旅游新模式。“诞生”虽易,但新模式的延续及发展,并非轻而易举,区块链与工业4.0颠覆旅游行业,需面临巨大的挑战。
陌上花开2018
2018/05/28
9391
区块链与工业4.0颠覆旅游行业,需面临的挑战
魏小安:现在是旅游服务质量最好的时期,和区块链助力息息相关
中国旅游从最早的外事接待逐渐上升为第三产业的支柱性产业,在市场整体架构、旅游服务质量、游客素质等方面都将在全方位的提升。但是近些年发展速度迅猛,无不和迅速崛起的区块链息息相关。区块链旅游布局已然逐步成熟,又会以怎样的新姿态去迎接新时代旅游呢?
区块链先锋
2018/08/15
1.4K0
魏小安:现在是旅游服务质量最好的时期,和区块链助力息息相关
区块链:旅游违法不仅仅是罚款那么简单
日前,文化和旅游部监管司相关负责人表示,“我们希望媒体通过各种形式,加强对旅游领域失信当事人联合惩戒的宣传力度,在社会上形成广泛震慑,共同推动旅游行业诚信体系建设。”在2018年的中国旅游科学年会上,文化和旅游部副部长李金早透露,在未来的旅游市场监管方面,我们要以更大的决心去推动旅游违法行为入刑,触犯刑法的则严格按照刑事法律程序办理,而不只是罚款了之。
区块链先锋
2018/08/03
5.8K0
区块链:旅游违法不仅仅是罚款那么简单
中国银行利用区块链助力西藏脱贫,旅游扶贫进入正题
区块链的运用不仅局限于商业层面,在造福民生方面也开始崭露头角。“利用区块链技术助力偏远地区脱贫攻坚”这样的想法逐步落到实地,这与早期区块链旅游扶贫的提议如出一辙,并给区块链旅游扶贫的实践提供了借鉴。
陌上花开2018
2018/05/25
1.3K0
中国银行利用区块链助力西藏脱贫,旅游扶贫进入正题
CTC文旅链全球路演引发的冷思考:区块链旅游时代真的已经到来?
区块链自问世就颇受关注,区块链技术也已经在各行各业蓄势待发,以区块链旅游为主导的文化旅游产业更是因为文旅链,被赋予“颠覆”时代的光环,掀起国内旅游市场的热潮。
区块链先锋
2018/07/16
9360
CTC文旅链全球路演引发的冷思考:区块链旅游时代真的已经到来?
首个全域智慧旅游平台上线,区块链旅游的“低配版”?
区块链刮起的飓风已然席卷整个旅游业,上到政府、监管机构,下到旅游平台、游客等,无不深受区块链旅游的恩泽。如今,区块链旅游大风也卷起了较多“低配”产品,一步步顺区块链时代发展。那么这些“低配”产品又是如何发挥自身优势以贴近时代与市场需求的呢?
区块链先锋
2018/08/16
3K0
首个全域智慧旅游平台上线,区块链旅游的“低配版”?
乐鸥文旅链全国路演已跨越5大省市,下一站会去你的家乡吗?
2018年下半年,乐鸥在线文旅为搭建乐鸥生态圈,将区块链旅游普及至大众,开启了“乐鸥文旅链CTC全球路演”活动,融合主题演讲、互动研讨、案例分享等多种形式,为全球区块链创业投资者,旅游业界人士以及普通公众带来一场场“大师智慧+实践干货”的区块链旅游盛宴。
区块链先锋
2018/07/14
6640
乐鸥文旅链全国路演已跨越5大省市,下一站会去你的家乡吗?
从“观光式旅游”到“体验式旅游”,区块链功不可没
在经济水平不断提高态势下,区块链旅游时代逐步到来,民众对旅游品质的追求渐进提高,国际旅游人数逐年攀升。尤其是在乐鸥在线文旅等区块链旅游平台逐步建立起去中心化的旅游机制系统后,旅游优质服务体验已经成为衡量旅游质量的标准。旅游行业逐步从“传统观光式”到现今的“体验式”,区块链技术起到了极大的助力作用。
区块链先锋
2018/08/18
1.4K0
从“观光式旅游”到“体验式旅游”,区块链功不可没
推荐阅读
相关推荐
区块链+旅游业
更多 >
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档