腾讯云开发者社区-腾讯云

开发者社区

文档建议反馈控制台

文章/答案/技术大牛

发布

综合排序丨最热优先丨最新优先

老婆问我什么是多模态能力

那天晚上，我躺在沙发上刷手机，老婆突然从厨房探出头来问我："你天天看那些AI新闻，我问你个事儿——什么叫多模态能力？我看好多文章都在说这个词，感觉很厉害的样子。" 我放下手机，想了想该怎么解释。这些不同类型的信息，在AI领域里，就叫做不同的'模态'。" 老婆点点头："这我懂了，那多模态就是……能处理好多种信息呗？" "聪明！你看以前的AI，大部分都是单模态的。 unsetunset为什么多模态这么重要unsetunset 聊了这么多，老婆突然问了一个很关键的问题："我大概明白这些技术是怎么回事了，但为什么大家都在说多模态很重要？ "所以多模态就是让AI更全面。" "对！不只是全面，还有一个更重要的原因——不同模态的信息可以互相补充。" 我想了一个例子："比如你给AI看一张过生日的照片，图片里有个蛋糕，上面有蜡烛。多模态AI就像一个全能侦探，什么线索都能收集，什么线索都能分析，最后拼出完整的真相。"

2026-07-10

190

标签:

超级应用（Super Apps）整合多模态AI能力

多模态AI的整合方向自然语言处理（NLP）集成聊天机器人（如GPT-4）、语音助手等功能，支持用户通过文本或语音完成服务请求。多模态交互融合语音、图像、手势等多通道输入。例如，微信小程序可通过语音搜索+图像上传组合完成外卖点单，提升无障碍体验。实现多模态交互的Python代码示例以下代码使用Python结合NLP和CV技术，模拟一个支持语音、文本和图像输入的多模态交互系统。示例整合了语音识别、自然语言处理、图像识别等功能模块。技术实现路径开放平台与API网关构建统一的AI能力中台，将多模态AI模块（如语音识别、OCR）封装为标准化API，供内部团队和第三方开发者调用。需设计低延迟、高并发的微服务架构。挑战与应对技术瓶颈多模态对齐（如语音与文本语义一致性）需跨模态Transformer模型，计算成本较高。解决方案包括模型蒸馏（如TinyBERT）和边缘计算。

贺公子之数据科学与艺术

2026-01-20

4230

标签:

多模态理解模型的核心能力怎么评估

摘要：多模态理解模型的核心能力评估需要综合考虑技术架构、能力覆盖、工程性能、接入成本等多个维度。本文从实际应用角度，介绍多模态理解模型核心能力的评估方法与关键考量因素。一、技术架构维度评估 1.1 是否原生多模态原生多模态模型在图、文、声统一训练流程中完成融合，能够更好处理跨模态的关联性判断与综合分析任务。评估时，可以了解模型是否采用原生多模态训练范式，还是在推理阶段拼接结果。原生多模态模型通常在跨模态理解任务上表现更好。基于上述选型框架，VITA多模态理解模型在以下维度可作为选型参考： 7.1 技术架构 VITA采用原生多模态大模型技术路线，在统一训练流程中完成图、文、声的多模态融合，提供端到端的多模态理解能力。八、总结多模态理解模型的核心能力评估是一个需要综合考虑技术、业务、成本等多方面因素的过程。

2026-06-22

1500

标签:

ICML 2025 Spotlight | 多模态大模型暴露短板？EMMA基准深度揭秘多模态推理能力

EMMA：深度考量 MLLMs 的多模态推理极限将文本与图像信息有机结合、协同进行推理，是人类智能的一项核心能力。然而，多模态大语言模型是否真正具备这种深层次、非割裂的多模态推理能力，至今仍缺乏系统而深入的研究。 EMMA 不仅仅是一个新的评估数据集，它是一套精心设计的「考题」，旨在全面考察 MLLMs 在以下方面的能力：真正的多模态融合： EMMA 的首要标准是考验模型是否能进行「真」多模态推理。数据集构建：严谨筛选与细粒度剖析 EMMA 的构建过程经过精心设计，旨在确保其能够有效评估深层多模态推理能力。人工验证与质量控制：所有问题，特别是新构建的问题和分类标签，都经过领域专家的严格审查或创建，以确保问题的质量、相关性以及对多模态推理能力的真实考察。

2025-05-21

6440

标签:

GPT-4.5多模态理解与生成能力分析

GPT-4.5作为OpenAI的最新多模态大模型，在视觉、音频和文本的交互理解与生成方面实现了重大突破。本文将深入分析GPT-4.5的多模态能力及其底层技术实现。统一的多模态架构GPT-4.5采用了全新的统一多模态编码-解码架构，打破了传统多模态系统中各模态处理管道相互割裂的局限。多模态融合理解：当提供包含文本、图像和音频的输入时，GPT-4.5能够综合分析所有模态的信息，形成统一的理解。 print(result)局限与未来方向尽管GPT-4.5的多模态能力已经相当强大，但仍存在一些局限：视觉生成能力有限：相比于专用的图像生成模型如DALL-E 3或Midjourney，GPT-4.5的图像生成能力相对基础 GPT-4.5的多模态能力代表了AI朝着真正的通用智能迈出的重要一步，为各行业的创新应用开辟了广阔空间。

2025-03-28

8140

标签:

腾讯技术创作特训营S12#AI进化论

谁是最强多模态模型？评测框架 VLMEvalKit 全方位揭秘多模态能力

为此，OpenCompass 团队开发了 VLMEvalKit，一个全新的开源多模态评测框架，旨在提供可靠、可复现的评测结果，助力社区更准确地比较不同多模态模型在各种任务上的性能。适用范围：目前的 VLMEvalKit 主要适用于图文多模态模型的评测，基于模型能力范围，可以支持单对图文输入或是任意数量的图文交错输入。等模型在内的超过三十个开源多模态模型支持包括 MME, MMBench, SEEDBench, MMMU 等评测集在内的十余个开源多模态评测集基于支持的模型和评测集进行了翔实的评测，结果发布在 OpenCompass 开源多模态模型在推理能力上存在欠缺：在一些需要较强推理能力的测试集上 (如 MMMU，MMVet，MathVista 等)，开源模型（如 InternLM-XComposer）尚与闭源模型存在一定差距。为便于用户对多模态模型的性能进行比较，我们选取了 9 个主流的多模态模型，进行了性能可视化：定性结果为了解目前的多模态模型尚有哪些不足之处，我们选取了在上图九个评测集中，所有多模态模型均无法正确答对的题目进行可视化

OpenMMLab 官方账号

2024-01-19

2.8K0

标签:

多模态LLM视觉推理能力堪忧，浙大领衔用GPT-4合成数据构建多模态基准

浙江大学等提出多模态视觉推理基准。【导读】LLM的数学推理能力缺陷得到了很多研究的关注，但最近浙大、中科院等机构的学者们提出，先进模型在视觉推理方面同样不足。为此他们提出了一种多模态的视觉推理基准，并设计了一种新颖的数据合成方法。无论是语言模型还是视觉模型，似乎都很难完成更抽象层次上的理解和推理任务。如果要将AI系统用在更多专业领域，这些能力缺陷就显得极为突出。最近，浙江大学、中科院软件研究所、上海科技大学等机构就联合提出了一种新的多模态基准，专门衡量模型对抽象图像的理解能力和视觉推理能力。同样也不容易，因为我们需要的是多模态数据，但LLM无法直接生成图像，DALL-E、Stable Diffusion等图像生成模型又无法同步生成文本。结论与限制论文最重要的贡献在于指出了当前多模态LLM在视觉推理方面的次优表现，并构建了合成数据组成的基准测试集，表明合成数据训练是一个有前景的解决方案。

小腾资讯君

2024-08-08

5260

标签:

Claude 3 惊喜上线：多模态能力比肩 GPT-4V

昨晚，Anthropic 突然惊喜上线，时隔八个月携着 Claude 3 走来，让世界再次将目光聚焦到这一个被视为 ChatGPT 强大竞争对手之一的多模态模型。 1 响应速度达即时水准长文本与多模态双拳出击据 Anthropic 官方表示，Claude 3 是针对不同功能的一个模型系列，分别是：Opus、Sonnet 和 Haiku。 Claude 本次更新的一大亮点，在于长文本能力的升级以及对多模态能力的突破。 Anthropic 在推出 Claude 3 时升级了其复杂视觉功能，使其领先于其他模型，多模态能力比肩GPT-4V。最后，在多模态场景下，博主让Claude解读一篇论文的部分内容，其分析逻辑清晰、准确。尽管如此，在信息丰富度方面，Claude的表现略逊于GPT-4，尚有提升空间，特别是在多模态信息整合与呈现的能力上，仍有待进一步加强。

2024-03-06

1K0

标签:

多模态大模型能力测评：Bard 是你需要的吗？

但是学术界发布的模型大多只在部分多模态能力（少数相关数据集）上进行了评估，而且也缺少在真实用户体验上的性能对比。Bard 开放视觉输入之后也没有给出官方的多模态能力报告。在此背景下，我们首先提出了多模态大模型多模态能力的全面评估框架 LVLM-eHub，整合了 6 大类多模态能力，基本涵盖大部分多模态场景，包括了 47 + 个相关数据集。我们整合了 6 大类多模态能力： a. 六大多模态能力结构图多模态大模型竞技场多模态大模型竞技场是一个模型间能力对比的众包式用户评测平台，与上述的在传统数据集上刷点相比，更能真实反映模型的用户体验。 LVLM-eHub 中八大模型在六大多模态能力上的性能图截止目前，我们在多模态大模型竞技场平台收集了 2750 个有效样本（经过过滤），最新的模型分数和排名见下表。

2023-09-08

1K0

标签:

WorkBuddy多模态能力实战：图片、图表、文档一起处理

WorkBuddy支持多模态能力，可以处理图片输入、生成可视化图表、读取PDF等各类文件。本文带你把这些能力全部用起来。一、WorkBuddy多模态能力一览能力输入类型典型用途图片理解PNG/JPG/截图识别表格数据、分析界面截图文件读取PDF/Excel/Word提取文档内容图表生成数字数据自动生成柱状图、折线图HTML 六、多模态使用技巧汇总技巧说明直接拖图图片可拖入对话框，无需上传步骤追问细节读取图片后可继续追问，AI记住图片内容格式转换图片表格→文字表格→Excel→图表，一键完成组合使用先读PDF，再生成可视化报告，一句话完成WorkBuddy多模态的核心价值：把原本要用多个工具才能完成的任务（截图→识别→整理→可视化），压缩成一次对话完成。

2026-05-21

7330

标签: