腾讯云开发者社区-腾讯云

开发者社区

文档建议反馈控制台

文章/答案/技术大牛

发布

综合排序丨最热优先丨最新优先

【多模态大模型】

多模态大模型的核心能力多模态大模型通过融合视觉、听觉、文本等多维度数据实现综合理解与生成。典型应用包括：图像到文本：识别图片内容并生成描述、广告文案或诗歌。跨模态检索：根据文本搜索相关图像/视频，或反之。代表模型如GPT-4V（视觉增强版）、通义千问多模态版、文心一言（ERNIE-ViLG）均支持此类任务。多模态对齐：模型将图像特征与文本语义空间对齐，生成候选描述。输出优化：通过强化学习调整生成文本的流畅性与吸引力。模型训练与优化要点数据准备：需对齐的多模态数据集（如COCO-Captions、AudioSet）。 API化：通过FastAPI封装模型，提供RESTful接口供业务系统调用。多模态大模型的应用需结合具体场景调整输入预处理与后处理逻辑，以达到最佳效果。

贺公子之数据科学与艺术

2026-01-20

5960

标签:

多模态大模型篇

因为有一大段的词向量，如果我们只是把它们的每个词向量简单的丢入到神经网络中，可能我们什么都得不到。因为对于一个句子来说，我们可能更多关心的是每个词之间的位置关系以及词与词之间的语义关系。因为大模型的参数量很大，要进行稳定的训练是比较困难的。实验结果由上图我们可以看到，模型的损失和Tokens之间的关系为当Tokens的数量不断增大的时候，模型的损失在不断的降低。该实验体现了在训练大模型时，数据量的重要性。贡献和创新 GLM-130B是目前较大的开源双语预训练模型，而GLM-6B也是可以在单个服务器上单张GPU上支持推理的大模型。 2023.3.14，千亿对话模型ChatGLM开始内测，60亿参数ChatGLM-6B模型开源。应用同时开源ChatGLM-6B模型，ChatGLM-6B是一个具有62亿参数的中英双语言模型。

2023-10-16

1.7K0

标签:

腾讯发表多模态综述，什么是多模态大模型

多模态大语言模型（MLLM）是近年来兴起的一个新的研究热点，它利用强大的大语言模型作为大脑来执行多模态任务。在本文中，追踪多模态大模型最新热点，讨论多模态关键技术以及现有在情绪识别上的应用。，并且提供了现有主流的 26 个多模态大模型的简介，总结了提升多模态大模型性能的关键方法，多模态大模型脱胎于大模型的发展，传统的多模态模型面临着巨大的计算开销，而 LLMs 在大量训练后掌握了关于世界的 “先验知识”，因而一种自然的想法就是使用 LLMs 作为多模态大模型的先验知识与认知推动力，来加强多模态模型的性能并且降低其计算开销，从而多模态大模型这一“新领域”应运而生。多模态大模型的整体架构可以被归类为如下图的五个部分，整个多模态大模型的训练可以被分为多模态理解与多模态生成两个步骤。

存内计算开发者

2024-05-14

6.1K0

标签:

腾讯云智能体开发平台

多模态大模型训练营

多模态大模型训练营：将AI技术融入日常生活的思考在参加"多模态大模型训练营"的过程中，我逐渐意识到，作为程序员学习的不仅是技术本身，更是一种全新的思维方式。从技术理解到生活应用多模态大模型的核心在于整合不同类型的信息——文本、图像、声音等，这与我们日常生活中处理信息的方式不谋而合。训练营教会我的不是单纯的编程技巧，而是如何让技术服务于人的真实需求。现在，我学会了像多模态模型那样，先对信息进行分类和优先级排序：重要且紧急的事项如同需要立即处理的输入信号，而长期目标则像模型的训练过程，需要持续投入和调整。我开始将任务视为不同的"模态"，找到它们之间的关联，制定出更高效的处理策略。沟通能力的潜移默化提升多模态模型擅长理解上下文和语义nuance，这启发我改善了自己的沟通方式。多模态大模型训练营给我的不仅是技术知识，更是一套应对复杂现代生活的思维工具。它让我明白，最好的技术是那些能够无缝融入生活、提升生活质量而不过度引人注目的工具。

2025-11-22

2620

标签:

大模型部署

【论文解读】多模态大模型综述

一、简要介绍多模态大语言模型（MLLM）是近年来一个新兴的研究热点，它利用强大的大语言模型（LLM）作为大脑进行多模态研究。相比之下，传统的多模态模型仍然局限于前两个调优范式，缺乏zero-shot能力。因此，最近的许多工作都探索了将LLM中的指令调优的成功扩展到多模态。为了从单模态扩展到多模态，对数据和模型都需要进行相应的自适应。对于这些数据，研究人员通常通过调整现有的基准数据集或通过自指令来获取M-IT数据集。 LaVIN设计了一种混合模态适配器来动态决定多模态嵌入的权重。专家模型除了可学习的接口外，使用专家模型，如图像字幕模型，也是一种可行的弥补模态差距的方法。不同的是，专家模型背后的想法是不经过训练就将多模态输入转换成语言。这样，LLM就可以通过转换后的语言间接地理解多模态性。

合合技术团队

2024-03-12

8K0

标签:

聊聊多模态大模型处理的思考

多模态：文本、音频、视频、图像等多形态的展现形式。目前部门内业务要求领域大模型需要是多模态——支持音频/文本。从个人思考的角度来审视下，审视下多模态大模型的实现方式。首先就要区分输入与输出，即输入的模态与输出的模态。从目前来看，模型的输出大多都是文本，模型的输入一般是图片/文本；但少数的大模型比如QWen、讯飞星火等支持语音的输入。多模态基座模型即原生基座模型，比如GLM、LlaMa2、QWen、文心一言等基座模型支持多模态的输入输出，从个人调研来看，GLM、文心一言对这方面的支持比较弱，仅支持文本/图像；LlaMa2有开源的实现支持文本魔塔社区/HuggingFace上，已经开源了很多高质量的多模态模型，截个图展示下：文本化处理使用开源/商务组件处理输入的内容，将其文本化，再输入到模型中；然后再经历输入部分的流程。总结最终来看，第一个方案肯定是最合适的；但如果对于选型的大模型不支持多模态的情况下，考虑开源实现或是第二张方案，但要综合调研其带来的影响，并不是简单的转文本就行。

2024-03-27

8900

标签:

综述论文 | 多模态视觉大模型

本文系统回顾了多模态LLMs中最新的视觉语言指令调优设置和数据集，并总结了高质量视觉语言调优数据应具备的特征。 Comprehensive Survey on Multimodal Large Language Model https://arxiv.org/pdf/2311.07594.pdf 本综述论文探讨了多模态大型语言模型（MLLMs），它将GPT-4等大型语言模型与文本和视觉等多模态数据进行整合。本研究将MLLMs中现有的模态对齐方法分为四组进行调查：（1）多模态转换器，将数据转换为LLMs可以理解的形式；（2）多模态感知器，改进LLMs感知不同类型数据的能力；（3）工具辅助，将数据转换为一种常见格式这个领域仍处于探索和实验阶段，组织和更新各种现有的多模态信息对齐研究方法。

公众号机器学习与AI生成创作

2023-11-17

8540

标签:

多模态大模型训练营(完结)

多模态大模型常见问题全解析一、基础概念问题1. 什么是多模态大模型？多模态大模型是指能够同时处理和生成多种数据类型（如文本、图像、音频、视频等）的AI模型。与单模态模型的区别特性多模态模型单模态模型输入类型多种数据类型混合单一数据类型参数规模通常更大(十亿级以上)相对较小训练数据跨模态对齐数据集单一模态数据集应用场景跨模态理解与生成特定领域任务二、技术实现问题多模态对齐如何实现？如何评估多模态模型？值得关注的新方向神经符号系统：结合符号推理与神经网络世界模型：构建统一物理场景理解具身智能：多模态+机器人控制多模态法学：跨模态因果推理五、资源工具问题9.

2026-04-27

2950

标签:

大模型部署

多模态大语言模型研究进展！

1 介绍多模态大型语言模型（MM-LLMs）在过去一年取得了显著进步，通过优化模态对齐和与人类意图对齐，增强了现成的单模态基础模型（LLMs）以支持各种MM任务。图2 MM-LLMs的一般模型架构以及每个组件的实现选择。 2.1 模态编码器模态编码器（ME）将来自不同模态的输入IX编码为相应的特征FX。 Q-Former从FX中提取特征作为提示PX，P-Former生成“参考提示”进行对齐约束，MQ-Former进行多尺度信号对齐。但这些方法都需要额外的PT过程初始化。当前作品多采用隐扩散模型（LDMs），如图像合成使用稳定扩散，视频合成使用零目镜，音频合成使用AudioLDM-2。输出投影器将特征HX作为条件输入，用于MM内容生成过程中的噪声消除。 PaLM-E和EmbodiedGPT是该领域的典型工作，前者通过训练MM-LLM引入多身体代理，处理通用VL任务，后者提出经济高效的CoT方法，增强实体代理与现实世界的互动能力。

2024-07-22

1K0

标签:

LLama4 原生多模态大模型

Meta最新发布了原生多模态大模型 Llama 4，一经亮相即登上LMSYS大模型排行榜第二名，仅次于Google的Gemini-2.5-pro，分差仅为22分，实力可见一斑。三个模型共同的技术特色： MoE混合专家架构：仅激活部分参数，大幅提升计算效率。多模态能力：整合文本、图像与视频数据，实现跨模态任务处理。技术细节与训练策略Llama 4采用了先进的早期融合（early fusion）机制，将文本和视觉token统一集成至模型主干架构，实现了真正的多模态统一训练。总结与展望Llama 4的发布，意味着Meta正式进入原生多模态大模型竞争核心领域。相比Gemini系列、GPT-4o、Claude 3、DeepSeek等主流模型，Llama 4以务实高效的技术路线，突出计算成本、推理效率与多模态能力的平衡。

算法一只狗

2025-05-02

9840

标签:

腾讯技术创作特训营S13