腾讯云开发者社区-腾讯云

开发者社区

文档建议反馈控制台

文章/答案/技术大牛

发布

综合排序丨最热优先丨最新优先

金融AI多模态伪造防御：腾讯端到端鉴伪体系实践与效果

直面金融AI原生时代多模态伪造安全挑战金融行业AI技术已从效率工具升级为重构产品设计、风险管理、客户服务的核心驱动力（用例圆大小代表当下投资度）。多模态伪造已渗透金融全业务链路（前端开户至核心交易），攻击呈现三大特征：高技术性：生成式AI（扩散模型、深度伪造）实现像素级至语义级伪造，技术门槛降低；高隐蔽性：伪造特征藏于数据分布，对抗样本技术规避传统规则检测 undefined现有防御体系存系统性困境：事前感知预见困境：新型威胁情报缺失，缺乏多模态组合攻击（如深度伪造人脸+AI合成语音）推演能力；事中检测响应困境：检测覆盖率、实时研判（多模态跨渠道 undefined数据来源：腾讯CSIG云与智慧产业事业群2025.12.21分享，分享人：尚朋帅腾讯金融云，CSIG云与智慧产业事业群构建端到端多模态鉴伪防御体系腾讯提供生成式AI多模态内容安全防御体系平衡体验与安全；事中多模态交叉鉴伪（文本+音视频）精准识别深伪；事后周均2次模型迭代持续优化；远程信贷审核：应用AIGC鉴伪（视频换脸、语音合成）、内容智能质检（黄恐政合规）、多模态交叉校验（融合视频内容及音频语义

IT资讯研究所

2026-04-02

4770

标签:

EMNLP 2021-多模态Transformer真的多模态了吗？论多模态Transformer对跨模态的影响

Motivation 视觉语言BERT模型扩展了BERT架构，以生成多模态输入的跨模态上下文表示。当对一系列下游任务进行微调时，这些模型已被证明是非常有效的。如果测试过程中，去除某个模态的信息，对最终结果影响很大，那这个模态在最终预测的时候就是有用的；否则这个模态就是没用的。多模态模型在预测时使用由多模态输入触发的跨模态激活。这是原始的多模态设置，因此，有效使用多模态信息的模型应该表现最好。 Object：在这里，作者只删除与对齐的文本短语相对应的图像区域，该模型仍然可以使用周围的视觉上下文特征。测试的模型显示了vision-for-language，而不是language-for-vision的结果，这一事实可能是多模态任务的积累，因为一些下游多模态任务需要强烈的 vision-for-language ▊ 作者简介研究领域：FightingCV公众号运营者，研究方向为多模态内容理解，专注于解决视觉模态和语言模态相结合的任务，促进Vision-Language模型的实地应用。

2021-09-28

2.7K0

标签:

腾讯发表多模态综述，什么是多模态大模型

多模态大语言模型（MLLM）是近年来兴起的一个新的研究热点，它利用强大的大语言模型作为大脑来执行多模态任务。在本文中，追踪多模态大模型最新热点，讨论多模态关键技术以及现有在情绪识别上的应用。，并且提供了现有主流的 26 个多模态大模型的简介，总结了提升多模态大模型性能的关键方法，多模态大模型脱胎于大模型的发展，传统的多模态模型面临着巨大的计算开销，而 LLMs 在大量训练后掌握了关于世界的多模态大模型的整体架构可以被归类为如下图的五个部分，整个多模态大模型的训练可以被分为多模态理解与多模态生成两个步骤。多模态理解包含多模态编码器，输入投影与大模型主干三个部分，而多模态生成则包含输出投影与多模态生成器两个部分，通常而言，在训练过程中，多模态的编码器、生成器与大模型的参数一般都固定不变，不用于训练，主要优化的重点将落在输入投影与输出投影之中

存内计算开发者

2024-05-14

6.4K0

标签:

腾讯云智能体开发平台

agent多模态学习

二、多模态 Agent 的整体架构一个完整的多模态 Agent 系统通常包含以下层次，其数据流如下：用户多模态输入 → 多模态感知层 → 意图理解与规划层 → Agent 协作层 → 工具/环境交互层 → 反馈与优化层 → 多模态输出 2.1 多模态感知层 (Multimodal Perception Layer) 作为系统的“感官”，负责将原始的多模态输入转换为结构化的特征向量。四、多模态意图理解与任务规划 4.1 多模态意图识别多模态意图识别旨在从用户的文本、图像、语音等多种输入中，准确判断其核心需求。多模态分类模型：训练一个分类器，输入为多模态特征，输出为意图标签。 LLM 直接判断：利用 GPT-4V 等具备视觉能力的模型，直接分析多模态输入并输出意图。七、多模态内容生成 7.1 文本生成基于融合后的多模态上下文，LLM 可以生成更精准、丰富的文本回复。

2026-01-15

1.3K0

标签:

多模态算法综述

在UCF101数据集上达到了87%的准确率图片（2）Beyond Short Snippets: Deep Networks for Video Classification，尝试了多种多帧帧见融合策略如自注意力至此视频理解算法演进到了Transformer的自监督网络架构，Transformer有两个优势，（1）更强的网络表征能力，（2）更容易设计自监督的训练任务，从而可以更有效的利用无标注数据，同时也更加注重多模态的内容理解 Vision-language Understanding with Contrastive Learning图片ALBEF包含一个图像编码器（ViT-B/16），一个文本编码器（BERT的前6层），以及一个多模态编码器、多模态预训练方面提供大量的帮助，也给后来的文章提供了崭新的思路BLIP（Bootstrapping Language-Image Pre-training for Unified Vision-Language BLIP采用了判断-生成任务的MED，可以作为单模态编码器，基于图像的文本编码器解码器采用了CapFilt的训练方法，降低噪声图文pair对训练造成的影响图片Mult-streamMult-stream

2022-07-12

3.3K0

标签:

多模态COGMEN详解

在本文中，我们提出了基于 COntex- tualized Graph Neural Network的多模态情感识别COGMEN）系统，该系统利用了本地信息（即说话人之间的内/外依赖性）和全局信息（上下文 “iemocap_4” --modalities=“atv” 部署方式下载我训练好模型，以及数据集，附件里有data，modelcheckpoint文件夹，分别替换代码中的文件夹即可，我对每个单独的模态都有训练

2024-12-05

4380

标签:

【多模态大模型】

多模态大模型的核心能力多模态大模型通过融合视觉、听觉、文本等多维度数据实现综合理解与生成。典型应用包括：图像到文本：识别图片内容并生成描述、广告文案或诗歌。跨模态检索：根据文本搜索相关图像/视频，或反之。代表模型如GPT-4V（视觉增强版）、通义千问多模态版、文心一言（ERNIE-ViLG）均支持此类任务。多模态对齐：模型将图像特征与文本语义空间对齐，生成候选描述。输出优化：通过强化学习调整生成文本的流畅性与吸引力。模型训练与优化要点数据准备：需对齐的多模态数据集（如COCO-Captions、AudioSet）。多模态大模型的应用需结合具体场景调整输入预处理与后处理逻辑，以达到最佳效果。

贺公子之数据科学与艺术

2026-01-20

6830

标签:

多模态认知计算

进而，根据机器对多模态信息的认知模式，从多模态关联，跨模态生成和多模态协同这三个方面对现有方法进行了梳理与总结，系统地分析了其中的关键问题与解决方案。作为多模态认知计算的三条主线，多模态关联，跨模态生成和多模态协同是提升机器认知能力的有效途径，已成为国内外科研人员密切关注的研究热点。本文的组织框架如下：第二节，介绍了多模态关联任务的发展现状，分为多模态对齐，多模态感知和多模态检索三个部分，并进行分析与讨论；第三节，介绍了跨模态生成任务中的跨模态合成和跨模态转换方法，并进行分析与讨论本节从多模态对齐，多模态关联和多模态检索三方面阐述多模态关联相关工作。其中，多模态对齐是一类基础性需求，如图像区域内容和文字词汇的语义对齐，视觉唇部运动与语音声素之间的时间对齐等。人类可以轻松自如地对视，听，嗅，味，触等多模态感知进行归纳融合，并进行联合演绎，以做不同的决策和动作。在多模态认知计算中，多模态协同是指协调两个或者两个以上的模态数据，互相配合完成多模态任务。

一点人工一点智能

2022-12-27

1.1K1

标签:

多模态＋Recorder︱多模态循环网络的图像文本互匹配

为了验证提出的选择式多模态循环神经网络的有效性，我们测试了该模型衍生出的多种网络结构，并在两个公开多模态数据库(Flickr30k和Microsoft COCO)上与当前最好方法进行了对比。所提出的选择式多模态循环网络是一个动态模型，在每一时间步，它利用基于上下文的多模态注意机制选择图像文本中语义上相同的目标和词语，并计算其相似性作为图像文本的局部相似性，然后进行序列化融合得到全局相似性。考虑到草图与自然图像可能存在多视角的特征表达，且不同的视角作用差异较大，我们提出了一种基于视角选择的多视角跨模态匹配算法。我们在两个经典的细粒度草图-图像数据集上进行了大量的实验，结果表明所提出的方法可以有效利用多模态多视角特性并提升检索性能。多模态搜索网络上充斥着来自不同数据源的多模态多媒体数据；因此，亟需能够适应各种模态的信息检索系统，例如，在搜索“Dunkirk”电影时，应返回影评的相关文本数据、包含相关视频片段的视频数据、以及相关音频数据

2019-05-26

3K0

标签:

多模态很简单，搞懂多模态，站在 AI 发展的最前沿

现实世界的信息是多模态的（Multi-Modal），比如：视频 = 图像+声音+文本字幕自动驾驶 = 摄像头+激光雷达+毫米波雷达+GPS医疗AI = X光片+病历文本+基因数据多模态融合（Multi-Modal 今天，我们就来深入拆解多模态融合的奥秘！多模态到底是什么？ “模态” 就是信息的不同形式，比如：举个例子️：你在看一部电影，如果只看画面没声音，体验是不是很割裂？所以，多模态融合就是让AI像人一样，把各种信息整合在一起，提高理解能力！多模态融合有哪些方式？多模态融合一般分三大类：1️⃣ 早期融合（Early Fusion）—— 数据级融合特点：在模型输入阶段，先把所有模态的数据合并成一个大“拼盘”，然后喂给模型。多模态音乐治疗（多感官刺激睡眠疗法），包括声刺激抑制听觉警觉，动态光照重置生物钟，电磁刺激修复脑波节律，芳香分子安抚情绪，它们像精密齿轮般咬合，相辅相成，从不同感官通路“包抄”失眠的症结，让每一个失眠患者重拾安稳睡眠

本草音乐实验室

2025-07-29

1.5K0

标签: