腾讯云开发者社区-腾讯云

开发者社区

文档建议反馈控制台

文章/答案/技术大牛

发布

综合排序丨最热优先丨最新优先

大模型与大模型的幻觉问题

参考大模型中的涌现 OpenAI 科学家：幻觉是大模型与生俱来的特性，而非缺陷大模型「幻觉」，看这一篇就够了｜哈工大华为出品大模型什么是大模型大语言模型（LLM）是基于海量文本数据训练的深度学习模型如何解决大模型的「幻觉」问题？方向一：什么是大模型「幻觉」大模型出现幻觉，简而言之就是“胡说八道”。用文中的话来讲，是指模型生成的内容与现实世界事实或用户输入不一致的现象。 OpenAI 科学家 Andrej Karpathy关于大模型幻觉在 Karpathy 看来：从某种意义上说，大语言模型的全部工作恰恰就是制造幻觉，大模型就是「造梦机」。而且幻觉不是错误，而是 LLM 最大的特点。只有大模型助手存在幻觉问题。方向二：造成大模型「幻觉」的原因那么致使大模型产生幻觉的原因都有哪些？方向三：大模型幻觉的检测基准方向四：大模型幻觉解决该问题的方法论文链接：https://arxiv.org/abs/2311.05232

IT从业者张某某

2024-01-04

2K0

标签:

大模型幻觉（LLM Hallucination）若干记录

主要参考：大模型的幻觉问题调研: LLM Hallucination Survey 1 幻觉定义当模型生成的文本不遵循原文（Faithfulness）或者不符合事实（Factualness），我们就可以认为模型出现了幻觉的问题进行回复；第三步则是通过对比第一步的answers和第二步的answers，计算匹配指标，衡量模型的幻觉问题；基于NLI：基于NLI的方法通过NLI模型评估是否Source Information可以蕴含基于Factualness Classification Metric：标注/构造一批和幻觉/事实有关的数据，训练检测模型，利用该模型评估新生成文本的幻觉/事实问题。现有工作将减轻幻觉的指标作为强化学习的reward函数，从而减轻幻觉现象。多任务学习: 通过设计合适的额外任务，可以达到减轻幻觉的效果。后处理：设计一个小模型专门用于fix幻觉错误。有两个重要的组成部分，预训练大模型和领域知识库。

2023-07-25

1.4K0

标签:

AI 讲解大语言模型幻觉原因

大模型幻觉（AI hallucination）是指AI模型生成与事实不符或虚构的信息。这种现象的原因可以归结为以下几个方面：训练数据的局限性：大模型依赖于大量的数据进行训练。如果训练数据中包含不准确或虚假的信息，模型可能会在生成内容时反映这些错误。语言生成机制的特性：生成模型如GPT系列通过预测下一个词来生成句子。缺乏事实验证：大模型并没有内置的事实验证机制，它们无法像人类一样即时查证某些信息的真实性。开放域生成的挑战：在开放域对话中，模型需要在没有明确限定主题的情况下生成回答。模型的设计：生成模型的设计并未专注于事实准确性，而是专注于语言的流畅性和连贯性。因此，模型有时会优先生成看似连贯的回答，而不是基于事实的回答。通过改进训练数据质量、引入事实验证机制、以及优化模型的生成策略，可以在一定程度上减少大模型幻觉的发生。

2024-05-25

9880

标签:

大型语言模型的幻觉研究｜减轻及避免大模型LLM幻觉（二）

01 — 上一篇《人工智能海洋中的塞壬之歌：大型语言模型LLM中的幻觉研究综述（一）》讲了大模型人工智能的幻觉类别，产生的缘由以及评测标准，这篇继续介绍目前对缓解及避免幻觉所做的研究和努力。在强化学习中，大模型LLM会与环境进行交互，以学习一种策略，该策略帮助大模型在特定任务中获得最大的累积奖励。大模型在学习过程中不断尝试不同的行动，并根据环境的反馈来调整它的策略。提问时，先将问题向量化，然后通过向量计算，将和问题相近的知识片段提取出来，然后将知识和问题都传给大模型，最后由大模型输出回答。）‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍ ://arxiv.org/abs/2309.01219 阅读推荐：人工智能海洋中的塞壬之歌：大型语言模型LLM中的幻觉研究综述（一）百模大战的赢家最终会是开源模型 | 近匠你好，我是百川大模型被催眠后的ChatGPT可能会泄露重要信息-大模型的隐藏风险 8.23 中国大模型「顶流群聊」笔记中文大模型 Chinese-LLaMA-Alpaca-2 开源且可以商用 OpenAI放开ChatGPT

2024-07-19

2.4K0

标签:

幻觉降低30%！首个多模态大模型幻觉修正工作Woodpecker

论文地址: https://arxiv.org/pdf/2310.16045.pdf 项目地址: https://github.com/BradyFU/Woodpecker 介绍视觉幻觉是常见于多模态大语言模型 Woodpecker可以修正各种场景下模型输出的幻觉，并输出检测框作为引证，表明相应的目标确实存在。例如，面对描述任务，Woodpecker可以修正其中带有幻觉的部分。我们可以Prompt大语言模型来提取出这些关键概念，这些关键概念是后续步骤进行的基础；问题构造：围绕着前一步提取出的关键概念，Prompt大语言模型来提出一些有助于检验图片描述真伪的问题，如“图中有几辆自行车这些视觉断言可以看做与原有MLLM的回答以及输入图片相关的视觉知识库；幻觉修正：基于前面得到的，使用大语言模型对MLLM的文本输出进行逐一修正，并提供目标对应的检测框信息作为视觉检验的参照。 LLaVA的颜色得分从78.33分大幅提升到155分！经过Woodpecker修正后，四个基线模型在四个测试子集上的总分均超过500分，在总体感知能力上获得了显著提升。

2023-11-01

9980

标签:

AI 通俗讲解大语言模型幻觉

大模型幻觉，听起来就像是从未来科技中走出的术语，其实它是人工智能领域中一个非常有趣的现象。这就有点像所谓的“大模型幻觉”。更具体地说，当我们提到大模型（如GPT系列），其实是指一种基于大量数据训练出来的人工智能模型，这些模型能够处理语言、图像等多种类型的任务。但是，就像那个善于编故事的朋友一样，大模型有时也会“幻觉”，即它们可能会生成一些听起来很合理，但实际上完全是虚构的信息。这种现象通常发生在模型对某个问题的答案不确定时，它会根据自己的“经验”（也就是训练数据）来“猜测”一个答案。为什么会产生大模型幻觉？应对大模型幻觉的方法增加模型的透明度：通过理解模型的工作原理和限制，用户可以更加警惕可能出现的幻觉。持续改进和训练模型：通过不断地训练和改进，增加模型处理信息的准确性和可靠性。

2024-05-24

5730

标签:

大语言模型LLM中的幻觉

同时，LLM也面临着一些挑战，如模型的可解释性、安全性和隐私问题等。幻觉由ChatGPT带来的大模型时代，国内外各大厂家都在陆续推出自己的大模型，然而目前大模型都存在一个普遍的现象就是：幻觉。事实幻觉事实不一致，当问AI：如何解决大模型的幻觉问题，话题是：幻觉可以说早就已经是LLM老生常谈的问题了，那为什么会产生这个现象该如何解决这个问题呢？附：解决大模型对话中的幻觉问题，可以考虑以下几个方面：数据增强：通过在输入数据中添加噪声或随机性，增加模型的泛化能力，减少幻觉问题。通过微调，可以减少大模型对特定领域的泛化能力不足的问题，从而减少幻觉的产生。引入注意力机制：注意力机制能够使模型更加关注重要的信息，减少对无关信息的关注，从而减少幻觉的产生。验证和测试：在应用大模型进行对话生成之前，需要对其进行充分的验证和测试，以确保其在实际应用中能够满足用户需求，避免幻觉问题的出现。

2024-01-02

5740

标签:

老婆问我：“什么是大模型的“幻觉”？”

最近，老婆刷到一条新闻：“大模型竟编造不存在的历史事件！”她一脸懵地问我：AI 也会像人一样出现幻觉？难道它偷喝了假酒吗？我….. ：大模型幻觉不是喝醉，而是一种“脑补失控”——当它遇到知识盲区时，不会老实说“不知道”，反而像小说家般即兴创作。幻觉的本质我们可以把大模型幻觉理解成AI版的“皇帝的新衣”——它用华丽的语言编织根本不存在的逻辑。核心不是欺骗，而是过度拟合了“必须回答”的指令。幻觉的秘诀大模型产生幻觉时，会动用三大伪装技巧：1. 细节轰炸：用具体数字和术语增加可信度。幻觉的核心价值幻觉虽然危险，却意外暴露出大模型的深层能力：用想象力填补现实空白。这种能力若被合理引导，可能带来惊喜：作家用可控幻觉生成奇幻小说设定：“如果恐龙没有灭绝，它们会建立怎样的文明？”

2025-03-31

4430

标签:

腾讯技术创作特训营S12#AI进化论

大模型 “幻觉” 之谜：本质、成因与防御

然而，这些模型常常会“一本正经地胡说八道”——生成看似合理实则错误甚至荒谬的内容，这种现象被称为模型幻觉。幻觉问题严重制约了大模型在医疗、金融、法律等高风险领域的落地应用。 1 幻觉的本质：事实性与忠实性的双重失配学术界将大模型幻觉划分为两大经典类别 [2]：事实性幻觉（Factuality Hallucination）：生成内容与客观事实不符。 1.1 事实性幻觉的数学形式真实世界的事实分布为P*(y∣x)，大模型学习到的分布为Pθ(y∣x)，。 5 结论与展望大模型幻觉是概率生成本质、训练数据缺陷、模型架构限制共同造成的必然现象。未来随着模型可解释性技术、事实性奖励模型不断成熟，有望在训练阶段从根源降低幻觉倾向。理解幻觉背后的数学与原理，是搭建可靠大模型应用的基础。

2026-06-11

3080

标签:

从R1幻觉谈起，大模型幻觉是缺陷还是创意火花？

最近，大模型的“幻觉”问题引发了热议，尤其是DeepSeek-R1，它的幻觉率似乎比自己的基座大模型DeepSeek-V3高不少。今天我们请到了资深AI研究员立委博士，来跟大家聊聊这个话题。主持人：老李，咱们先来个灵魂拷问：为啥大模型会“产生幻觉”？能不能用大白话给大家解释一下？立委：这可算是大模型的经典问题。主持人：人对于逻辑看起来清晰自洽、且详细的内容，就会倾向于相信，所以大模型幻觉潜在的危害真地很大。那咱们普通人，面对大模型的幻觉，该咋办呢？大模型的幻觉属于此类。大模型的知识学习过程（训练阶段），是一种信息压缩过程；大模型回答问题，就是一个信息解码过程（推理阶段）。好比升维了又降维。大模型也是如此，大模型是天生的艺术家，不是死记硬背的数据库。“张冠李戴”、“指鹿为马”等在大模型的幻觉里非常自然，因为张和李是相似的，马和鹿也在同一条延长线上。

2025-02-10

6360

标签: