AI

每天吃透一个 AI 知识点 —— 大模型幻觉

转载:小红书 AI产品赵哥

一、什么是 “幻觉”?AI 在做梦吗?🔖


首先,我们要明确一点:AI 的 “幻觉” 和人类的精神疾病 “幻觉” 完全不是一回事。AI 没有意识,它不会真的 “看见” 或 “听见” 不存在的东西。

在 AI 领域,“幻觉” 是一个非常形象的术语,用来描述大语言模型输出了看似合理,但实际上是虚假的、不准确的、或与事实不符的信息的现象。

  • 举几个真实又经典的 “幻觉” 栗子:
    • 法律界的 “翻车”:去年美国有个真实的案例,一位律师让 ChatGPT 帮他查找相关法律判例。AI 洋洋洒洒给他列了 6 个案例,引经据典,看起来非常专业。结果律师直接提交给法庭后,被对方律师和法官发现 —— 这 6 个案例全都是 AI 凭空捏造的!案件编号、法官名字、判决细节…… 全都是假的!
    • 历史发明家:你问它 “鲁迅为什么要打周树人?” 它可能会煞有介事地分析一番 “鲁迅” 和 “周树人” 这两个不同人物的思想冲突。(但我们都知道他俩是同一个人!)
    • 学术界的 “幽灵引用”:一位研究员让 AI 帮他写论文综述,AI 引用了一篇看起来非常相关的论文,作者、期刊、年份都写得清清楚楚。研究员花了好几个小时去各大数据库检索,结果发现,这个作者是真的,这个期刊也是真的,但这位作者从未在该期刊上发表过这篇文章。AI 将真实的碎片信息进行了一次 “梦幻重组”。
    • 事实 “硬编”:你问 Google Bard(现在的 Gemini)“第一位登上月球的女性是谁?” 它在早期版本中可能会自信地告诉你一个名字和她的 “事迹”,而实际上,至今还没有女性登上过月球。

划重点:AI 幻觉,本质上是模型在无法找到确切答案,或者在知识边界之外时,为了 “完成任务” 而进行的 “创造性” 或 “概率性” 的编造。它不是 bug,而是当前大模型技术范式下一种几乎无法避免的副产品。

  

二、灵魂拷问 ——AI 为什么会产生幻觉?🔖


要理解幻觉的成因,我们必须回到大模型的 “第一性原理”:它不是一个 “真理数据库”,而是一个 “文本概率生成器”。这背后是数据、算法、目标函数共同作用的复杂结果。

想象一个超级聪明的学生,他读完了全世界的图书,但记忆方式很特别,不是靠理解,而是靠记住无数个 “词语接龙” 的模式。老师提问时,他的目标不是给出 “正确” 答案,而是给出 “最像正确答案” 的那个句子。

幻觉,就源于这个 “努力猜对” 的过程中。主要有以下几大原因:

🔹1. 训练数据的 “原罪”

  • 知识过时:这很好理解。一个在 2022 年停止学习的模型,无法对 2024 年的世界发表任何 “事实性” 言论。它所有关于 2024 年的回答,本质上都是基于 2022 年及以前的数据进行的 “推断” 和 “演绎”,是幻觉的高发区。
  • 数据有毒:互联网是一个巨大的信息熔炉,里面不仅有维基百科,还有贴吧谣言、营销号文章、网络小说和充满偏见的论坛帖子。模型在 “阅读” 这一切时,是无法进行事实核查的。它会把 “地球是平的” 这种阴谋论和 “地球是圆的” 科学事实以同样的权重学进去。当生成内容时,它可能会随机 “捡起” 并复述它学到的错误信息。
  • 知识稀疏:对于一些非常冷门或专业的话题,网上相关资料很少。模型对这些领域的 “知识神经元” 连接很弱,当被问及时,它会尝试从其他相关的、更熟悉的知识领域 “借用” 模式来填补空白,结果自然就是 “张冠李戴”。
  • 知识的相互矛盾:联网上对于同一个事件,往往存在多种不同甚至完全相反的说法。模型把这些矛盾的说法都学了进去,它的 “知识网络” 中就埋下了冲突的种子。在生成答案时,它可能会随机选择一个版本,或者更糟,把几个矛盾的版本缝合在一起,形成一个逻辑不通的 “怪物”。

  

🔹2. 模型结构的 “天生缺陷”

  • 概率而非事实:这一点必须反复强调!LLM 的本质是一个自回归语言模型,它的唯一任务,就是在给定一串文本后,预测下一个最有可能出现的词(Token)。它追求的是语言上的流畅性和统计上的可能性,而不是事实上的准确性。
    • 举个例子:当生成 “第一个登上月球的人是尼尔・…” 时,在其庞大的语料库中,“阿姆斯特朗” 这个词跟随其后的概率是 99.99%,所以它答对了。但当生成 “发明了灯泡的著名法国科学家是…” 时,虽然 “爱迪生” 是美国人,但 “爱迪生” 和 “发明灯泡” 这两个概念在语料库中被强绑定了。模型可能会优先选择 “爱迪生”,而不是给出一个更准确但概率较低的答案(比如法国并没有公认的发明灯泡的科学家),或者直接说 “我不知道”。它为了完成这个句子,选择了最 “顺口” 的答案。
  • 知识的 “压缩与失真”:你可以把训练过程想象成,把整个互联网的知识 “压缩” 进一个几百 GB 大小的文件里。这个压缩是有损的!就像一张图片被反复压缩后会变得模糊、出现噪点一样,模型的知识在编码和解码的过程中,细节会丢失,关系会错乱,从而在 “解压” 生成答案时产生错误。

  

🔹3.推理过程的 “失误”

  • 逻辑链条过长而断裂:在进行复杂的多步推理时(比如 “A 比 B 大,B 比 C 小,D 比 A 小,请问 C 和 D 谁大?”),模型可能在第一步就犯了一个小错误(产生了一个小幻觉),而接下来的每一步都基于这个错误的结论进行,导致最终结果谬以千里。
  • 指令理解错误:你提出的问题如果模棱两可,或者包含了错误的假设,模型可能会 “顺着你的话说”,从而产生幻觉。比如你问 “介绍一下三国时期的法国大革命”,它可能会真的尝试把这两个不相干的东西联系起来编一段故事。

  

三、幻觉的 “千层套路”—— 常见类型大盘点🔖


幻觉不是单一表现,它有多种形式,了解它们能帮你更好地识别:

  • 无中生有型:这是最高级别的幻觉,纯粹的创造。比如前面提到的假法律案例、假论文引用。它不仅捏造核心事实,还会煞有介事地配上各种 “证据”(如假的 URL、假的 DOI 号、假的书籍 ISBN)。
  • 张冠李戴型:这种幻觉更具欺骗性,因为它所有的 “零件” 都是真的,只是组装错了。比如把 A 公司的 CEO 说成是 B 公司的,把莎士比亚的名言安在鲁迅头上,或者在介绍某个城市时,把另一个城市的著名景点放了进去。
  • 前后矛盾型:在一段长回答中,模型出现了自我否定。比如,在文章开头说 “A 技术是目前最优的选择”,在结尾部分又说 “考虑到成本和兼容性,我们更推荐 B 技术”。这通常发生在模型试图综合多个矛盾的观点时。
  • 指令漂移型:你让它写一篇关于 “苹果” 的介绍,它一开始写得很好,但写着写着,可能因为 “苹果公司” 的关联性更强,就慢慢地开始介绍 iPhone 了,完全忘记了最初的任务。

  

四、如何 “对抗” 幻觉?我们的 “降妖” 法宝🔖


既然幻觉无法根除,我们能做些什么来减轻和规避它呢?这得分两个层面来看:

🔹A. 作为普通用户,我们的 “使用心法”:

  1. 交叉验证:这是最重要的黄金法则!不要 100% 相信 AI 给出的任何事实性信息。把它当作一个能力超强的实习生,它给你的所有材料,你都必须亲自去 Google、维基百科或权威网站核实一遍。
  2. 精准提问
    • 提供上下文:别问 “他怎么样?”,而要问 “根据《史记》,评价一下汉武帝的功过”。
    • 要求引用来源:在你的问题结尾加上一句 “请提供信息来源或参考文献链接”。这会迫使模型去搜索或引用更可靠的信息,即使它编造了来源,也更容易被你识破。
  3. 赋予角色:尝试用 “你是一位严谨的 xx 领域历史学家 / 科学家 / 分析师,请确保你回答的准确性” 作为开头,这在一定程度上能 “唤醒” 模型更严谨的那部分 “人格”。
  4. 思维链:让模型 “一步一步地思考”,把它的推理过程展示出来。这样你就能清晰地看到它在哪一步可能出错了。

  

🔹B. 作为开发者,业界的 “技术武器”:

  1. RAG – 检索增强生成(幻觉的头号克星)
    • 还记得我们上上期讲的 RAG 吗?它就是对抗幻觉的最强武器!
    • RAG 的核心思想是 “不让模型光凭记忆回答,而是给它开卷考试”。通过先从可信的知识库(如公司内部文档、最新的网络数据)中检索出相关信息,再让模型基于这些 “白纸黑字” 的材料来回答问题。这极大地减少了模型 “自由发挥” 的空间,从而有效抑制了幻觉。
  2. 微调(Fine-tuning)
    • 使用高质量、经过事实核查的专业数据集对模型进行微调,可以 “矫正” 它在特定领域的知识,让它在该领域内更 “懂行”,更少说 “外行话”(即幻觉)。
  3. 调整解码参数(Decoding Parameters)
    • 比如温度(Temperature)参数。温度越高,模型创造性越强,但也更容易产生幻觉;温度越低(比如接近 0),模型回答越保守、越确定,幻觉会减少,但回答也会变得呆板。开发者可以根据应用场景进行权衡。
  4. 事实核查与反馈循环
    • 模型校验:可以设计一个 “评审模型”,专门用来评估 “生成模型” 的输出。这个评审模型会检查答案的流畅性、相关性,以及最重要的 —— 事实一致性,即答案是否能被给定的源材料所支持。
    • 集成外部工具:让 Agent 能够调用搜索引擎、计算器、数据库查询等工具。当遇到事实性问题时,模型不是直接回答,而是生成一个 “搜索请求” 或 “代码”,执行后根据返回的真实结果来回答。

  

五、拥抱不完美 —— 我们该如何与 “幻觉” 共存?🔖


聊了这么多,我们应该明白,追求一个 100% 没有幻觉的大模型,在当前技术路线上几乎是不可能的,甚至可能是有害的。

为什么?因为幻觉的背后,恰恰是模型的创造力、联想能力和泛化能力。一个完全不会 “犯错” 的模型,可能也写不出诗歌,讲不出笑话,想不出天马行空的创意。

因此,我们对 AI 幻觉的正确态度,不是 “零容忍”,而是 “管理与驾驭”。

  • 分清场景:在写小说、做头脑风暴时,幻觉可能是 “灵感的火花”;但在写论文、做医疗诊断、处理法律文件时,幻觉就是 “致命的毒药”。
  • 人机协作:把 AI 当作一个不知疲倦、知识渊博但偶尔会犯迷糊的 “副驾驶”。由它来生成草稿、提供思路、处理繁杂信息;由我们人类 —— 作为 “主驾驶”—— 来负责事实核验、价值判断和最终决策。

  

今日总结🔖


大模型幻觉,是 AI 在生成内容时出现的事实性错误。它源于数据缺陷、模型结构和推理失误,是当前技术下的固有现象。

我们可以通过精准提问、交叉验证等方法来规避它,业界则通过 RAG、微调等技术来缓解它。

最重要的是,我们要学会与 AI 的 “不完美” 共存,利用它的强大,警惕它的缺陷,做 AI 的主人,而非其信息的奴隶。

今天的知识点你彻底 get 了吗?你遇到过哪些让你哭笑不得的 AI “幻觉” 瞬间?快来评论区分享一下,让大家一起开开眼界(避避坑)!