AI

每天吃透一个 AI 知识点 —— 企业级 AI 应用如何治理幻觉

Posted Cola🌀

转载：小红书 AI产品赵哥

前言 🔖

面试 AI 应用方向候选人时，我常问一个问题：当你的 AI 应用开始产生幻觉，你怎么办？

大多数人的回答都很标准 —— 优化一下 Prompt，或者换个大模型。

再追问一步：如果这些方法都不管用呢？比如一个接入了公司数据库的数据分析助手，它跳过查询步骤，编造了一份看起来很合理的销售数据图表，并得出了错误结论。这种情况下，Prompt 调优是没用的。

能从系统层面回答这个问题的人，其实并不多！

这道题能区分调参熟练工和真正做过生产 AI 应用的。考的不是幻觉这个概念你熟不熟，而是你有没有一套工程化的治理思路 —— 把一个本质上不可靠的大模型，改造成符合企业容错标准的服务。

下面咱来一起聊聊大厂是怎么构建 “三层防御体系” 来做全链路幻觉治理的。

　　

一、企业级 AI 应用的幻觉，为什么仅仅优化 Prompt 和升级模型是不够的？🔖

在深入探讨解决方案之前，我们必须先知道 —— 什么是幻觉（Hallucination）？

简单说，就是 AI 生成了与事实不符、无中生有、或与其已知信息相矛盾的内容，但它自己却坚信不疑，并以一种非常自信的语气呈现出来。

我们来看一个具体的、令人啼笑皆非的例子：

  • 你问公司的智能 HR 助手：“我们公司的年假政策是什么？”
  • AI 自信地回答：“根据公司规定，所有员工每年享有 15 天带薪年假，并且每工作满一年，额外增加 1 天，上限为 20 天。”
  • 你兴高采烈地去跟 HR 确认，结果发现，公司的真实政策是：入职满一年才有 5 天年假，之后每满一年加 1 天，上限是 10 天。AI 给出的，是一个它自己幻想中的版本。

这就是典型的幻觉。对于个人娱乐应用来说，这可能只是个笑话。但在企业级应用中，这种幻觉可能会导致严重的业务损失、法律风险和客户信任危机。

为什么简单的 “优化 Prompt” 和 “换模型” 无法根治这些问题？

  • 优化 Prompt：在 Prompt 里加上一句 “不知道就说不知道”，确实能减少一部分幻觉。但这就像给一个爱幻想的人贴了个便签，提醒他别瞎想。他可能在某些时候会收敛，但在信息不足或面对复杂推理时，他自由发挥的本能还是会冒出来。Prompt 的约束力，有明显的上限。
  • 换更强的模型：确实，更强大的模型（如 GPT-5.3, Claude 4）在事实性方面的表现更好，幻觉率更低。但这只是降低了幻觉发生的概率，并没有从机制上杜绝幻觉。把系统的可靠性，完全寄希望于一个你无法控制的黑盒模型上，这在严肃的工程领域是绝对不可接受的。

所以，资深的 AI 工程师都明白一个道理：治理幻觉，绝不能只盯着模型本身，而必须搭建一套覆盖 “输入 → 执行 → 输出” 全链路的工程防御体系。

　　

二、三层防御体系：全链路压缩模型的幻觉空间 🔖

一个专业的幻觉治理方案，就像建立一套纵深防御体系。它不是单一的城墙，而是由三道防线组成：

  • 第一层防御：输入侧锚定（Input Anchoring）。从源头减少 AI 编造的动机和空间。
  • 第二层防御：执行层校验（Execution Verification）。确保 AI 的每一步行动都有据可查，杜绝暗箱操作。
  • 第三层防御：输出侧兜底（Output Guardrails）。在信息流出前的最后一刻进行拦截和修正。

接下来，我们将用一个案例，来详细拆解这三道防线是如何构建和运作的。

我们的案例主角：一个名为 “数智洞察” 的企业级 AI 数据分析助手。

“数智洞察” 被集成到了公司内部的 BI 系统中。销售总监李总，可以像聊天一样向它提问，让它从公司的销售数据库（一个庞大的 PostgreSQL 数据库）中查询数据、生成报表、并给出分析结论。

李总向它提了一个问题：“帮我分析一下，上个季度华东大区智能音箱这个品类的销售额，并和去年同期做个对比，看看增长趋势如何。”

现在，让我们看看一个没有三层防御体系的裸奔版 AI 应用，和一个拥有三层防御体系的 AI 应用，在处理这个任务时会有什么区别：

🔹2.1 第一层防御：输入侧锚定 —— 从源头减少编造空间

很多幻觉的根源，是 AI 在信息不足、或者问题超出其能力范围时而强行作答（为了不让用户失望）。

裸奔版 AI 的行为：

它看到 “华东大区”、“智能音箱”、“销售额” 这些关键词，可能都没有去连接数据库，就直接凭借它在训练数据里学到的、关于 “一般消费电子产品” 的模糊印象，开始编故事了：

“上个季度华东大区智能音箱销售额表现强劲，约为 5000 万人民币，环比增长 15%。对比去年同期的 4200 万，同比增长约 19%。主要的增长动力来自于我们在上海和杭州的新零售渠道扩张……”

听起来是不是头头是道？但每一个数字，都是它凭空捏造的。

专业版 AI 的行为（输入侧锚定）：

在专业版 AI 的系统里，我们部署了两大核心机制：强制事实检索和能力边界声明。

在我们的案例中，这个检索动作具体是：

  1. 连接数据库，查询 information_schema。这是一个标准的数据库元数据视图，里面包含了所有表、所有列的名称和注释。
  2. 将查询到的表结构和字段注释，动态地、强制性地注入到发给 LLM 的 Prompt 的最前面。

所以，发送给 LLM 的最终 Prompt，看起来是这样的：

# CONTEXT: DATABASE SCHEMA
你现在可以访问一个名为 'sales_data' 的数据库。以下是你可以查询的表和字段的详细信息：

- 表名: 'quarterly_sales'
  - 字段: 'product_id' (INT) - 产品ID
  - 字段: 'product_name' (VARCHAR) - 产品名称, 例如 '智能音箱', '智能手表'
  - 字段: 'region' (VARCHAR) - 销售大区, 例如 '华东大区', '华南大区'
  - 字段: 'quarter' (VARCHAR) - 季度, 格式如 '2024-Q2'
  - 字段: 'sales_amount' (DECIMAL) - 销售额 (人民币万元)
  - 字段: 'units_sold' (INT) - 销售数量

# TASK:
你的任务是回答用户的问题。在回答之前，你必须先生成一个或多个 SQL 查询语句来获取必要的数据。严禁在没有真实数据支撑的情况下，直接给出任何数字或结论。

# USER QUESTION
用户问题是: “帮我分析一下，上个季度华东大区‘智能音箱’这个品类的销售额，并和去年同期做个对比，看看增长趋势如何。”

看到区别了吗？

裸奔版 AI 拿到的是一个开放性问题，而专业版 AI 拿到的是一个被事实锚定的、有明确操作指南的封闭性任务。它被明确告知了世界的边界（只有这些表和字段），以及行动的准则（必须先写 SQL）。

这样一来，它胡乱编造参数和结论的空间，从源头上就被极大地压缩了。

　　

🔹2.2 第二层防御：执行层校验 —— 生成过程绑定真实数据

输入侧的锚定，保证了 AI 知道应该干什么。但它会不会偷懒或者撒谎，假装自己干了，但实际上没干呢？

会的。这在 Agent 的工具调用环节，是一种非常隐蔽且危险的幻觉。

裸奔版 AI 的行为：

它可能正确地生成了 SQL 查询语句，但接下来，它可能并没有真的去执行这个查询。而是跳过执行步骤，直接编造了一个看起来非常合理的查询结果，然后基于这个假结果，生成了分析报告。

对于用户来说，这个过程是黑盒的，他看到了 SQL，也看到了结果，他会认为结果就是 SQL 执行得来的，就这样被 AI Agent 给忽悠了。

专业版 AI 的行为（执行层校验）：

在专业版 AI 的系统里，我们部署了两个监工机制：工具结果强制绑定和中间步骤留痕审计。

  • 1. 工具结果强制绑定

核心原则：工具的返回结果，优先级永远高于模型的自由推理。

LLM 在这个环节，只扮演一个生成代码的角色，它无权生成结果。所有的结论，都必须基于工具返回的、真实的、有日志记录的数据来生成。

  • 2. 中间步骤留痕审计

中间步骤留痕审计，又是如何防止假装调用的呢？

在一些更高级的系统中，我们还会增加一个审计员 Agent。它的任务很简单：在最终报告生成前，随机抽查几个关键的数据点，然后拿着这些数据点，去反查执行日志。

举个例子：

最终报告里提到：“上季度销售额为 5830 万元。”

审计员 Agent 会自动触发一个任务：

  1. 找到生成这个数字的那个步骤。
  2. 去执行日志数据库里，找到对应的 SQL 查询记录。
  3. 重新执行一次那条 SQL，或者直接比对当时返回结果的哈希值。
  4. 如果对不上，立即标记为高风险幻觉，并中止报告的生成。

通过这种方式，我们确保了 Agent 的每一步行动，都在我们的监控之下，都有据可查，从而杜绝了它假装在干活的可能性。

　　

🔹2.3 第三层防御：输出侧兜底 —— 拦截高风险错误信息

经过了前两层防御，绝大部分幻觉都已经被拦截了。但凡事没有 100%，总有一些漏网之鱼。

这道防线，尤其对于那些直接面向客户、或者涉及高风险业务（如金融交易、医疗诊断、法律咨询）的 AI 应用，至关重要。

裸奔版 AI 的行为：

在分析完（可能是真实的，也可能是编造的）数据后，它可能会给出一个非常绝对化的、带有强烈引导性的结论：“数据显示，华东大区的增长趋势明显放缓，建议立即削减该区域的市场预算，并将资源转移到增长更快的华南大区。”

这个结论，可能仅仅基于一两个季度的波动，非常片面。如果李总真的根据这个建议做出了决策，可能会对业务造成不可逆的损失。

专业版 AI 的行为（输出侧兜底）：

在专业版 AI 的系统里，我们部署了两种不同级别的兜底策略：置信度评估和事后事实核验。

通过这套组合拳，我们确保了：

  • 普通场景下，AI 的回答被赋予了明确的可信度边界。
  • 高风险场景下，任何未经最终核验的、可能导致业务损失的错误信息，都绝对没有机会流出到用户面前。

　　

三、来来来，总结一下吧 🔖

这个面试题看似在考什么是模型幻觉，实则在考验你是否站在系统架构角度去解决模型幻觉问题，主要从三个层面进行思考：

  1. 第一层：输入侧锚定。通过强制事实检索和能力边界声明，从源头压缩 AI 的想象空间。
  2. 第二层：执行层校验。通过工具结果强制绑定和中间步骤留痕审计，确保 AI 的每一步行动都脚踏实地，有据可查。
  3. 第三层：输出侧兜底。通过置信度评估和事后事实核验，建立起最后一道安全门，拦截高风险的错误信息。