青蛙小白

Hallucination(幻觉)

幻觉(Hallucination) 指大语言模型以自信的语气生成与事实不符内容的现象。模型不会感到困惑或迟疑,只是顺着概率继续输出,语气正儿八经,结论却可能完全错误。

根本原因:没有现实参照

LLM 的本质是概率文字接龙——根据训练语料的统计分布,预测下一个最可能出现的 token。它回答"1+1=2",不是因为理解了加法,而是因为训练文本里"1+1=2"出现了无数次。

这带来一个根本性缺陷:模型没有现实世界的参照系,无法判断自己输出的是否为真。

人类的知识建立在具身认知之上——我们能看到两个苹果、摸到两个苹果,才真正理解"2"的含义。即使所有书都写着"1+1=3",我们也会基于现实体验产生质疑。当前的大语言模型缺乏这种物理世界的锚点,遇到训练数据里覆盖不足或相互矛盾的问题,它无法说"我不确定"——而是继续用最高概率的词汇接下去,形成语义通顺但内容错误的输出。

全球顶尖 AI 公司在 2026 年押注的 世界模型(World Model) 和具身智能,正是试图通过让 AI 在物理世界中积累经验来解决这个根本性缺口。

幻觉的表现类型

类型描述典型场景
事实错误虚构不存在的人名、论文、链接“引用"了压根不存在的学术文献
逻辑错误推导步骤看似合理但结论错误数学证明中间跳步,结论反了
知识截止错误对训练截止后的事件给出过时回答把旧版 API 当作最新文档
自信过度对低置信度问题也给出确定性回答不清楚的地方编一个听起来合理的答案

为什么幻觉在 Agent 场景下更危险

在单次问答中,人类可以立即核查答案。但在 AI Agent(智能体) 的多步执行链里,一次幻觉会引发连锁反应:

假设 AI 每步推理正确的概率为 90%(顶尖模型),执行一个 20 步任务时,全链路正确的概率只有 0.9²⁰ ≈ 12%

第一步的小错误被第二步当作事实基础,错误像雪球一样越滚越大——这是 Agent 可靠性工程(Harness Engineering(驾驭工程))存在的核心理由之一。

主要应对策略

通过工具调用接入现实:给 Agent 搜索、代码执行、数据库查询等工具,让它在有疑问时主动核实,而不是凭记忆作答。

检索增强生成(RAG):将问题与真实文档片段一起送入模型,把"从记忆生成"变成"从检索到的事实生成”,大幅降低事实性幻觉。

验证循环(Verification Loop):对可验证的任务(代码、计算),用独立的测试或检查工具自动验证输出,而非依赖 AI 自称"正确"——这正是 Loop Engineering(循环工程)Closed vs Open Tasks(封闭性任务与开放性任务)中发挥作用的机制。

人工介入:对高风险、无法自动验证的输出保留人工审查点。Closed vs Open Tasks(封闭性任务与开放性任务)(如决策、报告)无法用代码验证正确性,人类判断依然不可替代。

Context Engineering(上下文工程):给 AI 喂资料前先剔除干扰信息,提供干净、相关、结构清晰的上下文,减少 AI 被噪音误导而"脑补"错误内容的概率。

幻觉 vs 知识截止

二者常被混淆。知识截止(Knowledge Cutoff) 是指模型对训练日期后发生的事不了解——这是信息缺口,不是生成错误,可以通过 RAG 或工具调用补充新信息解决。幻觉是指模型对已有知识范围内的问题也生成错误内容——这是概率机制的结构性缺陷,无法通过增加训练数据完全消除。

相关概念

评论