模型在做什么，以及它一定会在哪里错

读完这一节，你能做到

1. 用一句话说清模型在做什么，以及为什么会产生幻觉。
2. 列出四类"一定会错"的场景，并给每一类配上兜底方案。
3. 判断一个需求该不该交给模型，而不是"能不能用 AI 做"。
4. 在面试里讲清"可靠性是设计出来的，不是提示词写出来的"。

一、模型在做什么

一句话：它在根据已有文本，预测下一个最可能的片段。 训练让它学会了语言规律与世界知识，但它做的事情始终是"补全"，不是"查询"。

这个本质决定了三件事：

• 它没有事实来源。答案来自训练数据的分布，不是来自某个可核对的数据库。
• 它不知道边界在哪。不知道的时候，它倾向于给一个"看起来很合理"的答案，而不是说不知道。
• 它对精确性无感。写对和写错对它的损失函数来说差别不大，只要读起来通顺。

所以"幻觉"不是态度问题，是机制问题。任何提示词都只能降低概率，不能消除。

二、四类一定会错的场景

场景	为什么必错	典型表现
时效信息	训练有截止时间	报出过期的政策、价格、人员
精确计算与计数	它生成数字而不是算数字	乘法错、统计漏项、长数字串位
长上下文中间段	注意力在首尾更强	中间条款被忽略，答成开头的内容
外部实时状态	它没有你的数据	编造订单状态、库存、余额

这四类的共同点：它们都需要"确定性的东西"，而模型提供的是"概率性的东西"。

一个实用的判断：如果这个问题的答案有唯一正确值，而且你能用代码查出来，就不该让模型直接回答。

三、把必错的部分移出模型

不是"给模型加约束"，而是"让模型不做这件事"。

1. 时效信息 → 检索

不要指望模型记得最新政策。把文档入库，检索后让它基于片段回答，并要求带出处与时间。片段里没有，就明确说没有。

2. 精确计算 → 工具

金额、库存、指标计算交给 SQL 或计算工具。模型只负责把自然语言转成调用参数，以及把结果翻译成人话。

3. 长上下文 → 裁剪与分段

不要把一百页文档一次塞进去。先按结构切分，只取相关片段；必须全文处理时，分段抽取要点再合成。

4. 外部状态 → 工具 + 校验

订单状态、库存、余额通过工具实时查，并对返回结果做一次结构化校验（字段齐不齐、状态值合不合法），再交给模型组织语言。

这条原则可以浓缩成一句：让模型做理解与表达，把记忆与计算交给系统。

四、怎么判断一个需求该不该用模型

三个问题，按顺序问：

1. 有唯一正确答案吗？ 有，且能查——用代码，不用模型。
2. 错一次的代价多大？ 涉及资金、合规、人身安全——必须有确定性校验或人工确认。
3. 输入是否开放？ 用户可能用任何方式表达——这正是模型擅长的地方，值得用。

三个都通过（无唯一答案、错了可恢复、输入开放），才是模型的主场，比如：意图识别、摘要、改写、开放式问答。

五、常见坑

1. 用提示词"禁止幻觉"。 能降低概率，不能消除；写进系统提示就当解决了，是自欺。
2. 相信模型给的数字。 价格、费率、日期、统计值，一律回源核对。
3. 把整份文档塞进上下文。 又贵又容易漏，中间段落最容易被忽略。
4. 把工具返回的文本直接当答案。 工具可能返回错误信息，模型会把它包装成"正常结果"。
5. 拿"模型很聪明"当设计依据。 可靠性来自流程与校验，不来自模型能力。
6. 只测 happy path。 真正暴露问题的是"知识库里没有答案"时它怎么表现。

六、动手任务：自写 → AI 写 → 对比 → 取舍

四步不跳：① 自己写（限时，关掉补全）→ ② 让 AI 写同一题 → ③ 逐条比对 → ④ 说出保留谁的写法。 完整动作与记录模板见《AI 协作与代码评审》。

① 自己写

1. 挑一个你熟悉的业务场景（客服、报销、运维），写下它的四类必错点分别在哪，以及你打算用什么兜底。
2. 给这个场景写一段系统提示，要求包含"没有依据时说不知道"和"不许编造数字"两条约束。

② 让 AI 写同一题

把第 1 题交给 AI，补一句 按“必错场景 → 兜底方案 → 验证方式”三列输出，不要泛泛而谈。

③ 对比要盯的点

• 它列的必错场景是不是只有"幻觉"一条？那就没抓住分类。
• 兜底方案是"改提示词"，还是"移出模型"？
• 有没有给验证方式？没有就是纸上方案。

④ 一句话取舍

它给的方案里，哪一条在真实系统里根本做不到？为什么？

七、自测

1. 模型在做的事，用一句话怎么描述？这为什么会导致幻觉？
2. 四类必错场景分别是什么？各自的兜底方向是什么？
3. 什么情况下应该用代码而不是模型来回答？
4. "提示词里写了禁止幻觉"为什么不算解决方案？
5. 判断一个需求该不该用模型，你会问哪三个问题？

参考答案要点：预测下一个片段，没有事实来源；时效/计算/长上下文/外部状态，分别用检索、工具、裁剪、工具加校验；有唯一正确答案且可查时；它只降低概率不消除；有无唯一答案、错的代价、输入是否开放。

配套题目

★ 越多越该先背；点题目可看完整答案与深入版。

• ★★★★★ LLM 在什么情况下一定会错？系统里怎么兜住？
• ★★★★☆ 上下文窗口变大就能塞更多内容吗？
• ★★★★★ 怎么评估一个 RAG 或 Agent 做得好不好？