理解 LLM 的能力与边界
用同一问题测试三次,记录差异;再加入事实材料,检查答案是否明确区分已知、推断与未知。
课程全目录 · 选择章节
本课学习目标
- • 理解 — LLM 根据上下文预测输出,不是事实数据库。上下文窗口限制可见信息,采样使相同请求可能得到不同结果,知识截止与外部状态变化使回答需要验证。把事实交给检索,把执行交给工具,把验收交给程序。
- • 应用 — 同一个模型分别回答已提供文档中的价格和今天的库存。前者可以引用输入,后者如果没有库存接口只能承认未知;自信的语言并不能证明数据实时。
- • 验证 — 用同一问题测试三次,记录差异;再加入事实材料,检查答案是否明确区分已知、推断与未知。
完成路径
阅读概念与案例 → 完成动手任务 → 勾选实践检查 → 回答检查点 → 保存完成记录。练习由你自行检查,不会假装成自动代码评分。
01 / 核心概念
LLM 根据上下文预测输出,不是事实数据库。上下文窗口限制可见信息,采样使相同请求可能得到不同结果,知识截止与外部状态变化使回答需要验证。把事实交给检索,把执行交给工具,把验收交给程序。
同一个模型分别回答已提供文档中的价格和今天的库存。前者可以引用输入,后者如果没有库存接口只能承认未知;自信的语言并不能证明数据实时。
不要用温度为零代替事实校验,也不要假设模型一定记得上一轮。每轮所需状态必须显式进入上下文,敏感信息要先脱敏。
02 / 心智模型
理解
LLM 根据上下文预测输出,不是事实数据库。上下文窗口限制可见信息,采样使相同请求可能得到不同结果,知识截止与外部状态变化使回答需要验证。把事实交给检索,把执行交给工具,把验收交给程序。
应用
同一个模型分别回答已提供文档中的价格和今天的库存。前者可以引用输入,后者如果没有库存接口只能承认未知;自信的语言并不能证明数据实时。
验证
用同一问题测试三次,记录差异;再加入事实材料,检查答案是否明确区分已知、推断与未知。
03 / 代码骨架
const input = { question: 'Current inventory?', evidence: [], allowGuessing: false };这是解释结构的代码骨架,外部函数与数据需要在实际项目中实现。
04 / 贯穿案例
放进真实情境里看
同一个模型分别回答已提供文档中的价格和今天的库存。前者可以引用输入,后者如果没有库存接口只能承认未知;自信的语言并不能证明数据实时。
- 01
分析边界
LLM 根据上下文预测输出,不是事实数据库。上下文窗口限制可见信息,采样使相同请求可能得到不同结果,知识截止与外部状态变化使回答需要验证。把事实交给检索,把执行交给工具,把验收交给程序。
- 02
观察具体过程
同一个模型分别回答已提供文档中的价格和今天的库存。前者可以引用输入,后者如果没有库存接口只能承认未知;自信的语言并不能证明数据实时。
- 03
验证失败路径
不要用温度为零代替事实校验,也不要假设模型一定记得上一轮。每轮所需状态必须显式进入上下文,敏感信息要先脱敏。
05 / 动手做
用自己的产物检验理解
用同一问题测试三次,记录差异;再加入事实材料,检查答案是否明确区分已知、推断与未知。
完成时检查
- 提交可阅读的实现或流程图,并注明输入和输出。
- 至少覆盖一个成功案例与一个失败案例。
- 解释本课的边界,写出仍未解决的一项限制。
自动保存在当前浏览器,不会同步到账户。
06 / 检查点