返回Agent 开发
PATH 01/LESSON 02/25 分钟

理解 LLM 的能力与边界

用同一问题测试三次,记录差异;再加入事实材料,检查答案是否明确区分已知、推断与未知。

课程全目录 · 选择章节

本课学习目标

  • • 理解 — LLM 根据上下文预测输出,不是事实数据库。上下文窗口限制可见信息,采样使相同请求可能得到不同结果,知识截止与外部状态变化使回答需要验证。把事实交给检索,把执行交给工具,把验收交给程序。
  • • 应用 — 同一个模型分别回答已提供文档中的价格和今天的库存。前者可以引用输入,后者如果没有库存接口只能承认未知;自信的语言并不能证明数据实时。
  • • 验证 — 用同一问题测试三次,记录差异;再加入事实材料,检查答案是否明确区分已知、推断与未知。

完成路径

阅读概念与案例 → 完成动手任务 → 勾选实践检查 → 回答检查点 → 保存完成记录。练习由你自行检查,不会假装成自动代码评分。

01 / 核心概念

LLM 根据上下文预测输出,不是事实数据库。上下文窗口限制可见信息,采样使相同请求可能得到不同结果,知识截止与外部状态变化使回答需要验证。把事实交给检索,把执行交给工具,把验收交给程序。

同一个模型分别回答已提供文档中的价格和今天的库存。前者可以引用输入,后者如果没有库存接口只能承认未知;自信的语言并不能证明数据实时。

不要用温度为零代替事实校验,也不要假设模型一定记得上一轮。每轮所需状态必须显式进入上下文,敏感信息要先脱敏。

02 / 心智模型

01

理解

LLM 根据上下文预测输出,不是事实数据库。上下文窗口限制可见信息,采样使相同请求可能得到不同结果,知识截止与外部状态变化使回答需要验证。把事实交给检索,把执行交给工具,把验收交给程序。

02

应用

同一个模型分别回答已提供文档中的价格和今天的库存。前者可以引用输入,后者如果没有库存接口只能承认未知;自信的语言并不能证明数据实时。

03

验证

用同一问题测试三次,记录差异;再加入事实材料,检查答案是否明确区分已知、推断与未知。

03 / 代码骨架

TYPESCRIPT / CONCEPT
const input = { question: 'Current inventory?', evidence: [], allowGuessing: false };

这是解释结构的代码骨架,外部函数与数据需要在实际项目中实现。

04 / 贯穿案例

放进真实情境里看

同一个模型分别回答已提供文档中的价格和今天的库存。前者可以引用输入,后者如果没有库存接口只能承认未知;自信的语言并不能证明数据实时。

  1. 01

    分析边界

    LLM 根据上下文预测输出,不是事实数据库。上下文窗口限制可见信息,采样使相同请求可能得到不同结果,知识截止与外部状态变化使回答需要验证。把事实交给检索,把执行交给工具,把验收交给程序。

  2. 02

    观察具体过程

    同一个模型分别回答已提供文档中的价格和今天的库存。前者可以引用输入,后者如果没有库存接口只能承认未知;自信的语言并不能证明数据实时。

  3. 03

    验证失败路径

    不要用温度为零代替事实校验,也不要假设模型一定记得上一轮。每轮所需状态必须显式进入上下文,敏感信息要先脱敏。

05 / 动手做

用自己的产物检验理解

用同一问题测试三次,记录差异;再加入事实材料,检查答案是否明确区分已知、推断与未知。

完成时检查

  • 提交可阅读的实现或流程图,并注明输入和输出。
  • 至少覆盖一个成功案例与一个失败案例。
  • 解释本课的边界,写出仍未解决的一项限制。

自动保存在当前浏览器,不会同步到账户。

继续到代码练习

06 / 检查点

模型没有库存接口,却被问到实时库存,应该如何回答?

延伸阅读 · 原始资料