斯坦福 CS329Z 免费 Agent 评估课件：任务环境、评分边界与复现

斯坦福 CS329Z 已开放《Evaluation Fundamentals & Benchmark Design》课件，71 页 PDF 不用登录就能下载。它把 Agent 评估拆成任务、环境、停止条件和评分器，还讨论分数能否复现。配套评估练习使用 Python、Docker 和 Harbor，代码仓库采用 MIT 许可证。

免费的是公开学习资料，不是付费学位课

课程表将这一讲列在 2026 年 11 月 4 日，太平洋时间。斯坦福服务器响应头给出的更新时间是 UTC 11 月 4 日 21:22:58，即北京时间 11 月 5 日 05:22:58；官方课件目录也列出 lecture12.pdf 和新增加的 lecture13.pdf。直接下载返回 HTTP 200，内容是 71 页 PDF。

CS 329Z: Engineering AI Agents 的课程主页继续公开已有课件、阅读清单和课程作业要求。第 1 至 5 讲覆盖 Agent 的组成、RAG、工具调用、框架及工作流；后半段延伸到记忆、多 Agent、优化、数据与评估。它们适合补足「系统怎样运行」和「结果怎样测」两块知识，而不是从零教 Java 或 Spring。

免费边界需要分清。课程说明写明，课堂录像要通过 Canvas 登录查看。Stanford Online 同名的学分课程标价 4,866 美元，目前也未开放报名。公开资料本身不包含在校学籍、作业提交、教师反馈或学分；拿 PDF 自学和正式修读是两回事。

Agent 评估不只检查一段回复

传统问答测试往往是输入一个 prompt，再比较模型的 response。课件换了一个对象：Agent 会在环境中经历多轮行动与观察，输出包括操作轨迹和被改变的环境状态。

任务定义回答三个问题：让 Agent 完成什么，在哪里完成，怎样验证。评估协议则固定每个任务运行几次，多少轮或多少预算后停止，采用什么模型设置，允许哪些工具与网络访问，以及成本、轮数、token 如何汇总。

课程说明和作业说明把这层结构概括为四项：request、environment、stopping criteria、scorer。对应到一个内部工单 Agent，请求不是「帮忙处理工单」这句自然语言，而是一条有预期结果的工单；环境包含固定知识库、工具和数据；停止条件包含最大轮数；评分器检查最终状态，不该动的数据是否保持不变。

评分也不能靠一次肉眼验收。讲义列出七个检查维度：有挑战性、贴近真实工作、能区分系统、容易运行、容易验证、结果可解释，以及能抵御数据污染和取巧。对于工具调用失败的场景，还要把「正确拒绝越权操作」与「没有权限而退出」区分开，否则两种轨迹可能被同一个终态评分器误判。

此前介绍 Spring AI Agents 与 Spring AI Bench，落点在 Java Agent 和评测工具。CS329Z 这份新资料补上更靠前的问题：评测任务是否合理，工具、数据和预算是否固定，分数是否足以支撑结论。

配套论文拆解高分背后的评分漏洞

本讲直接附上 《Establishing Best Practices for Building Rigorous Agentic Benchmarks》。论文把风险分成任务有效性和结果有效性：前者问任务是否真的可解，后者问通过测试是否真的代表成功。它给出的 Agentic Benchmark Checklist 覆盖工具、环境、参考答案、评分器和结果报告。

论文记录的 τ-bench 航空子集案例中，仅返回空回复的 Agent 能拿到 38% 通过率。因为部分不可完成任务把「数据库保持不变」当成功条件，什么都不做也会得分。读这类分数时，业务流水线中常见的「返回 200」或「没有异常」不足以单独作为成功依据。

另一篇 tinyBenchmarks 讨论怎样缩小评测集。作者报告，在所研究基准的每个数据集或场景中选约 100 个样本，估计完整基准分数的平均误差约为 2 个百分点，而不是相对原分数的 2%。它适合接着处理评估成本问题，但课件也强调报告实验设置、运行次数、误差与成本，不能只留一个百分数。

获取路径及许可范围

讲义原名 Evaluation Fundamentals & Benchmark Design，约 13 MB，从斯坦福官方域名直接下载：

斯坦福 CS329Z 第 13 讲 PDF

课程要求与作业说明公开了从搭 Harness 到评估 Agent 的完整路线。配套 assignment2-evals（旧名 assignment2-harness，旧链接会跳转）提供任务样例、Docker 环境、锁定的 Python 依赖和结果检查脚本；运行要求 Python 3.12 至 3.13、uv、Docker，并在环境变量中配置 OpenRouter 或 Gemini 的 API Key。公开代码不代表模型调用免费，调用费用和额度由所选模型服务决定。

该仓库的 MIT LICENSE 版权归 Stanford CS329Z course staff，复制、修改或再分发须保留版权及许可声明。讲义则是公开阅读和下载，官网未为其标注开源或 CC 许可证，不能把 PDF 免费阅读等同于可随意改动再发行。