Agent 能跑起来，只是第一步。
文章作者：elune
文章编译、来源：ME News
Agent 能跑起来，只是第一步。
真正困难的是判断：它是否稳定、是否正确、是否因为一次提示词或模型更新而悄悄退化。
以下 10 种评估方法，值得每一位 AI 工程师了解。
1. 黄金测试集｜Golden Set
准备一组固定且冻结的测试案例。
每次修改提示词、模型、工具或工作流后，都重新运行这组案例，判断系统究竟是变好了，还是在某些场景中悄悄失效。
它是 Agent 评估体系中最基础的基准线。
推荐工具：OpenAI Evals
可用于构建可重复运行的基准测试集，并对比不同模型或系统版本的表现。
2. LLM 裁判｜LLM as Judge
使用另一个大语言模型，根据预先编写的评分标准，对开放式回答进行评判。
当任务没有唯一标准答案，无法通过字符串匹配或固定输出判断对错时，这种方法尤其有效。
例如，可以让裁判模型评估回答是否准确、完整、相关，以及是否遵循用户要求。
推荐工具：OpenEvals
提供面向 LLM 应用的现成评估器，可快速搭建自动化评审流程。
3. 多维评分｜Rubric Scoring
不要只给 Agent 一个笼统的“质量分”。
应该分别评估：
- 正确性
- 完整性
- 表达风格
- 安全性
- 响应速度
- 调用成本
一个综合分数可能掩盖真正的问题。
例如，总分下降，可能不是答案错误，而是工具调用成本突然增加；总分上升，也可能建立在安全性下降的基础上。
推荐工具：DeepEval
支持创建自定义指标，并对不同质量维度进行独立评分。
4. 轨迹评估｜Trajectory Eval
不要只评估 Agent 最终给出的答案，还要评估它完成任务的整个过程。
包括：
- 是否选择了正确的工具
- 是否以合理顺序调用工具
- 是否重复执行无效操作
- 是否遗漏必要步骤
- 是否根据工具结果正确调整决策
Agent 可能最终得到正确答案，但中间过程低效、脆弱，甚至带有风险。
推荐工具：AgentEvals
可检查 Agent 在完整执行轨迹中的动作、决策和工具调用。
5. 工具单元测试｜Tool Unit Tests
为 Agent 使用的每一个工具编写独立测试。
使用固定输入，验证固定输出，不让模型参与其中。
这样可以把问题拆开：
到底是 Agent 推理出了问题，还是底层工具、接口或 MCP Server 出了问题？
只有先确保工具本身可靠，才有意义评估 Agent 是否正确调用了工具。
推荐工具：MCP Inspector
可用于检查和测试 MCP Server、工具参数及返回结果。
6. 回归测试集｜Regression Suite
保存过去的真实运行案例，并在每次更新提示词、模型或工具集后重新执行。
随后对比新旧版本结果，检查：
- 原本正确的任务是否失败
- 输出格式是否发生变化
- 工具调用是否增加
- 延迟和成本是否上升
- 某些边缘案例是否退化
新版本平均表现更好，并不意味着它没有破坏旧能力。
推荐工具：Promptfoo
支持运行可重复的评估套件、捕捉回归问题，并将检查流程接入 CI。
7. 生产环境 A/B 测试｜A/B Testing in Production
将真实用户流量随机分配给两个不同版本，比较它们在实际环境中的表现。
可以测试：
- 两套提示词
- 两个模型
- 两种 Agent 工作流
- 不同工具组合
- 不同回复策略
离线评分更高的版本，不一定能带来更高的用户成功率。
真正重要的是实际结果，例如任务完成率、用户采纳率、转化率、人工接管率和问题解决率。
推荐工具：GrowthBook
提供功能开关、受控实验和产品分析能力。
8. 人工审核｜Human Review
定期抽样真实运行记录，由人类审核者进行评分。
人工审核不仅可以发现自动化评估遗漏的问题，还可以用于校准 LLM 裁判。
需要重点检查：
- 模型评分是否与人类判断一致
- 评分标准是否足够清晰
- 裁判模型是否偏爱冗长回答
- 自动评估是否遗漏严重错误
自动化评估不能完全替代人工判断。
推荐工具：Argilla
帮助团队收集人工反馈、审核模型输出，并将结果沉淀为高质量数据集。
9. 影子运行｜Shadow Run
让候选版本在真实流量上同步运行，但不将它的输出展示给用户。
生产环境仍然使用旧版本，而新版本只在后台执行，用于比较两者表现。
这种方式适合高风险更新，例如：
- 更换核心模型
- 重写系统提示词
- 接入新的外部工具
- 修改 Agent 决策逻辑
- 扩大工具权限
影子运行可以帮助团队在正式发布前发现真实流量中的问题，同时避免直接影响用户。
推荐工具：Langfuse
可追踪生产运行、比较候选版本，并监控评估结果。
10. 红队测试｜Red Teaming
在攻击者之前，主动攻击自己的系统。
测试范围包括：
- 越狱攻击
- 提示词注入
- 敏感数据泄露
- 权限绕过
- 工具滥用
- 恶意文件或网页内容
- 非预期外部操作
对于能够调用数据库、发送邮件、修改文件、执行代码或访问内部系统的 Agent，红队测试尤其重要。
推荐工具：Garak
可扫描 LLM 系统中的安全漏洞和不安全行为。
离线评估告诉你：系统在测试环境中能够正常工作。
在线评估告诉你：系统上线之后依然能够正常工作。
你现在可能还不需要一次性搭建全部 10 种评估机制。
更实际的做法是：
回顾最近一次 Agent 故障，然后优先部署那两种本可以提前发现问题的评估方法。
先建立黄金测试集，再补上回归测试或人工抽检，往往就能避免大量低级事故。
值得收藏。