AGENT EVALUATION · 知识地图

从一条 badcase,到一次发版回流

Agent 评测涉及的东西确实多:数据、执行、打分、指标、平台、流程。这一页先把它们**串成一条线**,再给一份可搜索的术语表,最后回答一个代码层面的问题——三种评估器,到底是针对每个 span 自定义选一个吗?

58 个术语8 步流水线(含真实数字)9 个 span 的评估器路由单文件 · 不联网
00

全景:六块拼图,一条主线

评测 = 用 数据集 把 Agent 的 不确定性 变成 可比较的数字,
再让这些数字 卡住发版、养活下一轮。
PIECE 01
先能看见

span / trace / thread:它到底干了什么。这是所有评测的原材料。

PIECE 02
人评定标准

先有 10–20 条「好」的样子和一份 rubric,才有资格谈机器打分。

PIECE 03
机评规模化

代码断言管终态,LLM judge 管开放质量,人只管校准与仲裁。

PIECE 04
端到端按终态判

评 task 而不是评某句话:outcome 优先,轨迹只做约束。

PIECE 05
量化不确定性

同一 task 跑 k 次:pass@k 看能力上限,pass^k 看用户口碑。

PIECE 06
闭环

离线卡发版,在线抓退化,事故 trace 回流成回归集。

三个坐标系,先记住就不会乱

坐标系层级回答的问题
观测的层级span → trace → thread/session → user这一步 / 这一次 / 这件事 / 这个人
什么时候评离线(发版前) / 在线(发版后)有没有变坏 / 现在坏没坏
谁来评代码 / 模型 / 人能不能判 / 判得多准 / 值不值得
所有新名词,几乎都能被这三条轴定位。定位不了的,才需要新概念。
🗣️ 面试这么说:「Agent 评测不是一堆指标,是一条流水线:数据 → 执行 → 打分 → 比较 → 门禁 → 线上 → 回流。任何一个环节断了,前面的努力都变成周报。」
01

术语表:58 个词,按组归类

可以搜中文、英文或解释里的关键词。先扫一遍分组的语义,用的时候再回来查。

🔍
🗣️ 面试这么说:术语不需要背全,但要能在被追问时**当场给一个准确的一句话定义**。最常被问的三个:dataset / experiment / pass^k。
02

8 步流水线:从 50 条 badcase 到发版回流

这是同一件事的两种看法:左边是抽象流程,右边是那个客服改签 Agent 的真实 47 天。点每一步看它要产出什么、在平台里是什么对象、做错会怎样。

产物链:每一步都有「留下的东西」

badcase 工单
   ↓  抽题 + 写成功判据
Dataset(112 条:60 回归 / 40 能力 / 12 事故)
   ↓  写判据 + 校准
Evaluator(3 个代码断言 + 1 个 judge,Kappa 0.81)
   ↓  跑一遍
Experiment(v1 / v2 / v3 …,每条都带 trace 和分数)
   ↓  设阈值
CI Gate(回归集 100% + 成本护栏)
   ↓  灰度
Release(5% → 100%)
   ↓  采样打分
Online Evaluator + Alert
   ↓  异常 trace 入集
Dataset 扩充 → 回到第二行,循环
🗣️ 面试这么说:「一个评测体系成熟的标志,是**数据集在长**:每出一个线上事故,回归集就多一条。半年后同一类事故被自动挡住,这才叫闭环。」
03

三种评估器,和「每个 span 用哪个」

先回答你的问题:不是「在代码里给每个 span 指定评估器」,而是分两层。

① 谁被打分(target):由平台层选——挂哪个 dataset / project、加什么过滤条件(span 类型、名称、tag、metadata)、采样率多少。
② 怎么打分(method):由代码或配置决定——写代码断言、配一个 judge、还是排进人工队列。
③ 如果确实要给「每种 span 不同判据」,在离线评测里可以写在一个 evaluator 函数内部做路由(遍历整棵 run 树,按类型分派),或者拆成多个 evaluator 各配各的过滤条件。
但更重要的是:绝大多数 span 根本不该评——只采不评。

LAYER 1 · TARGET(平台层配置:谁被打分)
dataset example(离线)root run / logical root指定 span(filter)thread 整段人工队列挑出的 run
↓  交给  ↓
LAYER 2 · METHOD(代码/配置层:怎么打分)
代码断言LLM-as-judgedecision modelpairwise人工标注
↓  产出  ↓
OUTPUT(可查询、可比较的分数)
feedback / score:key + 数值 + 理由挂在该 span / run / thread 上能进实验对比和告警

三种评估器的分工

就是 Anthropic 那篇里的 code-based / model-based / human 三类,平台里的叫法略有不同。
代码断言LLM judge人工标注
擅长终态、格式、schema、约束、红线开放质量:完整性、语义、语气定义标准、仲裁分歧、难判维度
成本≈ 0$0.01–0.10 / 次最贵(分钟级人力)
能否在线能,100% 都行能,但必须采样只能抽样
弱点脆、容易被钻空子需校准、有模型偏好不 scale
放哪工具调用 / 环境终态 / 红线最终回答 / 检索相关性争议样本 / 抽样质检

同一个 trace,9 个 span,分别怎么处理

点一行看它该不该评、由谁选、怎么写。下面的选择不是「都要评」,而是「只在有意义的地方花成本」。
按 1000 次调用 / 天估算,judge $0.02/次

代码里到底长什么样

① 离线:一个 evaluator 函数 = 一种「怎么打」。平台负责把它挂到 dataset 上对这些 example 跑。
from langsmith import evaluate

def app(inputs):
    return {"answer": run_agent(inputs["q"])}

def outcome_grader(run, example):
    # 代码断言:查环境终态,不判文本
    ok = check_db(example.metadata["order_id"], expect=example.outputs)
    return {"key": "outcome_ok", "score": int(ok)}

evaluate(app, data="ticket-eval", evaluators=[outcome_grader],
         experiment_prefix="v2")
② 想给「每种 span 不同判据」:在函数里遍历整棵树做路由(一次返回多条 feedback)
def tree_grader(run, example):
    fb = []
    for c in run.child_runs:                 # 走整棵 run 树
        if c.run_type == "tool":
            fb.append({"key": "tool." + c.name + ".ok",
                       "score": int(not c.error)})
        elif c.run_type == "llm" and is_final(c):
            fb.append({"key": "final.quality", "score": judge(c)})
    return fb                               # 一次返回多个指标

# 更常见的做法:拆成多个 evaluator,各自用 metadata/filter
# 只作用在关心的目标上 —— 可读、可开关、可分别设预算。
③ 在线:target 是配出来的,不是写 if 写出来的
LangSmith · Online evaluator 挂到 tracing project
   · 目标:run 级 或 thread 级
   · filter:run_type / name / tag / metadata
   · sampling_rate(例:常规 10%,红线 100%)
   · evaluator spend limit(防止 judge 把账单打爆)

Langfuse · Evaluator + Rule
   · Rule 过滤:observation 的 type / name / metadata / isRootObservation
   · 采样率;可挂多个 evaluator
   · 注意:observation 级 evaluator 只看到该 observation 自己的数据,
     看不到兄弟/子节点 —— 要整体输入输出,就把目标设成 logical root。
⚠️ 一个真实约束:judge 只看得到你喂给它的东西。Langfuse 的 observation 级 evaluator 拿不到子节点数据;LangSmith 的离线 evaluator 拿到的是 root run,可以自己遍历 child_runs。所以「判整体」和「判局部」不是同一个 target,别混着配。

四条结论(可以直接背)

① 大部分 span 只在「采」不在「评」网关重试、prompt 拼装、DB 查询——它们产出的是指标(成本、延迟、重试率),不是质量分。
② 红线永远用代码,不用 judge「工具报错却声称成功」这类必须 100% 确定性判定;judge 只负责开放质量。
③ target 在平台配,method 在代码写别在业务代码里 for 每个 span 写 if;用 filter + 采样 + 多 evaluator 组合。
④ 成本靠「少评」而不是「省着评」9 个 span 全上 judge 是 $0.18/次;分层后 2 个 span 是 $0.04/次,而且信号更干净。
🗣️ 面试这么说:「评估器不是按 span 挑的,是按**目标 + 方法**两层配的:平台层用过滤器和采样决定谁被打,代码层决定怎么打。真正要判断的是——这个 span 值不值得花钱判,多数时候答案是不值得。」
04

速查 & 面试

决策速查:如果……就……

只想知道模型答得好不好

先写 20 条数据集 + 一个 judge,跑一遍看分布。别先上平台。

Agent 要执行动作(改单、发邮件、跑代码)

必须评环境终态:DB 检查、单测、文件 diff。判文本一定会被骗。

要发版

要有回归集(必须 100%)+ 能力集(比高低)+ 成本护栏,跑在 CI 里。

已经上线

在线评测按 10% 采样 + 红线 100%,配告警;先算清 judge 的日成本。

judge 分数不可信

few-shot → 人工标 100 条 → 算 Kappa → 不达标就换模型/改 rubric。

指标涨了但感觉不对

看成本、步数、pass^k;大概率是「用更多 token 换更高分」。

要选平台

底层走 OTel 防锁定;按合规、生态、预算选插头,方法论自己沉淀。

十个坑(每一个都真实发生过)

用回答文本判成功,被 Agent 学会骗

正则匹配「已为您改签」→ 模型无脑输出这句话。判据必须换成环境终态。

只跑一次 trial 就下结论

非确定性系统里,一次结果 = 一次抽样。至少 3 次,报 pass@k 和 pass^k。

参考轨迹 exact match

达到同一结果有无数条路径。轨迹只做约束(该调的调了、没越权、步数没爆),不比顺序。

没有环境重置

上一轮的状态污染下一轮,成功率会虚高(或虚低)。每次 trial 前重置 sandbox / DB 快照。

judge 和被评模型同族

自我偏好,分数偏高。换一个模型家族当裁判。

全量在线 judge

成本爆炸、还评不过来。采样 + 只打关键 observation。

只看总指标

平均值会掩盖子类退化(辛普森悖论)。按渠道 × 意图拆分。

数据集从不更新

半年后和线上分布完全脱节,指标再好看也没意义。

任务饱和

通过率 95%+ 的集合已经没有区分度,要加难度或换任务。

把评测当周报

没有门禁的指标等于没有。要么卡发版,要么别做。

高频追问 & 答法

「三种评估器怎么选?」

看这个判断是确定的还是主观的:确定的(schema、终态、约束)用代码;主观但可规模化的(完整性、语气)用 judge;连 judge 都判不准的(标准本身有争议)才用人工,并把它变成 rubric 再交回机器。

「人评到底放哪?」

三个位置:冷启动定义标准、校准 judge(算 Kappa)、仲裁人机分歧。不做规模化打分。

「数据集从哪来?多少条够?」

真实失败工单 + 线上 trace + 合成扩充。20–50 条就能启动;一个任务 pass@100 = 0 时,先查题和 grader。

「端到端怎么判?」

task = 输入 + 可执行成功判据;outcome 看环境终态;trial 跑 3 次;harness 负责隔离、重置、聚合。

「pass@k 和 pass^k 有什么业务含义?」

pass@k 是演示时能拿出来看的能力上限;pass^k 是用户每次用都稳的概率。面向 C 端看后者。

「怎么证明评测体系有价值?」

说两个具体事故:一个被离线回归集挡住,一个被线上评测在几小时内抓到;再报事故率和定位时间的变化。

可以直接说的金句

评测不是一堆指标,是一条流水线。
评产出,别评路径——同一座山有很多条上山路。
红线交给代码,质量交给模型,标准交给人的脑子。
pass@k 是能力,pass^k 是口碑。
不是每个 span 都值得评,多数时候只值得「采」。
线上出的每一个事故,都该变成离线的一条测试。
本页为知识地图与演示,数字用于说明方法,不是真实项目数据。实际使用时请换成本项目的量级,并区分「我做的」和「行业最佳实践」。