有一类题目,普通人不用任何专业训练就能做对九成:查一个事实、比两张图、顺着网页点几步,最后给出一个明确答案。2023 年 11 月挂出的 GAIA 基准就是照这个思路出的题——概念上对人类简单,却要求系统同时会推理、会看图、会上网、会用工具。结果是:人类回答者做对 92%,装好插件的 GPT-4 只做对 15%。
作者一共出了 466 道题,公布题目,但把其中 300 道的答案留在后台,用来撑一个排行榜——不公开的答案意味着榜单没法靠背题刷上去(这句是我的解读)。
这个落差放在今天看依然刺眼。它不是"人类专家 vs 机器"的老剧本——法律、化学这类需要专业技能的考试,机器早就在逼近甚至超过人类。GAIA 的作者故意反着来:不去追"对人类越来越难"的题,而是盯住"普通人都能稳定做对"的活。他们的判断写在论文里:通用人工智能的门槛,是系统在这类问题上表现出接近普通人的稳健性。
GAIA 发布至今,Agent 评测这门手艺本身也变了不少。把几份一手材料摆在一起读,能看清三件事:评测的对象从一次回答变成一段工作过程,考题自己要先体检,分数得连着成本和区间一起读。
## 从"答题"到"干活"
AgentBench 是一个多维基准(2023 年 8 月首次挂出,后在 ICLR 2024 发表),把"LLM 当 Agent 用"搬进八个各不相同的交互环境,考的不是单轮回答,而是多轮的推理和决策。
它发现的失败模式值得记住:顶级商业模型确实能在复杂环境里干活,但和参数不超过 70B 的开源模型差距显著;而模型翻车的主要原因不是知识不够,是长程推理差、决策差、指令遵循差。换句话说,模型不是"不知道",是"干着干着忘了自己要干什么,或者没按你说的干"。论文给出的改进路径也跟着这个诊断走:提升指令遵循能力、用高质量的多轮对齐数据训练——两条都不是"喂更多知识"。
论文的另一个反直觉发现是:代码训练对不同 agent 任务的影响是两面的,在有些环境里帮忙,在另一些里并不。这和当时"多训代码就能当好 agent"的流行假设不一致。
这正是"评 Agent"和"评模型"的分野:评模型考一次回答,评 Agent 考一段工作过程。过程一长,短板就从知识变成了稳定性。
## 考题自己也要先体检
评测界还学到一课:分数不可信,有时不是模型的错,是题目的错。
SWE-bench 是软件工程 agent 的著名基准,题目来自 12 个开源 Python 库里已经解决的 GitHub issue:给模型一段问题描述和代码库,它提交补丁,跑当初修复该 issue 的 PR 自带的测试——原有功能不能被弄坏,新测试必须通过,两者都过才算"解决"。听起来客观。
2024 年 8 月 13 日,OpenAI 和基准原作者一起做了一次大规模人工标注,结果不太好看:38.3% 的样本被标注者认为题面描述不清,问题是什么、该怎么解都有歧义;61.1% 的样本,其判分单元测试可能把完全有效的解法误判为错误。除此之外还有第三类麻烦:开发环境有时搭不起来,测试照样失败,完全合理的补丁也被判错。
标注不是走过场:93 名有 Python 经验的开发者,对随机抽出的 1,699 个样本逐条打分,每条由三名标注者独立标注,再取其中最严的一档。评分从 0 到 3 分四档,2 分及以上就算这道题不合格。作者也承认,这种保守做法会误删一些其实可用的题,换来的是留下来的题足够可信。在这 1,699 个被标注的样本里,68.3% 被剔除。
他们举的例子很能说明问题。scikit-learn 那道题的问题描述是:某个函数的 copy 参数被用户传进去了,却被库忽略。看起来很清楚,改就是了。但判分用的那条测试是从当年的 PR 里抽出来的,它不仅要求修好行为,还要求抛出一条弃用警告,并且警告的文字必须逐字匹配——而那段文字是 PR 讨论里几轮商量才定下来的,模型看不到讨论,只看得到问题描述。这道题几乎不可能做对,不是因为难,是因为判分标准藏在题目之外。
两家的应对是发布 SWE-bench Verified:人工核验出 500 条"无问题"样本组成子集,取代原来的测试集。难度改用人类估时来定义:让标注者估计一位熟悉代码库几小时的工程师写出补丁要多久,分成四档——15 分钟以内、15 分钟到 1 小时、1 到 4 小时、4 小时以上。构建子集时尽可能多收后两档,剩下随机补足到 500 条。作为参照,原测试集里 77.8% 的样本被估为不到一小时就能改完。这个估时口径有两条自带的限定:它假设工程师能想出解法,而且对可能背过代码库和 PR 的大模型来说,难度会被高估。
体检的效果立竿见影:同一个 GPT-4o,在原 SWE-bench 上的成绩是 16%;换到 Verified、配上表现最好的开源脚手架,是 33.2%——文章的说法是"翻倍还多"。而且这不是把题目变简单换来的:他们按难度档拆开重算,发现每一档内部的成绩都在上升,说明被剔掉的是各档里做不了的题,不是难题。
这件事的方法论意义比数字本身大:评测基础设施需要"评测评测本身"。一个分数出来,先问考题核验过没有,再问模型强不强。
## 成本、区间和过程一起上榜
评测的计量单位也在变。Terminal-Bench(现行 4.1 版)官网写明由斯坦福、Harbor 与 Laude 研究所托管,自述是"衡量并随 agent 工作前沿演进"的基准。它的榜单不是一个分数:resolution rate(解决率)之外,成本和 token 消耗并列在表上,每一行还带着 95% 置信区间的误差棒。
这三个附加维度各自回答一个实际问题:解决率回答"能不能干完",成本回答"干一次多少钱",区间回答"这个名次有多少运气成分"。
为什么区间这么要紧,OpenAI 那篇文章里顺手给了个证据:同一个 GPT-4,在 SWE-bench Lite 上用早期基于检索的脚手架只能解决 2.7%,换成 CodeR 脚手架是 28.3%。模型是同一个。榜单上的每一行其实都是"模型×脚手架×运气"的乘积,只报峰值等于把另外两项藏起来。
## 我的三个判断
以下是把上面几份材料并排读出来的综合,不是任何一篇原文的结论。
第一,评 Agent 的实质是评过程能力。AgentBench 归纳的三大失败原因——长程推理、决策、指令遵循——没有一个是知识问题,它给的改进路径也是过程性的;GAIA 的 92% 对 15% 同样说明,卡住机器的不是专业深度,而是把一件普通小事稳定干完的能力。评测重心从"答对多少"移向"干完没有",是这门手艺这几年最重要的一次换轨。
第二,高分的前提是考题公平。原 SWE-bench 里六成判分测试可能冤枉有效解、被标注样本里近七成被剔除——在这种题上刷出来的分数,测的可能是"迎合烂题的能力"。而质检是有成本的:93 名开发者、1,699 个样本、每条三人独立标注,这套流程本身就要花钱花时间,它值不值,取决于你要用这个分数做什么决定。
第三,看区间和成本,别看峰值。Terminal-Bench 把置信区间、成本与解决率并列,是把"可靠性"和"经济性"当成能力的一部分来量;而 GPT-4 从 2.7% 到 28.3% 的例子说明,任何单点分数都不该被当成模型自身的属性。对使用者来说,选 agent 的第一问不是"它最高考过多少分",而是"它一次做完整类活的概率多大、花多少钱"。
## 带走什么
如果你是靠评测分数选工具的人:见到任何榜单主张,先问三句——考题经过人工核验吗?测的是一次回答还是一段工作过程?报的是区间还是峰值,有没有说清用的是哪套脚手架?
如果你在开发 agent:给自己产品建任务集之前,先质检自己的判分测试——38.3% 和 61.1% 这两个数字说明,烂题不是小概率事件;把成本和耗时从第一天就记进日志;难度按"熟悉情况的人要干多久"分档,比按题目来源分档有用得多。
如果你只是看热闹:下次再见到"某模型超越人类"的标题,可以想想 GAIA 那 15%——机器真正欠账的地方,往往不是人类觉得难的考试,而是人类觉得不值一提的杂活。
你的工作里有哪些"人类 92%、AI 15%"的杂活?欢迎在评论区聊聊。
来源:GAIA 基准论文摘要页 https://arxiv.org/abs/2311.12983