让AI agent干一个活——修一个代码缺陷、跑一轮调研、处理一批文档——到底要花多少钱?你多半答不上来。厂商报的是"每百万token几块钱",排行榜比的是准确率,但一个任务从头跑到尾的真实总成本,几乎没有地方能查到可靠数字。
2026年10月底到11月中,四篇挂上arXiv的论文把这份账单正面拆开算了一遍。结论对每个要为此掏钱的人都重要:标价能差出11倍多,排行榜分辨不出好坏,成本大头藏在你看不见的地方,而模型推理里近一半的内容,删掉也不影响结果。
## 标价差11倍,排行榜分不出高下
先看选择环节。11月16日挂出的一篇论文,从Holistic Agent Leaderboard(HAL)里提取了58197条"运行-任务"记录,聚焦分析SWE-bench等七个基准。三个发现,一个比一个扎心。
第一,排行榜上相邻档位的准确率差异,大多在统计上不可分辨:七个基准的准确率-成本前沿上,35个档位里27个分不清谁真的更好。第二,SWE-bench上,一次花费34.16美元的运行,准确率比花费170.78美元的榜首低14.6个百分点——听起来贵的确实强,但用现有的任务集合,没法在统计上证明两者的准确率真的有差别。五倍价差是否物有所值,现有任务给不出答案。第三,连"花了多少钱"本身都不可靠:论文按标准token价格逐项重建了各家的成本,发现公布的数字与重建值最高相差11.7倍——有一次50个任务的运行,公布成本489.29美元,重建出来只要41.76美元,差别出在提示缓存的记账方式上。
作者的对策也很朴素:别穷举评测,用"逐轮淘汰"——先让所有候选者花小钱跑少量任务,每轮淘汰较弱的一批,再把预算集中给幸存者。这一招在SWE-bench上用穷举开销的6.6%就达到了论文设定的选择目标,七个基准里六个成本最低、第七个打平。作者也如实说明:如果事先无法预知每个任务的开销,或者要求精确选出那一个最优者,这种优势会收窄。
## 钱花在哪:不是"写",是"重读"
账单的结构更反直觉。11月9日挂出的一篇系统论文,分析了真实用户与基准测试中的执行轨迹(Claude Code、Codex等工具),发现**最大的开销不是模型生成新内容,而是反复重读旧上下文**:agent每走一步,都要把到目前为止的全部历史作为输入重新计费一遍。会话越长,这部分"缓存读取"的占比越高,两组轨迹里分别从13%、30%涨到53%、73%。一次在10万token上下文里执行的简单搜索,哪怕自己几乎不产出新内容,也要按相当于1万个新输入token加1千个输出token的量计费。
工具调用也在悄悄抬价:同样多的token,调用次数多的执行,成本能高出26倍——因为每次调用都是一次新的全量计费。更浪费的是,工具吐回来的内容,平均只有27%真正被用到;检索型任务里,最多89%的轮次耗在翻文件上。长会话的成本,能到短会话的10到100倍。
顺带一提,他们做的优化层——不改模型、不改agent行为,只在外面套一层系统去压缩上下文、合并调用——就把端到端成本降了最多35%,准确率保持在原来的97%。钱有多好省,反过来就说明原来有多好浪费。
## 近一半的推理,删了也不影响结果
"浪费"能被精确测量吗?11月4日挂出的一篇论文给了框架:所谓token浪费,就是"删掉之后不影响有用工作"的内容。他们把agent的完整执行轨迹规范化,让一个裁判模型逐段标记可删除的部分——复述、填充、重复抓取、绕路——再真的删掉、重跑、验证结果是否保持。
他们特意区分了两种内容:"严格浪费"——复述、填充、重复抓取——和"探索性绕路",即事后看多余、当时却合理的尝试。结果:在线剪枝实验中,删掉41%到46%的模型推理内容,两个基准上的任务表现大体不变。
比数字更重要的是结构发现:浪费的多少,随任务和agent设置的变化,大于随模型的变化;同一个模型配不同的外壳,可能引入不同的低效来源。换句话说,浪费主要是工程结构的产物,不是模型偷懒——指望"下一代模型自动省钱",大概率等不来。
## 多agent分工的经济学冷水
第四篇论文测的是很多人关心的方案:把任务拆给多个agent分工,是不是又好又省?两位来自Linux基金会AI与数据工作组的研究者,用135个编码任务、2430次运行、六种架构做了对照——整个实验总共只花了67.16美元,倒是很符合主题。
结论分三层。第一,协议不背锅:agent间接力协议每次交接只增加7.2毫秒,占流水线总时长的0.11%,费用为零。第二,贵在"拆"本身:规划者-编码者-审查者的三段流水线,成本是单次强模型调用的3.22倍,时间3.24倍,解出来的题一道没多。把规划和审查换给便宜模型?成本降到原流水线的0.39倍,但通过率掉6.7个百分点,还是比单次调用更贵、更慢、更差——而且便宜模型"想"得更多,推理token占比从21.9%涨到37.6%,把省下的单价又用量顶了回去;论文里那个预测收支打平点的模型,因此低估了约19%的实际成本。第三,真正省钱的路是按任务路由,不是按角色分工:一个事后诸葛亮式的"神谕"逐题在强弱两个模型间挑,能做到94.3%的通过率,每解一题只花0.0098美元——是强模型单调用(0.0198美元)的一半。
当然,"神谕"是事后才知道答案的。论文里真正搭出来的零样本路由器,抓住了成本却没抓住准确率:难题档的运行,它把86.7%送给了便宜模型;送过去的有28.8%失败。按任务分的粒度是对的,路由本身怎么做好,是下一个问题。论文的原话很干脆:路由整个任务,根本不需要agent间协议。
## 我的判断:计价单位该换了
四篇拼起来,我的收获是三条。
第一,按token单价买agent服务,就像按砖头价买房子。该问的单位是"每解出一道题,端到端花多少钱,准确率的差别在统计上分辨得出来吗"。排行榜如果不报成本口径和统计功效,就只是广告。
第二,账单的本质是"为记忆反复付费":架构决定大头,单价只是系数。这解释了一个悖论——为什么把流水线里的角色换成便宜模型反而省不下钱(想得更多、写得更多,用量把单价优势顶了回去),而压缩上下文、减少无谓工具调用立竿见影(35%)。
第三,浪费是结构性的,杠杆就在结构里:浪费随任务与外壳变化大于随模型变化,那么省钱的优先级应该是工作流设计、上下文管理和按需路由,而不是等模型降价或迷信多agent分工。
如果你正要为公司采购agent工具,三个问题可以直接抄走:一个典型任务端到端多少钱?和竞品的准确率差,统计上可分辨吗?报价是公布口径还是能按标准价格重建?
最后留一个值得讨论的问题:你付费买的是"答案",但账单的大头是AI"重读自己的记忆"——这份成本结构,应不应该对每个用户透明?排行榜,是不是早该改按"每解题成本"来排了?
来源:
- Beyond Leaderboard Ranks: Selecting Software Engineering Agents Under Budget Constraints: https://arxiv.org/abs/2611.21515