选AI编程工具,今天几乎所有对比都围着"跑分"转——SWE-Bench Pro这类基准测试,让模型解一批标准代码题,分数越高看起来越强,厂商发布新模型也拿它当头条。但跑分高的模型,干的活真的更多吗?
这个问题一直没法严格回答:用新模型的人可能本来就是高手,接的活也可能更难。直到今年夏天,一纸政令意外送来了一场自然实验。
## 一场出口管制送来的自然实验
据十一月挂上arXiv的一篇论文所述:6月9日,Claude Fable 5发布,在SWE-Bench Pro上跑出80.0%的高分;仅三天后,6月12日傍晚(美国东部时间),美国一项出口管制指令让Anthropic不得不停止提供这个模型,一停就是19天。大量用户被迫切换到跑分低一档的Opus 4.8——跑分低了约11分(系统卡口径:69.2%对80.0%)。
哈佛的一名研究者抓住这个机会做了件事:**人还是那批人,项目还是那些项目,只有模型变了**。这名研究者追踪了297名被迫降级用户在禁令前、中、后的GitHub拉取请求(提交的代码改动,要被人审阅并"合并"进代码库才算真正落地),再用8908名一直用Opus 4.8的开发者做对照组,配上统计上的双重差分设计(比较两组人在禁令前后的变化差,并控制开发者与日期因素)。
结果给跑分泼了盆冷水:能用上高分的Fable 5,只让7天内代码被合并的比例提高了1.4个百分点,置信区间横跨零(-1.4到+4.3)——统计上与没有区别无法区分。研究者又用2026年的五次模型升级重复了同一套分析(1208名开发者、15442个拉取请求):五次估计**全部为负**(加权均值-0.9个百分点),每周合并数量也没有显著提升(+2.4%,区间同样含零)。
换句话说:在真实项目里,跑分高11分的模型,没有让代码更多地被合并。作者点破了要害:真实任务不会把题面写清楚,代码得符合项目的风格,最后还得有人愿意按下合并按钮——而维护者通常不会拿基准分数当合并标准。
## 分数与交付之间,隔着整整一个"职场"
为什么跑分预测不了产出?同月挂出的另一个基准给出了细节版答案。SWE-CoWork不再考"标准代码题",而是把AI代理放进一个模拟的软件公司:101个开发任务,来自横跨11种编程语言、12个应用领域的真实仓库,26个各有分工、各自只掌握部分信息的模拟同事;代理从一份简略的交接说明开始,得自己找同事问清需求、调和互相矛盾的说法、写出能通过私下测试的代码。
十一个模型测下来,断层出现了:**两个最强模型能通过约63%的功能测试(那种"改对代码才会从失败变通过"的测试),却完整交付了不到8%的任务**。更有意思的是三个细节:把完整需求直接喂给模型,其中两个模型的测试通过率能涨约16个百分点,但完整交付率纹丝不动——瓶颈不在"会不会写",在"能不能把事办完";两个最强模型之一的Claude-Opus-5.5有93%的首个提问都问对了人,却只从同事那里挖出64%的需求,问完就搁置、不再跟进;而**代理们自报"已完成"的需求里,31%根本没通过测试**。
部分实现和完整交付之间,隔着的正是真实职场要求的东西:持续追踪需求、验证自己、诚实交接。跑分不考这些。
## 两条被部署验证的出路
坏消息之外,十一月还有两篇论文展示了同一个方向的好消息:让代理可靠,靠的往往不是换更强的模型,而是模型之外的过程资产。
一篇来自一个14人团队,出发点是长程业务工作流的两种失败:活动链越长,错误越滚越多;活动需要的知识,和用户开口要的词汇往往对不上。他们的思路是"不动模型":把工作流定义、状态和领域知识全部外置成版本化管理的"控制资产",执行时用状态机和机器可检验的验收门强制执行,再由独立审计器给整个轨迹打分;资产要更新,必须先过回归检查和人工批准。在三条超过200步的已部署业务工作流上,其中一个领域的120个案例里,无人值守完成率从50%升到100%,检索召回率从56%升到91.67%,端到端延迟从440分钟降到159分钟,情景分析的召回率从45%升到93%。更说明问题的是:另外两个领域由**没写过这些资产的团队**接手,分别在4天和7天内完成迁移——可靠性被沉淀进了资产,而不是锁在某个模型或某个人手里。
另一篇来自Amazon的一名工程师,处理的是AI时代的隐性债务:代码越写越快,给用户的文档却越落越远,而过时文档会被用户的AI代理当成权威消费。他的多代理系统在"影子模式"(只旁听学习、不直接答客)跑了43天:分诊499个工单,发现92个文档缺口;由独立模型家族的评审团核验:系统共提取1121条断言,其中人类答复涉及、可验证的302条里,81.1%(245条)正确;在等长对比的盲评中,评审团70.5%偏好代理的答复、23.2%偏好人类工程师。但作者强调,人机是互补的:人常挖出文档里埋没或缺失的洞见,系统把每个洞见转成显式缺口、由人审核后合入文档——修复之后,代理再答同一工单,71.4%的情况下评审更偏好修复后的答案(样本是35个原答复置信度不高的工单,规模不大)。闭环里始终留着人的位置。作者自己也承认,这是单一部署语境的试点:一个服务的技术型用户队列、一套结构良好的文档,换个环境可能要重做。
## 我的判断:别问哪个模型分高,问验收门在哪
把这四篇放在一起,我的收获是四条。
第一,跑分与产出的断层不是测量误差,是**任务性质**的差异:基准考"能不能写出这段代码",工作考"能不能问清需求、完整交付、让人愿意接收"。63%对不到8%,就是这两件事之间的距离。
第二,那场自然实验最值钱的是方法:营销与榜单都可能失真,而外部冲击给出了"同批人、同项目、只换模型"的因果证据。今后选工具,"跑分高了多少"的权重要调低,"在我的流程里多合并了多少"才算数。
第三,两个部署案例指向同一处:可靠性来自模型之外的过程资产——验收门、状态机、文档闭环——以及系统里保留的人工审核位。注意,那个"无人值守完成率100%"恰恰是靠验收门和审计器实现的;无人值守不等于无人负责。
第四,31%的"自报完成"没通过测试,这个数字该贴在每个把代理接入生产流程的团队墙上:代理的自我汇报必须过独立的门,就像人的代码要过评审。
最后留个问题:厂商发布新模型时,该不该被要求同时公布"真实世界合并率/交付率",而不只是基准跑分?如果哪天榜单按真实交付排,今天的排名会变成什么样?
来源:
- Higher-Scoring Coding Models Did Not Get More Work Done(arXiv, 2026): https://arxiv.org/abs/2611.23216