你一定见过这样的演示视频:给 AI 一句话,它自己打开浏览器、比价、填表,再切到电子表格里填数据,鼠标动得像老手。看起来,把工作交给它只差一句话。
但很少被剪进视频里的,是另一组画面:考试成绩。
2024 年 4 月,OSWorld 基准在 arXiv 发布,第一个把智能体放进可扩展的真实计算机环境里考试的同类基准:369 道来自真实网页和桌面应用的任务,涉及文件读写和跨应用流程,环境横跨 Ubuntu、Windows、macOS 等操作系统。每道题都出自真实使用场景,配有初始状态配置和专门的执行式判分脚本,强调可靠、可复现的评分。这场考试有个特点——人类基线是 72.36%,而当时最好的模型只做出 12.24%。论文分析,模型主要卡在两件事上:GUI 定位(不知道点在屏幕哪里)和操作知识(不知道下一步该干什么)。
两年多过去,这条及格线一动不动,分数却在肉眼可见地爬:
- Anthropic 率先把 computer use 开进公测,自己形容它"实验性,有时笨拙、容易出错"。OSWorld 的纯截图类目里,它考了 14.9%,次优的 AI 系统只有 7.8%;
- OpenAI 推出 Operator 和背后的 Computer-Using Agent(CUA)时,OSWorld 成绩是 38.1%。它贴出的对照表里,上一代最好成绩 22.0%——转引自 Anthropic 的发布页;
- 2025 年 7 月 17 日,OpenAI 又把 Operator 的浏览器操作和深度研究的资料整合合并成 ChatGPT agent:自带一台虚拟计算机,配视觉浏览器、文本浏览器、终端和 API 直连;
- Anthropic 发布 Claude Sonnet 4.5 时,OSWorld 以 61.4% 领先。他们自己写道:就在四个月前,Sonnet 4 还以 42.2% 领先。发布页里还演示了用同款能力的 Claude for Chrome 扩展:直接在浏览器里干活,浏览网站、填写表格。
从 12.24% 到 61.4%,人类的锚点始终是 72.36%。这是 AI 领域少见的"及格线固定、追赶全程可看"的比赛。
## 它是怎么用电脑的
这类智能体不走 API 捷径。CUA 的做法是把屏幕当像素直接看,跑一个三步循环:截图进入模型上下文,这是感知;结合当前和过去的截图与操作,用思维链推理下一步,这是推理;再用虚拟鼠标和键盘执行点击、滚动或打字,一直做到它判断任务完成、或需要用户输入为止——用的是人类同款界面,多数步骤都这样自动处理。它组合的是 GPT-4o 的视觉能力和用强化学习训练出的推理,训练对象就是人们在屏幕上看到的那些按钮、菜单和输入框。好处是通用:凡是为人设计的软件,理论上它都能上手;代价是每一步都要"看对、点对"。OpenAI 还观察到测试时扩展:允许的步数越多,成绩越好。
Anthropic 把同一个思路说得更直白:与其为每一项具体任务制作专门工具,不如教模型通用的电脑技能,让它直接使用那些为人设计的标准软件。他们做浏览器智能体的理由也摆在明面上:太多工作发生在浏览器里,能看见用户眼前的画面、点按钮、填表格,模型就有用得多。试点 Claude for Chrome 扩展时,他们把操作范围收进浏览器,先只放 1,000 名 Max 套餐用户进来——这些人被他们称为受信任用户,可以让 Claude 在浏览器里代替自己采取行动。
ChatGPT agent 把这套配置又往前推了一步,工具箱更全。合并的原因是两位前身各有短板:Operator 会在网页上滚动、点击、打字,却做不了深度分析、写不出详细报告;深度研究那条线擅长分析和整理信息,却碰不到网页,也拿不到需要登录才能看的内容。合并后的系统按任务自己挑工具:简单问题用文本浏览器开页;需要看排版就切到视觉浏览器;需要处理文件,就在终端里下载、跑命令修改,改完再回到视觉浏览器里查看结果。这一切都发生在它自带的虚拟计算机上,多个工具来回切换,任务需要的上下文也不会丢。遇到要登录的网站,用户可以接管浏览器自己完成登录,再交还给它继续。工作途中你随时可以打断——补充指令、改变方向,甚至整个换掉任务,它会从被打断的地方接着做,之前的进度不丢。
## 分数背后的三个坑
第一个坑:尺子不统一。61.4% 用的是官方 OSWorld-Verified 框架、最多 100 步、4 次运行取平均;2024 年论文又是另一套跑法。进步是真的,但拿不同年份的分数直接相减之前,得先问评测框架、步数上限和运行次数。
第二个坑:任务域方差极大。同一个 CUA,在 WebVoyager 上 87%,在 OSWorld 上只有 38.1%,WebArena 上是 58.1%。87% 是网页任务,38.1% 是整台电脑——三个分数根本不是同一场考试。演示视频爱拍前一种任务。
第三个坑:判分的是谁。WebVoyager 的题目来自 15 个真实网站,判分由 GPT-4V 自动完成,论文报告它与人类判断的一致率是 85.3%——高,但不是全对;WebVoyager 自己那代智能体当时做到 59.1%。再往前倒,2023 年 7 月 WebArena 问世时,最好的 GPT-4 智能体端到端成功率只有 14.41%,人类是 78.24%。
## 能力的背面是攻击面
浏览器智能体看得见页面上的一切,包括藏起来的恶意指令。Anthropic 打了个比方:就像人们在收件箱里会遇到钓鱼,浏览器智能体面对的是提示注入——恶意方把指令藏进网页、邮件或文档里,AI 在用户不知情的情况下被诱去采取有害行动。他们公布过红队测试:123 个测试用例、29 种攻击场景,在没有防护时,攻击成功率是 23.6%——其中一个例子,是一封伪装成"安全团队"的邮件让 Claude 未经确认删掉了用户的邮件。所以厂商把敏感操作交回人手:CUA 遇到登录、验证码这类动作,会停下来请用户确认;Claude for Chrome 则把站点级权限当第一道防线,用户可以随时放行或收回对特定网站的访问。
## 我的三个判断
判断一:这条曲线的起跑线是论文画的,后面几乎每一格刻度都出自厂商自报。读进步,先问尺子,再看分数;OSWorld 的价值恰恰在于人类基线 72.36% 是个不动的锚点。
判断二:浏览器智能体的护城河不是"会点",是"敢托"。分数决定演示上限,可靠性和安全性决定哪些任务真正先被交出去——重复的、可核验的、低风险的。这也解释了为什么厂商一边晒分数,一边又用小规模用户试点、把权限放在能力前面。
判断三:平均成绩对个人意义不大。87% 和 38.1% 是两个世界;分数也只是分数,离产品还隔着一段——Operator 刚亮相时只是研究预览,只向美国的 Pro 用户开放。用之前该问的是:在你常用的那类网站、那类任务上,它表现如何,以及现在谁能用上。
## 把鼠标交给它之前的三条原则
1. 先交"流程多、风险低"的活:查填资料、跨网站搬信息、整理进表格。
2. 三条红线不离人:付款、删除、登录凭证。厂商都在关键处停下等人,你也一样。权限上可以学 Claude for Chrome 的做法:按网站逐个决定,哪些放行、哪些不放行,随时能在设置里收回。
3. 要可核验的交付:订单号、回执、操作记录,而不是演示视频里的"已完成"。
从 61.4% 到 72.36%,最后这段路要补的可能不只是能力,还有信任。如果只让你放心交出一件浏览器里的差事,你会选哪件?评论区聊聊。
来源:OSWorld 论文(arXiv:2404.07972) https://arxiv.org/abs/2404.07972