语言模型学写文章,没有人一句一句教过它。整个互联网就是它的免费教材,所有文本早已写好。但机器人学装电池,没有任何现成教材:每一次抓取、每一次用力,都得有人在物理世界里真实地做一遍、录下来,才产生一条训练数据。这种不对称的背后,是一个困扰了 AI 几十年的老问题。早在 1988 年,机器人学家莫拉维克(Hans Moravec)就在《Mind Children》里指出:对机器来说难的,恰恰是对人来说容易的——感知和运动;对机器来说容易的,恰恰是对人来说难的——推理。这一观察后来被称作莫拉维克悖论。在大模型把"推理"做成廉价商品的年代,悖论的另外一半反而越来越贵。
"具身智能"(embodied AI)指的是必须通过物理身体获取信息、作用于物理世界的智能——它既是传统机器人(依赖人工编程)的下一步,也是软件 Agent(生活在纯数字环境里)的镜像。2023 年到 2024 年,机器人领域密集出现了一批论文,路径各不相同,但并排读下来指向同一个结论:卡住具身智能的不是算法,是数据——更准确地说,是物理交互数据没有低成本、规模化的获取渠道。语言有互联网,物理交互没有。
## 语言模型有互联网,机器人有什么
Open X-Embodiment 论文在开头直白地描述了机器人学习的传统做法:为每一个应用、每一个机器人、甚至每一个环境,单独训练一个模型。换句话说,数据不能复用——机器人 A 攒下的经验,对机器人 B 一文不值。
语言模型为什么不用走这条老路?因为它们的数据获取成本趋近于零:文本是人类为自己的目的生产的,AI 只是顺手捡走。机器人动作数据恰恰相反:它不会天然存在,只能专门生产——要么人握着机器人的手做示范,要么让机器人在真实世界里反复试错。生产有成本,成本还摊不平。
这就是莫拉维克悖论在大模型时代的真正含义:难点不在"身体"本身,而在身体数据没有规模化获取渠道。围绕这个缺口,四条数据路线相继出现:把数据造便宜、把数据拼起来、把知识从互联网搬过来、把旧数据重复用。一条条看。
## 路线一:把造数据的机器做便宜
2023 年 4 月,一篇名为 ALOHA 的论文(arXiv:2304.13705)提出了一个直接的问题:能不能让学习使低成本且不精确的硬件完成精细操作任务?(Can learning enable low-cost and imprecise hardware to perform these fine manipulation tasks?)
精细操作——比如穿扎带、装电池——传统上需要高端机器人、精密传感器或细致校准,全都昂贵且难搭建。ALOHA 反着来:用低成本、不精确的硬件,配一个定制的遥操作接口让人直接示范,然后做端到端模仿学习。
模仿学习的麻烦在于:策略的小误差会随时间复合,人类演示本身又是非平稳的。ALOHA 给出的算法 ACT(Action Chunking with Transformers)不逐步预测下一动作,而是学习动作序列上的生成模型,一次输出一段动作。结果:机器人学会了 6 个真实世界的困难任务,例如打开半透明的调味杯、装电池,成功率达到 80-90%——只用了 10 分钟的演示数据。
这条路线的实质,不是训练更强的模型,而是把"生产一条演示"的单位成本压到可接受的范围;数据便宜了,算法的短板就能用数量补。
## 路线二:把所有机器人的数据拼在一起
单台机器人的数据不够,那所有机器人的数据加起来呢?Open X-Embodiment(arXiv:2310.08864,2023 年 10 月首发)要回答的就是这个问题。摘要直接设问:这样的整合能在机器人领域发生吗?(Can such a consolidation happen in robotics?)——NLP 和计算机视觉已经走过了"大规模多样数据→预训练通用骨干→支撑下游应用"的路,机器人能不能复制?
他们的做法是先干体力活:通过 21 家机构的协作,把 22 种不同机器人本体的数据聚合起来,统一成标准化数据格式,覆盖 527 项技能和 160266 个任务。在此基础上训练出一个高容量模型 RT-X,结果出现了正迁移(positive transfer):借用在其他平台上学到的经验,多个机器人的能力都得到提升。
这是机器人学习第一次部分复制了 NLP 的"预训练整合"范式——摘要设问的一个谨慎的肯定回答。但前提是明确的:数据格式得先标准化,否则无从拼起;而且"部分"两个字不是谦辞,跨本体的鸿沟并没有因此消失。
## 路线三:把互联网的知识搬进动作
物理数据贵,互联网数据免费——那能不能把互联网已经教会模型的知识,搬进机器人的动作里?2023 年 7 月,RT-2(arXiv:2307.15818)给出了一个极简配方:把动作直接表示成 text tokens,与自然语言放进同一个格式,然后在机器人轨迹数据和互联网规模的视觉-语言任务(如视觉问答)上共同微调(co-fine-tune)一个顶尖视觉-语言模型。
他们把这类模型命名为 VLA(vision-language-action models,视觉-语言-动作模型)。经过 6k 次评估试验,RT-2 展示出一批来自互联网规模训练的涌现能力:对新物体的泛化显著提升,还能理解机器人训练数据里从未出现过的指令——比如把物体放到一个特定的数字或图标上。
这条路线的实质是"外包":语义常识(什么是数字、什么是图标、"放到上面"是什么意思)外包给互联网语料,昂贵的身体数据只负责动作映射本身。能外包出去的常识越多,需要用物理演示教的东西就越少。
## 路线四:让旧数据陪新任务
2024 年 1 月,Mobile ALOHA(arXiv:2401.02117)给 ALOHA 加上了移动底盘和全身遥操作接口,用来采集需要双臂加全身控制的移动操作数据。但它对数据路线的贡献是一个更省钱的发现:训练新任务时,与既有的静态 ALOHA 数据共同训练(co-training)——每个新任务只要 50 条演示,co-training 就能把成功率最高提升 90%。
靠这个配方,机器人能煎好一只虾并端上桌、打开双门壁柜把沉重的锅收进去、呼叫并进入电梯、在水龙头下把用过的平底锅简单冲洗。注意"50 条演示"这个数字:新任务的边际成本被进一步压低——旧数据成了公共底仓,新任务只需要在上面薄薄铺一层增量演示。
这条路线的实质是复用:数据不再是单次消耗品,让每一条已经采过的演示,继续为新任务打工。
## 合流,和我的三个判断
2024 年 10 月,π0 论文(arXiv:2410.24164,最后修订于 2026 年 1 月)把四条路线拧到了一起。它在预训练视觉-语言模型之上加了一个 flow matching 架构,继承互联网规模的语义知识——这是路线三;训练数据来自单臂、双臂、移动操作等多个灵巧机器人平台,规模大、种类多——这是路线一与二的合流;它还能通过微调获得新技能——呼应路线四。折叠衣物、清理桌面、组装纸箱这样的任务进入了评估清单。即便如此,摘要仍然承认:要让机器人学习达到真实世界系统所需的通用性,在数据、泛化和鲁棒性方面仍面临重大障碍(major obstacles in terms of data, generalization, and robustness)。
以下三个判断,是我把五篇论文并排读出来的综合,不是任何一篇原文的结论。
第一,具身智能当前的竞争是数据战略之争,不是模型架构之争(我的判断)。无论 ACT 的动作分块还是 π0 的 flow matching,架构创新本质上是"让有限数据更可用"的手段;真正的胜负手,是谁能把物理交互数据造得更便宜、拼得更集中、用得更反复。四条路线——生产、聚合、迁移、复用——全是数据经济学,不是算法学。
第二,机器人只"部分"复制了预训练范式(标准解读)。OXE 的 positive transfer 证明了跨本体数据拼起来有用,但拼的前提是格式标准化,红利也有限度——π0 仍然要按具体平台配数据。跨本体鸿沟被收窄,没有被消除;"一个模型通吃所有机器人"到今天仍是假设,不是工程事实。
第三,莫拉维克悖论的反转决定了 AI 的商业化次序(行业观察)。软件 Agent 的交互介质是数字的,数据在使用中近零成本地自动积累;具身 Agent 的每条动作数据都要支付生产成本。所以分界线不是"智能水平",而是"每单位智能的数据获取成本"——软件 Agent 商业化走在前面,与聪明不聪明无关。
## 带走什么
下次看到"机器人做到类人操作"的新闻,可以用三个问题掂量它的成色:成功率是基于多少演示数据——10 分钟、50 条,还是规模化采集?这些数据能不能跨任务、跨本体复用,还是一次性的?模型的语义常识来自互联网迁移,还是纯物理试错?
三个问题分别对着数据的生产成本、聚合与复用、知识迁移。对普通读者,还有一条更值得带走:具身智能的真实门槛不是"机器人够不够聪明",而是数据的经济学。谁先把物理交互数据变得像文本一样便宜、可流通,谁就拿走机器人领域的"预训练时刻"。
四条数据路线里,你觉得哪一条会最先跑通?欢迎在评论区聊聊。
来源:Open X-Embodiment 论文 arXiv 页面 https://arxiv.org/abs/2310.08864