今天几乎所有大模型的介绍里都会出现同一个词:Transformer。但很少有人记得,这个架构名字第一次出现,是在一篇机器翻译论文里。2017 年 6 月,八位作者把论文挂上 arXiv,标题只有一句话——《Attention Is All You Need》。它要解决的问题非常具体:怎样把英文翻成德文和法文,翻得更好、训得更快。九年过去,翻译早已不是主角,这个架构却成了默认底座。这篇就沿一条时间线把它讲清楚:注意力从哪来,2017 年那一步做了什么,后来者怎样把同一底座用成两种东西,以及为什么"Transformer"这个名字本身,推不出任何能力。
## 2014 年:注意力只是补丁
先回到架构的前史。2014 年,Bahdanau、Cho、Bengio 三人发表论文,直指当时神经机器翻译的痛点:主流做法是编码器-解码器,编码器把整个源句子压成一个固定长度的向量,解码器再从这个向量生成译文。他们的判断很直接:固定长度的向量就是性能瓶颈。句子一长,所有信息挤进同一个向量,翻译质量就受损。
他们提出的修补办法,是让模型在预测每个目标词时,自动去(软性)搜索源句子里与这个词相关的部分,而不需要把这些部分显式切成硬段。这就是注意力机制的早期形态:给不同位置的信息按相关性分配权重。论文报告,在英法翻译上达到了与当时最先进的短语级统计翻译系统相当的性能;定性分析还显示,模型学到的(软)对齐与人的直觉相符。
注意此时的位置:注意力是挂在循环网络身上的一个补丁。主干仍然是逐词处理的编码器-解码器,注意力只负责在两端之间牵线。
## 2017 年:把补丁变成整台机器
三年后,《Attention Is All You Need》做了那个决定性的减法。论文开篇的定性是:当时主导的序列转换模型基于复杂的循环或卷积网络,性能最好的模型还要靠注意力机制连接编码器和解码器。而这篇论文提出的新架构 Transformer,仅基于注意力机制,彻底弃用了循环和卷积。
减法换来了什么?摘要的说法是:在两项机器翻译任务上质量更优,同时更可并行,训练所需时间显著更少。具体数字:WMT 2014 英德翻译 28.4 BLEU,超过既有最佳结果(含集成模型)2 BLEU 以上;WMT 2014 英法翻译创下 41.8 BLEU 的单模型新纪录,只用了八块 GPU 训练三天半。摘要特别注明,这只是文献中最佳模型训练成本的一小部分。
论文还做了一件容易被忽略的事:把同一个架构用到英语成分句法分析上,在训练数据充足和受限两种设定下都成功。翻译论文在结尾悄悄宣告了一个更普遍的野心:这不只是翻译的架构。
## 2018 与 2020:同一底座的两种用法
之后两年,底座没变,用法分岔了。
一条路线是理解。2018 年 10 月,BERT 论文把 Transformer 的编码器部分拿来,从无标注文本预训练深层双向表示:所有层都同时看左右两边的语境。用法是"预训练+微调":下游任务只需加一个输出层,不需要大改任务专属架构。结果是 11 项自然语言处理任务的新纪录,GLUE 推到 80.5%(绝对提升 7.7 个点),SQuAD v1.1 问答 Test F1 到 93.2。
另一条路线是生成。2020 年 5 月,GPT-3 论文把宝押在规模上:1750 亿参数的自回归语言模型,比此前任何非稀疏语言模型大十倍。用法反过来:所有任务不做任何梯度更新、不微调,任务和示例全部用纯文本写给模型看(few-shot)。摘要的结论是:扩大规模大幅提升了这种任务无关的少样本能力,有时能与既有最优的微调方法竞争;同时也坦承部分数据集仍然困难,还点出大规模网络语料训练带来的方法学问题(这一层另有专篇讨论,此处不展开)。摘要还报告:GPT-3 生成的新闻样本,人类评估者难以与人写的区分。
同一篇 2017 论文启发出两条路:BERT 用编码器做双向理解,GPT-3 沿自回归做生成,走出了几乎相反的产品形态。
## 名字推不出能力
把这条线摆开,就能理解知识目录里那条定义的分量:Transformer 是一类利用注意力机制处理表示之间关系的神经网络架构;《Attention Is All You Need》提出了早期形式;后来的模型各有发展,不能由一个名称推出全部能力。
三层要分开看。架构是一层:注意力怎样组织、编码器还是解码器。训练是另一层:用什么资料、预训练还是微调、规模多大,BERT 和 GPT-3 的分岔大半发生在这里。使用又是一层:接什么工具、放进什么系统,那是完整 Agent 的事,不是架构的事。
还有一个词值得校准:注意力。它是计算方法(按相关性加权使用其他位置的信息),不等于人类的注意体验,也不能单独证明系统理解了什么。顺带回答目录里的常见问题:所有 AI 都用 Transformer 吗?不是。AI 包含多种方法,Transformer 只是其中重要的研究方向之一。
另外要交代一句:本文四个事实来源都是 arXiv 摘要页,页面上不载利益冲突与资金声明,本文对此不作断言;摘要页也不载作者机构归属,故全文不点名任何机构。
## 我的三个判断
以下是我把四份材料放在一起综合出的判断,不是任何单一来源的结论。
判断一:2017 年的关键一步不是发明注意力(它 2014 年就有了),而是敢让它独自撑起整个架构。弃掉循环换来可并行训练,训练成本降到"一小部分",后面的事才成为可能:能便宜地训,才谈得上往大了训。
判断二:BERT 与 GPT-3 的分岔说明,能力的大头在架构名之外。双向还是自回归、微调还是 few-shot、参数规模差着十倍,这些选择写在训练和使用两层里。听到"基于 Transformer",你其实什么都不知道,还得问后面两层。
判断三:注意力的命名是营销级的成功,也是理解级的陷阱。它借了人类认知的词,做的却是加权求和的数学。我的建议是:读论文和产品宣传时,把"注意力"一律在心里替换成"按相关性取信息",过度拟人的解读会自动消失一半。
## 你能带走什么
如果你在选模型或读产品页:别停在架构名。问三个问题:什么结构(编码器/解码器/混合)、怎么训的(资料与规模)、怎么用(是否接工具与检索)。三层各有各的功课,名字只回答第一层的一半。
如果你在学技术史:记住 2014 和 2017 的分工。前者发明补丁,后者扔掉主干。创新常以减法的形式出现:删掉一个组件的前提,是想清楚它原本承担的功能由谁接手。
如果你只是看热闹:下次看到"某某大模型基于先进注意力架构"的宣传,你现在知道了——注意力 2014 年就有,2017 年成为整机,之后每个模型的故事都写在训练和使用两层里,不在名字里。
你第一次意识到"到处都是 Transformer"是在什么场景?欢迎在评论区聊聊。
来源:《Attention Is All You Need》arXiv 摘要页 https://arxiv.org/abs/1706.03762