Transformer是一类利用注意力机制处理表示之间关系的神经网络架构。《Attention Is All You Need》提出了其早期形式;后来不同模型对架构和训练方法作出各自发展,不能由一个名称推出全部能力。
Attention关注什么
注意力机制帮助模型在当前计算中利用相关位置的信息。它是计算方法,不等于人类的意识或注意体验,也不能单独证明系统理解了某个对象。
架构与训练分开看
模型采用什么结构、用什么资料训练,以及使用时接入哪些工具,是不同问题。一个Transformer模型可以用于不同任务,完整Agent还需要围绕目标组织观察与行动。
为什么需要认识这个概念
理解架构,可以更清楚地讨论上下文、长序列和模型表示。但在选择任务方法时,还需要看资料、评价、成本和系统使用方式,不能只比较架构名称。
理解这些问题时,可以结合大语言模型继续比较相关概念的含义与适用范围。
相关项目探索,可从LingoAI的AI方向继续了解。
常见问题:所有AI都使用Transformer吗? 不是。AI包含多种方法,Transformer也只是其中的重要研究方向之一。
公开参考: Attention Is All You Need。