2024 年夏天,全网都在嘲笑 AI 的一件蠢事:问它 "strawberry 里有几个字母 r",GPT-4o 和 Claude 都理直气壮地回答"两个"。这个梗火了好几周,连 OpenAI 在 9 月发布推理模型 o1 时,The Verge 的报道都拿它当测题——o1 答对了。
大家都在笑模型笨。但真正的答案有点反直觉:模型不笨,它只是从来没"看见"过那些字母。
我用 OpenAI 开源的分词工具 tiktoken 实测了一下。在当时 GPT 系列所用的词表下,strawberry 被切成三块:str、aw、berry。模型收到的不是十个字母,而是三个编号块,块里没有单独的 r,就像一段乐谱的编号里听不出音高。后来词表从约十万条扩到约二十万条,strawberry 的切法变成 st、raw、berry——还是三块,还是没有字母。
这不是哪个模型的 bug,而是几乎所有大语言模型的地基。阿尔伯塔大学的研究者 Matthew Guzdial 对 TechCrunch 解释得很直白:模型"并不是真的在读文本",它读到的是编码——它知道 "the" 这个整体的含义,但对 T、H、E 三个字母一无所知。那篇文章的结论是:这个问题不好修,因为它嵌在让大模型之所以能工作的架构里。
## token:既不是字,也不是词
模型眼里的文本单位叫 token。它不是字,不是词,也不是音节,而是频次统计出来的碎片。
这套切法的出身很朴素:2015 年,Sennrich 和两位同事要解决机器翻译的生词问题——固定词表装不下开放的语言。他们从数据压缩领域借来一个叫字节对编码(BPE)的算法:从单个字符出发,把语料里最常一起出现的相邻片段反复合并,合并到预定的词表规模为止。相比当时回退词典的老办法,这套切法让英德、英俄翻译各提升约 1.1 和 1.3 个 BLEU 分,从此成了行业标准。tiktoken 的官方文档说,平均一个 token 对应约 4 个字节;"encoding" 这样的常见词会被切成 "encod" 加 "ing"。
换句话说,token 是压缩算法顺手留下的副产品,不是为"理解语言"设计的。2021 年一篇由 11 位研究者合写的分词史综述,把一位网友的话引作题记,刻薄但准确:"token 不是真实存在的东西,是某个聪明工程师造出来的幻觉。"
这个幻觉有代价,而且是两笔。
## 第一笔账:能力的盲区
看不见字母,就数不对字母。同理,看不见数字的每一位,就处理不好大数。我实测:1234567890 在两代分词器下都被切成 123、456、789、0 四块;日期 2026-11-19 被切成 202、6、-、11、-、19。模型不是"看到"了一串数字然后数错,而是根本没看到它的每一位。
所以数 r 失败、拼写翻车、大数出错,这些看起来不相干的糗事有同一个上游:输入表征的粒度和任务要求的粒度对不上。绕开的办法也有——让模型把词逐字母拆开念,或者干脆写段代码来数,正确率立刻上来。至于 o1 为什么能答对 strawberry,当时的报道没有解释机制,能确认的只有两件事:o1 答对了,而它的卖点正是把难题拆成一步一步的推理。
## 第二笔账:按语言收费的隐形税
第二笔账更隐蔽,也更不公平:同样一句话,不同语言要付的 token 数不一样,而 API 是按 token 计费的。
2023 年发表在 EMNLP 的论文《所有语言的价格都一样吗?》系统算了这笔账。研究者用同一个平行语料——同样的内容、22 种语言的版本——过了一遍当时 ChatGPT 的分词器,发现表达同样的信息,有的语言要花约 5 倍于其他语言的 token。实际任务的实测里,用泰卢固语和阿姆哈拉语做摘要,光是输入加输出的成本就是英语的 4 倍以上;论文举的例子是:一位印度安德拉邦的泰卢固语用户,为同样的使用付的钱可能是美国英语用户的 5 倍。
更糟的是,付得多还得得少。当时的 ChatGPT 一次最多处理 4096 个 token,这个窗口按 token 算,不按内容算。泰卢固语的碎片化率高,同一篇文章吃掉更多 token,论文报告:对多数泰卢固语测试样本来说,连塞一个示例都困难,只能零样本硬答——"给模型看几个例子再让它照做"这个最常用的技巧,对这些语言根本用不上。研究者还发现,语言的碎片化率和该语言主要使用国的人类发展指数呈明显负相关,相关系数接近 -0.5:越穷的地方,单价越贵,效果越差。他们给这个组合起了个名字:double unfairness,双重不公平。
你可能会说:把词表做大点不就行了。研究者真做了对照实验:用内容对齐、数据量相等的平行语料训练不同大小的词表,文字系统之间的碎片化差异依然存在,大词表也抹不平——差异不只来自"训练数据里英语多",还来自语言和文字系统本身的性质。而且词表也不能无限大:每加一条词条,模型的嵌入矩阵和输出层就要跟着变厚,参数和显存都是真金白银。词表是全体语言共用的一份零和预算:给一种文字多留一个整词的位置,就少一个位置留给别的。谁的文字容易被合并成整块,谁就少交税——而"容易"由语料频次决定。
## 退税,以及退税的限度
行业后来确实退了一部分税。2024 年 5 月 OpenAI 发布 GPT-4o,换上词表约二十万条的新分词器,并在公告里罕见地晒出 20 种语言的对比:古吉拉特语的同一段话从 145 个 token 降到 33 个,泰卢固语 159 降到 45,中文 34 降到 24,韩语和俄语各降约四成。我拿官方样例句逐句复测,11 个语言里 10 个的新旧 token 数与官方完全一致;又用自己翻译的同义段落测了一遍:旧分词器下印地语要消耗英语 4.9 倍的 token,新分词器下降到 1.5 倍,中文从 1.6 倍降到和英语几乎打平。
但"少花 token"不等于免费午餐。EMNLP 2024 的另一篇论文《分词不只是压缩》做了个漂亮的反证:研究者造了一个叫 PathPiece 的分词器,对任何文本都切成理论最少的 token 数——如果"token 越少越好"成立,它就该是最优解。他们训练了 64 个从 3.5 亿到 24 亿参数不等的语言模型逐一对照,结论是假设不成立:最少的 token 数并不带来最好的下游表现。分词方式改变的是模型看世界的粒度,也就改变了它从数据里学到什么规律——这不只是压缩效率问题,是归纳偏置问题。
这就是本文的判断:分词器是一次被当成工程细节的语言政策决策。strawberry 的笑话和泰卢固语的账单是同一个设计的两面——表征粒度选在哪里,决定了哪些能力对所有人关闭,哪些成本由特定人群承担;而语料频次决定切法,频次背后是历史和经济——这条因果链是本文的推断,不是论文结论。分词器藏在每一次 API 调用的最前面,几乎没人看见,可每一笔账单、每一次上下文溢出、每一个数错的字母,都从它开始。
## 可以带走的四件事
第一,下次 AI 数错字母、拼错单词,别只当它笨:那是表征盲区,让它逐字母展开或写段代码,就能绕过去。
第二,做多语言产品前,先用目标语言实测 token 倍率再估成本——同样的功能,账单可能差好几倍。
第三,看到"百万 token 上下文"的宣传,先问一句:按哪种语言算?窗口的含金量不是均匀的。
第四,评估模型的多语言能力,分词器和训练数据同样值得问——同一句话换个词表,成本能差几倍。
最后留个实验给你:去问 AI,strawberry 有几个 r 它现在答得对吗;再让它数数你英文名字里的字母,或者"永"字有几笔。看看哪些坑填了,哪些坑还在。