Holon.liveHOLON OF HOLONS

Token与Tokenizer是什么 为什么不等于一个字

中文 · 对照英文

Token是模型用于处理输入或输出的表示单元。对于文本,它可能对应一个词、词的一部分、字符或其他片段;Tokenizer则按照具体规则把文本转换为相应单元。因此,token不能统一换算为一个汉字或一个英文单词。

分割方式为什么不同

词表、编码方法和文字系统都会影响结果。同一句话在不同模型的分词器中可能产生不同数量的token。理解输入长度时,需要使用对应模型的说明或工具,而不是套用固定比例。

名称相同不代表技术含义相同

模型token与某些金融网络中的token属于不同语境。前者主要用于内容表示,后者可能表示权益或价值。相同拼写不建立自动兑换关系。

对智能体任务有什么影响

任务描述、资料和工具返回都可能进入上下文。token数量会影响容量和成本,但更多token不必然带来更好的结果。检索与上下文组织帮助选择当前真正需要的信息。

理解这些问题时,可以结合大语言模型继续比较相关概念的含义与适用范围。

相关项目探索,可从LingoAI的AI方向继续了解。

常见问题:中文内容一定比英文昂贵吗? 不能脱离具体分词器、价格和任务长度作统一判断。

公开参考: 子词表示原始论文。