搜索引擎能在几秒里找出「意思差不多」的材料,背后通常是先把意思变成了一串数字。这个转换有个名字:Embedding,向量表示。本文循着四篇论文的摘要,看意思怎样成为坐标,以及坐标的界限在哪里。
## 一、词先有了坐标
2013 年,一篇论文提出两种新的模型架构,从超大规模语料里计算词的连续向量表示。它报告了两件事。其一,质量:词向量的质量用词相似任务来衡量,与此前基于不同类型神经网络的最好技术相比,准确率大幅提升,在衡量句法与语义词相似的测试集上达到当时最好水平。其二,成本:在 16 亿词的数据集上,不到一天就能学出高质量词向量,计算成本远低于此前的最好方法。
这一步的意义可以概括成一句话:词从此待在一个可以计算的空间里。每个词是空间中的一个点,点与点之间有距离、有方向,「相似」从模糊的语感变成了算术。
## 二、同一个词,在不同句子里不在同一个点
静态词向量有个问题:一个词无论出现在什么句子里,坐标都固定不变。2018 年的一篇论文针对这一点,提出深度上下文化的词表示:词向量不再是查表得到的固定值,而是一个深度双向语言模型内部状态的函数,在大语料上预训练,随语境变化——同一个词在不同句子里会落在不同位置,既建模词使用的句法与语义复杂性,也建模多义词随语境的变化。
论文报告,这种表示容易加进已有模型,在问答、文本蕴含、情感分析等六项有挑战的任务上显著提升了当时最好的结果;分析还显示,把预训练网络的深层内部状态暴露给下游模型是关键,这让下游能混合不同类型的半监督信号。
坐标从此是动态的:嵌入的不再是词本身,而是「这个词在这次使用中的样子」。
## 三、整句要有整句的坐标
词有了坐标,句子呢。2019 年的一篇论文指出一个尴尬事实:BERT 这类模型虽然在语义文本相似度等句对任务上创下新纪录,但比较时必须把两个句子一起喂进网络。在一万句里找出最相似的一对,需要约 5000 万次推理计算,论文估计约 65 小时;这种构造使它不适合相似检索,也不适合聚类等无监督任务。
论文的解法 Sentence-BERT 用孪生网络与三元组网络结构改造预训练模型,让每个句子先各自得到一个有语义的向量,之后句对之间直接用余弦相似度比较。按论文的口径:找最相似对从 BERT 的约 65 小时降到约 5 秒,同时保持 BERT 的准确率;在常见语义文本相似度任务与迁移学习任务上,它超过其他当时最好的句子向量方法。
今天多数语义检索的起点就在这里:把问题和资料分别编码成向量,存起来,按距离找。
## 四、十亿个点里怎么找到它
有了坐标还有新问题:点多之后,怎么快速找到最近的那几个。2017 年一篇关于 GPU 相似检索的论文给出工程答案。它先点明场景:相似检索常用在处理图像、视频这类复杂数据的专门数据库系统里,这类数据通常由高维特征表示,需要专门的索引结构。GPU 擅长数据并行的任务,但论文指出,先前的方法被两类事情卡住:暴露并行度低的算法(如 k 最小值选择),以及对内存层级利用不足。论文提出的 k 选择设计可达理论峰值性能的最高 55%,使最近邻实现比先前最好的 GPU 方案快 8.5 倍,并针对暴力搜索、近似搜索和基于乘积量化的压缩域搜索给出优化设计;在这几种设定下,论文报告都大幅超过了当时的最好水平。
论文报告的规模:在 9500 万张图像上 35 分钟建成高精度 k 近邻图;在 4 块 GPU 上,把 10 亿个向量连成图用不到 12 小时。实现开源,以便比较与复现。
到这一步,Embedding 才算从「能算」走到「能查」。向量本身之外,还要有索引结构;保存和查询这些向量是向量数据库的工作,这里不展开。
## 五、距离近,不等于是一回事
坐标的能力也是它的陷阱。几条界限值得说清(以下三条界限,综合自公开知识条目的口径与四篇摘要):
第一,相似不等于同意。两个句子向量接近,可能只是共享主题,而不是共享结论;共同主题会让坐标靠拢,哪怕两句话的立场相反。否定、时间限制和专有名称,都可能需要越过距离再核对。「不同意」和「同意」在向量空间里可以离得很近。
第二,向量很近不是同一性判断,更不是因果证明。向量帮助计算某种相似性;概念之间的关系要靠本体来说明,具体连接要靠图谱来保存。三者可以配合,但不能互相替代。
第三,向量不保证装着原文的全部意义。Embedding 是模型面向特定任务形成的表示,它的含义取决于模型、训练与使用任务:同一个句子,换一个模型、换一个训练任务,坐标就可能变。「距离近」这个说法,永远要带上「在哪个模型里」这个前提;效果好坏只能结合实际情况评价。
## 六、三个判断与带走
以下三条是本文基于四篇摘要的综合判断,不是论文原话:
判断一:2013 年那一步的关键,是接受了一个简化——把意思当坐标,换来可计算。后来的每次升级(上下文化、句子向量、大规模索引)都是在偿还这个简化欠下的代价,但没有取消它。
判断二:嵌入的历史是对象不断升级的历史:词、语境中的词、整句、十亿级集合。每一步解决的都是上一步「能算但不能用」的部分。
判断三:相似度的输出是线索,不是结论。它可以把可能相关的材料推到你面前;确认否定、时间和对象是否同一,仍要人或更结构化的核对来完成。
我的建议是:选嵌入模型,先弄清它嵌的是什么对象(词、句子还是图像)、在什么任务上训练、相似度是怎么定义的;工程侧记住 65 小时与 5 秒这对数字,先各自编码、再比较,结构决定成本;路过的读者记一句话就够——机器说「这两个相似」,说的是坐标距离,不是理解。四枚摘要页均未载利益冲突或资金披露段,本文不作相关断言。
你用向量距离踩过什么坑,或者有什么选型经验?欢迎在评论区聊聊。
最后一句边界:本文基于四篇 arXiv 论文的摘要级阅读与公开知识条目口径,规模数字均为摘要转写,具体口径与实验细节以原文为准。
来源:Sentence-BERT 论文摘要 https://arxiv.org/abs/1908.10084