RAG 常被一句话讲完:给大模型接上搜索,让它回答前先查资料。但 2024 年 9 月 Anthropic 发布的一篇工程文章,用一组实测数字戳破了这句轻松的话:在传统切块方式建起来的知识库上,平均有 5.7% 的相关文档片段进不了检索结果的前 20 名——资料根本没进提示词,模型压根没见过它,只能凭参数记忆作答。而把三种检索侧的技术叠起来用,这个失败率能压到 1.9%。
从 5.7% 到 1.9%,没有一步是"换个更大的模型"。这篇文章想把这条曲线背后的六年讲清楚:RAG 从 2020 年的一篇论文变成行业标配之后,真正决定成败的,一直是检索质量这门不性感的工程。
## 2020 年的论文:模型记不住所有事
2020 年 5 月挂上 arXiv、后来发表于 NeurIPS 2020 的《Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks》——RAG 这个名字就出自这篇论文。Patrick Lewis 与另外 11 位作者(来自 Facebook AI Research、伦敦大学学院和纽约大学)的出发点很直白:大语言模型把事实知识存在参数里,但访问和精确操纵这些知识的能力有限,在知识密集型任务上落后于任务专用架构;而且给决策提供出处、更新世界知识,都还是悬而未决的公开问题。
他们的设计是把两种记忆拼在一起。参数化记忆是一个预训练 seq2seq 模型(BART-large,4 亿参数);非参数化记忆是维基百科的稠密向量索引:2018 年 12 月的全量快照,每篇文章切成互不重叠的 100 词段落,共 2100 万段,每段一条 728 维向量,合计 153 亿个数值——用 8-bit 浮点精度就能存下。回答问题时,检索器先找出最相关的段落,生成器再据此作答。论文比较了两种公式:RAG-Sequence 整个生成过程盯住同一批段落,RAG-Token 每生成一个 token 都可以换参考段落。
结果在三个开放域问答任务上创下当时的最优。最能说明问题的一组对比:Natural Questions 上 RAG-Sequence 得 44.5 EM,而参数量最接近的纯参数模型 T5-large(7.7 亿参数)只有 28.9 EM——混合架构用远少的可训练参数拿到了远好的成绩。生成质量上,RAG 的输出比纯参数基线更具体、更多样、更符合事实。
检索端也有配套突破。同期 Karpukhin 等人发表于 EMNLP 2020 的 DPR(稠密段落检索)证明:只用稠密向量做检索,top-20 段落检索准确率就能比强 Lucene-BM25 系统高出 9%–19%(绝对值)。
值得记住的是,这篇论文主打的卖点不是"会搜索",而是可溯源、可更新。这两件事后来都成了 RAG 被广泛采用的理由——但"检索本身准不准",在 2020 年还不是讨论的中心。
## 变成标配之后:切块是有损压缩
RAG 变成标配后,工程界撞上的第一个大坑,恰恰出在"切块"这个最基础的动作上。
Anthropic 的文章举了个例子:知识库里有一批美国 SEC 财报文件,用户问"ACME 公司 2023 年第二季度的营收增长是多少"。相关的那个文档块里只写着"公司营收较上一季度增长 3%"——块本身没有公司名,没有季度。切块之前这句话有完整语境,切块之后语境丢了,嵌入模型算相似度时自然容易把它漏掉。
第二个坑:嵌入模型擅长语义相近,却会错过精确匹配。用户查"错误码 TS-999",向量检索可能捞回一堆泛泛的错误码文档;而 BM25 这种基于词法匹配的老技术,恰恰擅长抓住这个具体字符串。所以成熟的做法是混合检索:嵌入管语义,BM25 管精确匹配,两路结果融合去重。
还有一个常被忽略的"简单解":Anthropic 明说,如果知识库小于 20 万 token(约 500 页材料),根本不需要 RAG,把整库直接塞进提示词就行——配合提示缓存,延迟可降 2 倍以上、成本至多降 90%。RAG 不是先进,是库太大装不下时的不得已。
## 三招把失败率从 5.7% 压到 1.9%
Anthropic 在 2024 年 9 月 19 日提出的修正方案叫 Contextual Retrieval(上下文检索),指标是 1−recall@20:相关文档没进前 20 名检索结果的比例,也就是"检索失败率"。
先交代口径:下文所有百分比都是四类材料(代码库、小说、ArXiv 论文、科学论文)上的平均数字,嵌入用的是他们测试中表现最佳的配置(Gemini Text 004)。
第一招,上下文嵌入:给每个块嵌入之前,先让一个小模型(他们用 Claude 3 Haiku)通读整篇文档,为这个块生成 50–100 token 的定位前缀,拼在块前面再做嵌入。ACME 那个块处理后变成:"此块来自 ACME 公司 2023 年 Q2 表现的 SEC 财报;上一季度营收为 3.14 亿美元。公司营收较上一季度增长 3%。"公司名和季度被写了回来。单这一招,失败率从 5.7% 降到 3.7%,降 35%。
第二招,上下文 BM25:对加过定位前缀的块同步建词法索引。两招合计降 49%(5.7%→2.9%)。
第三招,重排序:初检先捞 150 个候选块,用 Cohere 的重排模型逐块对着用户问题打分,只取前 20 个送进生成模型。三招合计降 67%(5.7%→1.9%)。
成本呢?按 800 token 的块、8k token 的文档、50 token 的指令、每块 100 token 的定位前缀估算,给每百万文档 token 的块补写上下文,一次性成本 1.02 美元——靠提示缓存把整篇文档只加载一次才做到。给模型的块数,20 个优于 10 个、10 个优于 5 个。他们还试过后放弃了几条路:给每块加通用文档摘要(收益很有限)、假设性文档嵌入(HyDE)、摘要式索引(性能低)。原文结论一句话:"所有这些收益可以叠加。"
必须先说清楚:这是 Anthropic 自己测的数据,而它卖的正是 Claude 和提示缓存功能;口径是检索质量(相关块进没进前 20),不是端到端的回答质量。这组数字应当读作"一家厂商在四类材料上的自测结果",利益相关要摆在明面上。
## 不是任何时候都该检索
2020 年的论文教模型"接上检索",2023 年 10 月的 Self-RAG(Asai 与四位合作者)则往回走了一步:不管需不需要,都无差别地检索固定数量的段落,要么损害模型的通用性,要么导致没用的回答。
Self-RAG 训练单个语言模型学会用特殊的"反思 token"工作:按需决定要不要检索,再对检索到的段落和自己的生成做评价。这些反思 token 让模型在推理阶段可控,能按任务需求调整行为。结果:7B 和 13B 参数的 Self-RAG 在开放域问答、推理和事实核查任务上超过 ChatGPT 与检索增强版 Llama2-chat,长文生成的事实性和引用准确率也显著提升。
这和 Anthropic 的路线正好互补:一条把检索做准——该查的时候,让对的资料进前 20;另一条把检索做省——不该查的时候,别拿无关段落污染提示词。
## 我的三个判断
以下是把四份材料并排读出来的综合,不是任何一篇原文的结论。
第一,RAG 的天花板由检索决定,而检索是工程问题,不是模型问题。2020 年论文的头条创新是"参数化+非参数化记忆",但六年里真正把失败率曲线压下去的,全是检索侧的朴素工程:怎么切块、要不要把上下文写回、嵌入配不配词法匹配、加不加重排。三招没有一招是换更大的生成模型。"接上搜索"这个说法,把大部分工作量藏起来了。
第二,上下文问题的病根,是切块本质上是一种有损压缩——为了装进上下文窗口,把文档切开,每切一刀都在丢语境。Contextual Retrieval 的实质,是花每百万 token 1.02 美元的一次性成本,让模型把丢掉的上下文写回每个块里,用冗余换准确("买回冗余"是我的概括)。Self-RAG 则在反方向互补:一个加必要的上下文,一个减多余的检索。检索质量的改进,加法减法各占一半。
第三,这条曲线最响的数字来自厂商自测,方法论值得学,数字本身别当行业定论。Anthropic 公开了指标、实验域和放弃的路线,透明度不低;但 5.7%→1.9% 我没有见到独立复现的数据(这是检索范围陈述,不是"不存在"的结论),四类材料也未必覆盖你的文档。对使用者来说,该带走的不是这组数字,而是流程:先在自己的文档上测出检索失败率,再决定叠几招。Anthropic 自己给的实施建议里,最后一条也是"永远跑评测"。
## 带走什么
如果你在选 RAG 产品:问三个问题——检索失败率在你们自己的文档上测过吗?嵌入和词法匹配是不是两路都建了?有没有重排这一步?另外,资料不到约 500 页,直接把整库塞进提示词可能又快又便宜,不必为"检索"多付一层架构。
如果你在建 RAG:怪模型之前先看块——每个块单独拿出来读,还能自立吗?给每块加 50–100 token 的定位前缀,嵌入和 BM25 一起建,块数和重排在自己的评测集上调。以及记住 Self-RAG 的提醒:不是每次提问都值得检索。
如果你只是看热闹:下次见到 AI"查了资料"还是答非所问,多半不是它不会读,而是没人替它把对的那几页挑出来。检索是所有信息工作共同的难题——人自己查资料时,"查得到"也常常比"想得对"更先决定成败。
你的 RAG 答过什么离谱的非所问?欢迎在评论区聊聊。
来源:Anthropic《Contextual Retrieval》(2024 年 9 月 19 日) https://www.anthropic.com/research/contextual-retrieval