跳到正文

检索重排与向量相似度 Vector Embeddings, Cosine Similarity & Reranking

词条 #610 / 700 · 第 13 章 · 13.1 AI 搜索产品矩阵与底层 RAG / 查询扇出机制(601–615)
一句话定义

现代搜索与 RAG 系统的数学心脏:将用户的提问与你的网页段落全部转化为由上千个数字组成的"语义坐标向量(Embeddings)",通过计算两个向量在空间中的夹角远近(余弦相似度 Cosine Similarity)找出意思最接近的段落,再由交叉编码重排模型(Cross-Encoder Reranker)精挑出前 5 段喂给大模型。

打个比方 Analogy

在相亲资料库里给每个人按"性格、爱好、三观、收入预期"打出 1500 个维度的坐标分,投入一个三维星空图里。不用看两个人的自我介绍有没有用同一个词,只要看两颗星星在太空里挨得最近(向量距离最近),系统就知道他俩是天生一对!

岗位实战怎么做 In Practice

不用你算数学公式,你只需要记住它对写作的直接指导意义:

  • 你的一个自然段落(Chunk,约 150–300 词)主题必须高度纯粹! 如果你在同一段话里既聊了"咖啡机怎么除垢",又扯了"公司去年的团建旅游",还聊了"退货政策",这段话算出来的语义向量就会变成一个四不像的"平均数",在空间里离谁都不近,导致永远无法被高分召回!
  • 坚持"一段一主题、一节一核心(One Concept Per Chunk)",让每个段落的语义向量像激光一样锋利纯粹!

案例与避坑 Pitfalls

可以用 OpenAI Embeddings API 或免费工具测一下你写的回答段落与目标用户 Prompt 之间的 Cosine Similarity(余弦相似度),得分 > 0.82 的段落被 RAG 召回的概率极高。