混合搜索：结合关键词与语义，提升搜索体验（收藏版）

本文介绍了混合搜索的工作原理首先分别解释了关键词搜索如BM25算法和语义搜索基于向量嵌入的概念与局限性。接着详细阐述了混合搜索如何结合两者优势通过文档融合技术如RRF和WSC提升搜索结果的精确性和相关性。最后文章探讨了混合搜索在RAG检索增强生成中的应用强调其在提升大语言模型回答质量中的重要性。对于想要学习大模型和搜索技术的程序员或小白来说本文提供了一个全面而实用的入门指南值得收藏学习。混合搜索的工作原理什么是关键词搜索关键词搜索可以找到包含关键词的文档。最流行的关键词搜索方法是 BM25算法。BM25 算法会给每个文档打分这个分数表示文档与关键词的匹配程度。BM25 主要关注两个方面词频统计查询词在当前文档中出现的频率出现次数越多通常匹配度越高。逆文档频率查询词在所有文档中的出现频率如果在几乎所有文档中都出现说明它不具备文档区分能力。BM25 读取关键词统计每个关键词在每个文档中出现的次数并给每个文档打分分数越高匹配度越好然后将文档按得分从高到低排序。⚠️ 关键词搜索的局限同义词与语义盲区这个问题被称为同义词问题Synonym Problem。同义词是指意思相同的不同词语例如car和automobile。关键词搜索会将它们视为完全无关的词语也就是说关键词搜索的核心缺陷在于无法理解语义。什么是语义搜索语义搜索可以找到与查询含义相同的文档即使使用的词语不同。向量嵌入Embedding是语义搜索的核心嵌入模型读取一段文本并将其转换为向量含义相似的文本会得到相似的向量。为了进行语义搜索首先需要预先将每个文档转换为一个向量。当用户输入查询时也将查询转换为一个向量然后寻找与查询向量最接近的文档向量。最接近的向量意味着语义相似这个过程称为向量搜索Vector Search。与关键词搜索类似向量搜索也给每个文档打分并返回一个候选排名列表这里的得分衡量的是文档向量与查询向量的接近程度相似度。接近程度越高意味着语义匹配度越高。⚠️ 语义搜索的局限精确性与罕见术语语义搜索在语义理解上表现出色但在精确、准确的术语或代码匹配方面可能比较薄弱。可能会检索到看似相关但并不包含所需确切内容的文档甚至可能漏掉包含关键专业术语的文档。什么是混合搜索混合搜索 关键词搜索 语义搜索混合搜索Hybrid Search是一种结合关键词搜索和语义搜索的技术并将它们的结果合并为最终的一个候选文档片段列表。混合搜索同时运行两种搜索方式然后将搜索结果结合起来就能在同一个结果中同时获得关键词搜索的精确匹配能力和语义解释能力。如果用户搜索的是确切的内容关键词搜索就能找到结果如果用户用不同的词语搜索同一个概念语义搜索就能找到结果。混合搜索确保我们不会错过任何一种搜索方式的优势。混合搜索的工作过程混合搜索对同一个查询运行两次独立搜索的过程。步骤 1用户提问输入查询。步骤 2使用 BM25 进行关键词搜索返回一个候选文档片段列表。步骤 3使用词嵌入进行向量搜索返回一个候选文档排名列表。步骤 4将两个候选文档列表合并成一个最终列表具体如何合并接着向下看。如何合并这两个文档列表将两个候选文档列表合并成一个最终列表的步骤称为文档融合Fusion。在将关键词列表和语义列表合并成一个最终的排名结果时不能直接将两个分数相加因为这两个得分有着完全不同的衡量标准Scale常用的融合策略有两种互惠排序融合和加权分数组合。互惠排序融合 RRF互惠排序融合Reciprocal Rank Fusion简称 RRF使用每个文档在每个列表中的位置排名而不是其原始分数来将两个列表合并在一起。RRF 完全忽略了杂乱的原始分数只关注排名也就是文档在列表中的相对位置。因为排名就是排名无论原始分数是 9.1 还是 0.88第一名在两个榜单中都代表相同的含义评分尺度不一的问题就迎刃而解了。RRF 会根据每个文档在各个列表中的排名给予相应的分数。排名越高即排名数值越小得分越高。我们使用排名的倒数来计算分数。然后将每份文档在两个列表中获得的分数相加。总分最高的文档排在最终列表的首位。加权分数组合 WSC在加权分数组合Weighted Score Combination中使用向量检索和关键词检索的实际分数。为了解决不同尺度无法直接相加的问题首先需要进行归一化Normalization操作。归一化指的是将所有分数重新调整到同一范围内通常介于 0 和 1 之间。归一化之后会给每种搜索方式赋予权重Weight即重要性。这些权重使我们能够根据实际应用场景灵活调整不同搜索方式的分数分配比例使用符合我们应用场景的权重对它们进行混合。混合搜索在RAG中的具体应用混合搜索最经典的应用场景就是 RAG检索增强生成。它先检索出相关文档然后将结果连同用户问题一起发送给 LLM大语言模型以便能够利用真实、最新的信息来回答问题。RAG 系统的生成质量在很大程度上取决于检索步骤。如果获取了错误的文档无论模型有多么智能都会给出错误的答案。用户的问题首先进入混合搜索混合搜索会检索出最相关的文档。然后这些文档和用户的问题一起传递给大语言模型LLM。LLM 读取两者并生成最终答案。因此如果混合搜索检索到了正确的文档LLM 就拥有了能够给出正确答案所需的信息。在许多生产环境中的 RAG 系统中混合搜索之后还会有一个步骤——重排序器Reranker它会在文档到达 LLM 之前根据真正的相关性对检索到的文档进行重新排序从而进一步提升检索精度。最后如果说程序员已经是高薪职业那么干AI的程序员就是高薪中的高薪。现在的市场已经用数据给程序员指明了方向学AI大模型就是冲刺高薪的最优解看着身边越来越多的同行转型大模型、拿到高薪offer很多人心里都动了心但真正的难题来了零基础小白不知道从哪入门有基础的程序员找不到系统学习路径实战项目练手无门面试不知道考什么别慌今天就给大家整理了一份【2026年最新版】AI大模型免费学习资源包覆盖从入门到实战、从理论到面试、从基础到进阶的全流程所有资料均已整理归档无冗余、无套路免费分享给每一位想抓住AI风口的程序员和小白扫码免费领取全部内容1、大模型系统化学习路线2、大模型学习书籍文档3、AI大模型最新行业报告4、大模型项目实战配套源码5、大模型大厂面试真题四阶段精细化学习规划附时间节点可直接照做结合上述资源给大家整理了一份可直接落地的四阶段学习规划总时长约2个月小白可循序渐进程序员可根据自身基础调整节奏高效掌握大模型核心能力快速实现从“入门”到“能落地、能面试”的跨越。第一阶段10天初阶应用该阶段让大家对大模型 AI有一个最前沿的认识对大模型 AI 的理解超过 95% 的人可以在相关讨论时发表高级、不跟风、又接地气的见解别人只会和 AI 聊天而你能调教 AI并能用代码将大模型和业务衔接。大模型 AI 能干什么大模型是怎样获得「智能」的用好 AI 的核心心法大模型应用业务架构大模型应用技术架构代码示例向 GPT-3.5 灌入新知识提示工程的意义和核心思想Prompt 典型构成指令调优方法论思维链和思维树Prompt 攻击和防范…第二阶段30天高阶应用该阶段我们正式进入大模型 AI 进阶实战学习学会构造私有知识库扩展 AI 的能力。快速开发一个完整的基于 agent 对话机器人。掌握功能最强的大模型开发框架抓住最新的技术进展适合 Python 和 JavaScript 程序员。为什么要做 RAG搭建一个简单的 ChatPDF检索的基础概念什么是向量表示Embeddings向量数据库与向量检索基于向量检索的 RAG搭建 RAG 系统的扩展知识混合检索与 RAG-Fusion 简介向量模型本地部署…第三阶段30天模型训练恭喜你如果学到这里你基本可以找到一份大模型 AI相关的工作自己也能训练 GPT 了通过微调训练自己的垂直大模型能独立训练开源多模态大模型掌握更多技术方案。到此为止大概2个月的时间。你已经成为了一名“AI小子”。那么你还想往下探索吗为什么要做 RAG什么是模型什么是模型训练求解器 损失函数简介小实验2手写一个简单的神经网络并训练它什么是训练/预训练/微调/轻量化微调Transformer结构简介轻量化微调实验数据集的构建…第四阶段20天商业闭环对全球大模型从性能、吞吐量、成本等方面有一定的认知可以在云端和本地等多种环境下部署大模型找到适合自己的项目/创业方向做一名被 AI 武装的产品经理。硬件选型带你了解全球大模型使用国产大模型服务搭建 OpenAI 代理热身基于阿里云 PAI 部署 Stable Diffusion在本地计算机运行大模型大模型的私有化部署基于 vLLM 部署大模型案例如何优雅地在阿里云私有部署开源大模型部署一套开源 LLM 项目内容安全互联网信息服务算法备案…扫码免费领取全部内容6、这些资料真的有用吗这份资料由我和鲁为民博士(北京清华大学学士和美国加州理工学院博士)共同整理现任上海殷泊信息科技CEO其创立的MoPaaS云平台获Forrester全球’强劲表现者’认证服务航天科工、国家电网等1000企业以第一作者在IEEE Transactions发表论文50篇获NASA JPL火星探测系统强化学习专利等35项中美专利。本套AI大模型课程由清华大学-加州理工双料博士、吴文俊人工智能奖得主鲁为民教授领衔研发。资料内容涵盖了从入门到进阶的各类视频教程和实战项目无论你是小白还是有些技术基础的技术人员这份资料都绝对能帮助你提升薪资待遇转行大模型岗位。这份完整版的大模型 AI 学习资料已经上传CSDN朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】