一种面向RAG的多支路混合平衡检索优化方法及系统与流程

本发明属于rag检索，尤其涉及一种面向rag的多支路混合平衡检索优化方法及系统。

背景技术：

1、在当今信息时代，检索增强生成系统(retrieval augmented generation, rag)已经成为大型语言模型(large language model, llm)应用中的关键组成部分。尽管rag系统在提供答案方面非常强大，但其仍然存在一些问题。rag的主要目标是为llm提供背景信息，以便更准确地回答用户的问题及查询，为了使rag系统能够提供令人满意的结果，则需要提高问题-内容检索的效果，目前提高检索效果的主流方法包括元数据过滤、查询路由、重新排名和关键词搜索等。其中，查询路由和关键词搜索方法是检索相关信息的主要检索方式，元数据过滤和重新排名方法是进一步改进检索结果的常用方法。

2、现有方法均具备一定的优缺点，如元数据过滤可识别与用户查询最相关的信息，提高生成内容的准确性，具备高效率、可解释性强、多样化的优点，但是也存在依赖元数据质量、存在检索遗漏、计算负担重、时效性弱的问题；查询路由是指模型根据用户的查询来决定检索哪些信息，并将这些信息用于生成回答，具备准确性高、效率高的优点，但也存在依赖查询理解、引入噪声、难以处理歧义等缺点；重新排名是根据检索到的信息进行重新排序，以便更好地辅助后续的生成过程，如常用的reranker模型(重排序模型)，其根据与指定查询问题的语义相关性对多个文本输入进行排序，专门用于帮助关键词或向量搜索返回的结果做重新排序与提升质量，这一方法具备检索文本高相关性、检索错误率低的优点，但也存在计算成本高、存在偏差、实时性差的问题；关键词搜索可分为两种，一是对用户问题进行关键词提取，然后利用这些关键词检索出含有关键词的文本片段，二是对文本片段进行关键词或主题进行提取，然后与用户问题进行匹配，关键词检索具备检索相关性强、可处理未知知识、多样性的特点，但也存在查询噪声、依赖外部知识源、计算成本高等问题。

3、目前，在rag信息检索阶段，往往采用现有单一检索方式进行检索，一方面，单语义相似性检索无法区分用户问题和目标文本的细粒度差距，检索精度较差；另一方面，仅根据关键词检索的方式存在漏词漏检的情况，且这一方式多数主要依靠向量相似性检索目标文本片段，通过这一方式得到的检索结果仅具有最相似性，而不具备最相关性，这与用户的主要意图存在较大的容错或是存在较大的错误匹配概率，其最终检索结果不佳。

技术实现思路

1、为解决上述现有技术的不足，本发明提供了一种面向rag的多支路混合平衡检索优化方法及系统，通过融合语义相似性匹配、关键词匹配和reranker模型相关性排序，更准确的识别用户问题的意图，使检索到的信息更符合用户期望，不仅可提高rag检索的准确性和相关性，优化检索结果，同时还提高了用户的体验感；同时，在检索阶段增加二次检索，大大提高rag系统的召回率和命中率，能够确保更多的相关信息能够在检索过程中被发现和利用，从而提升整个大语言模型的性能。

2、第一方面，本发明提供了一种面向rag的多支路混合平衡检索优化方法。

3、一种面向rag的多支路混合平衡检索优化方法，包括：

4、获取用户问题；

5、提取用户问题的语义向量，将问题语义向量与预先建立的知识库中每一文本的语义向量进行相似性匹配，根据匹配结果生成第一候选文本集；

6、提取用户问题中的关键词，经二次过滤后得到关键词列表，通过关键词列表与预先建立的知识库中每一文本进行关键词匹配，根据匹配结果生成第二候选文本集；

7、合并第一候选文本集和第二候选文本集并去重，将合并后的候选文本集输入至reranker模型中，生成第三候选文本集；

8、判断第三候选文本集是否为空，若否则将第三候选文本集作为检索结果输出，反之则进行二次检索，重新确定检索结果并输出；

9、将用户问题和输出的检索结果发送至大语言模型。

10、进一步的技术方案，预先建立包括若干知识文本的知识库，包括：

11、对原始文档进行片段分割操作，经片段分割后生成若干文本片段；

12、对每一文本片段进行向量化，生成文本向量；

13、利用gte算法对文本向量进行上下文语义向量化，生成语义向量；

14、采用向量数据库faiss构建知识库。

15、进一步的技术方案，所述第一候选文本集的生成，包括：

16、将问题语义向量与预先建立的知识库中每一文本的语义向量进行相似性匹配，获取知识库中每一文本与问题的语义相似性匹配度；

17、筛选相似性匹配度大于设定相似性阈值的前k个文本，构成第一候选文本集。

18、进一步的技术方案，所述二次过滤为：采用自定义停用词对提取的关键词进行过滤。

19、进一步的技术方案，在生成第二候选文本集之后且进行候选文本合并之前，针对第二候选文本集中每一文本，利用bm25算法计算所有关键词在每一文本中的权重得分，根据权重得分对所有文本重新进行降序排序，筛选并更新第二候选文本集。

20、进一步的技术方案，所述二次检索，包括：

21、将问题语义向量与预先建立的知识数据库中每一文本的语义向量进行相似性匹配，以此确定相似度；

22、将相似度超过先验阈值的文本作为检索结果输出，反之若没有超过先验阈值的文本，则反馈为空。

23、第二方面，本发明提供了一种面向rag的多支路混合平衡检索优化系统。

24、一种面向rag的多支路混合平衡检索优化系统，包括：

25、信息获取模块，用于获取用户问题；

26、候选文本集生成模块，用于提取用户问题的语义向量，将问题语义向量与预先建立的知识库中每一文本的语义向量进行相似性匹配，根据匹配结果生成第一候选文本集；

27、提取用户问题中的关键词，经二次过滤后得到关键词列表，通过关键词列表与预先建立的知识库中每一文本进行关键词匹配，根据匹配结果生成第二候选文本集；

28、合并第一候选文本集和第二候选文本集并去重，将合并后的候选文本集输入至reranker模型中，生成第三候选文本集；

29、检索结果输出模块，用于判断第三候选文本集是否为空，若否则将第三候选文本集作为检索结果输出，反之则进行二次检索，重新确定检索结果并输出；将用户问题和输出的检索结果发送至大语言模型。

30、第三方面，本发明还提供了一种电子设备，包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成第一方面所述方法的步骤。

31、第四方面，本发明还提供了一种计算机可读存储介质，用于存储计算机指令，所述计算机指令被处理器执行时，完成第一方面所述方法的步骤。

32、以上一个或多个技术方案存在以下有益效果：

33、1、本发明提供了一种面向rag的多支路混合平衡检索优化方法及系统，通过融合语义相似性匹配、关键词匹配和reranker模型相关性排序，更准确的识别用户问题的意图，使检索到的信息更符合用户期望，不仅可提高rag检索的准确性，同时还提高了用户的体验感；同时，在检索阶段增加二次检索，大大提高rag系统的召回率和命中率，能够确保更多的相关信息能够在检索过程中被发现和利用，从而提升整个大语言模型的性能。

34、2、本发明针对单语义相似性检索粒度粗的问题，采用了上下文语义相似性检索+用户问题关键词匹配检索的融合算法，实现多支路高效检索逻辑，能够保证在单一检索方式无法检索到相关内容的前提下，通过融合检索来保证检索的全面性，优化检索结果；同时，为使检索结果能够进一步考虑检索的相关性，为此联合reranker模型进行检索结果的改进，通过相关性排序进一步改进检索效果，提高rag系统检索的准确性；最后还在检索阶段增设二次检索层，有效提高rag系统的命中率和召回率，改善用户体验。

35、3、本发明中，考虑到输入reranker模型的检索结果存在一定的文本数据冗余，导致reranker计算压力增大，为此本发明中在reranker模型前增设了一个过滤层，通过在过滤层中对检索的随机性结果进行重要性排序并根据重要性进行筛选，避免检索的文本数据冗余，为后续reranker模型的运行奠定基础。