一种基于大语言模型的智能搜索引擎构建方法与流程
技术特征:
1.一种基于大语言模型的智能搜索引擎构建方法,其特征在于:包括以下步骤:
2.根据权利要求1所述的一种基于大语言模型的智能搜索引擎构建方法,其特征在于:所述步骤2中使用时间过滤器,用户可指定召回文档的发布时间范围;使用出版方过滤器,用户可限制仅返回指定出版方的文档;使用文献影响因子过滤器,用户可指定召回文档的影响因子范围;使用文档类型过滤器,用户可指定召回文档的类型。
3.根据权利要求2所述的一种基于大语言模型的智能搜索引擎构建方法,其特征在于:所述步骤3中基于ner的动态few-shot示例具体为:
4.根据权利要求3所述的一种基于大语言模型的智能搜索引擎构建方法,其特征在于:所述步骤3中对于命名实体识别模块,不同的阶段将采用不同的构建策略;在系统的冷启动阶段,采用基于大语言模型的无监督ner;在系统积累了足够的真实用户查询作为训练语料后,将切换为基于bert的有监督ner;
5.根据权利要求4所述的一种基于大语言模型的智能搜索引擎构建方法,其特征在于:所述步骤3中专业术语推荐具体为:
6.根据权利要求5所述的一种基于大语言模型的智能搜索引擎构建方法,其特征在于:所述步骤3中基于llm的检索主句改写具体为:
7.根据权利要求6所述的一种基于大语言模型的智能搜索引擎构建方法,其特征在于:所述步骤3中检索主句校验具体为:
8.根据权利要求7所述的一种基于大语言模型的智能搜索引擎构建方法,其特征在于:所述步骤3中过滤器自动规划模块、检索语句转换模块与检索主句合并过滤器子句具体为:
9.根据权利要求8所述的一种基于大语言模型的智能搜索引擎构建方法,其特征在于:所述步骤5中根据技术路线的不同,分为pointwise重排序与listwise重排序;所谓pointwise重排序,是指输入query和某个文档,通过评分模型计算文档与query的相关性得分,再根据每个文档的得分高低进行文档重排序;所谓listwise重排序,是指输入query和多个文档,通过排序模型直接确定各个文档的顺序;
技术总结
本发明公开了一种基于大语言模型的智能搜索引擎构建方法,包括:步骤1:原始查询;步骤2:过滤器人工设置;步骤3:基于用户输入的原始查询和过滤器设置,检索改写模块负责将其转换为专业的检索语句,检索改写流程中涉及的各个模块包括:基于NER的动态few‑shot示例、专业术语推荐、基于LLM的检索主句改写、检索主句校验、过滤器自动规划模块、检索语句转换模块与检索主句合并过滤器子句;步骤4:使用检索引擎检索相关文档;步骤5:文档重排序;步骤6:文档总结与标引。本发明针对查询改写模块和重排序模块做出优化,检索改写的准确率以及召回文档重排序的合理性均得到显著提升。
技术研发人员:黄予,郑建光,李作刚,黄勇进
受保护的技术使用者:数野科技(深圳)有限公司
技术研发日:
技术公布日:2024/11/18
技术研发人员:黄予,郑建光,李作刚,黄勇进
技术所有人:数野科技(深圳)有限公司
备 注:该技术已申请专利,仅供学习研究,如用于商业用途,请联系技术所有人。
声 明 :此信息收集于网络,如果你是此专利的发明人不想本网站收录此信息请联系我们,我们会在第一时间删除
