一种提升大模型回答应急知识问题准确性的生成方法与流程

本发明涉及应急知识问答模型生成的，具体是一种提升大模型回答应急知识问题准确性的生成方法。

背景技术：

1、在当今日益复杂和多变的社会环境中，各类突发事件频发，对应急知识的需求日益增长。大模型作为一种强大的信息处理和生成工具，在应对这些突发事件时发挥了重要作用。然而，当大模型在处理应急知识问题时，其回答的准确性往往受到多种因素的制约，如数据的丰富性、模型的训练质量、以及问题本身的复杂性等。因此，提升大模型回答应急知识问题的准确性成为了一个亟待解决的问题。

2、现有的应急知识问答模型主要的发展缺陷在于：当前回答应急知识问题主要依靠两种方式：一种是通过互联网搜索的方式获取，但搜索结果的准确性和相关性往往受到搜索引擎算法、网络环境等多种因素的影响；另一种是利用训练好的大模型直接生成，然而大模型经常会存在“幻觉”问题，即生成的内容表面上看起来合理、有逻辑，但存在事实性错误，导致生成的答案具有误导性。

3、cn114969355a公开了一种溃坝应急预案本体模型构建方法，基于本体理论将溃坝应急预案文本形式化，构建关于溃坝应急预案的基本词汇术语表以及基本词汇术语之间的本体知识库，并使用本体描述语言owl来定义本体知识库内部的规则，选取目前使用比较广泛的本体编辑工具protégé进行建模。

4、上述技术方案能够对溃坝应急预案内相关概念进行规范化处理，使得应急管理预案语言统一，但是，该方案依旧无法保障应急知识问答模型生成内容的准确性；

5、cn118332076a公开了一种基于大语言模型的大坝应急响应规则问答推荐系统及其构建方法，对于用户上传的应急响应文档编码后构建相应知识库；对于用户输入进行攻击性倾向检验；对用户输入进行应急场景识别与提问关键词提取；根据应急场景与提问关键词对知识库中的应急响应规则匹配；将应急响应规则文本整合入提示词模板中并输出结果。

6、上述技术方案通过对应急场景提取关键词并与知识库相结合匹配，一定程度上对应急知识问答模型生成内容的准确性进行了优化提升，但是使用该方案无法判断生成的内容是否为最合适的答案，因此，还具有较大的改进空间。

7、因此，针对现有技术存在的缺点，亟需一种提升大模型回答应急知识问题准确性的生成方法，以进一步提升大模型回答应急知识问题的合理性以及准确性。

技术实现思路

1、为解决现有技术存在的问题，本发明提出了一种提升大模型回答应急知识问题准确性的生成方法；本发明通过构建应急行业专业知识库并在检索时提升召回率，以提升模型对于应急行业相关问题和答案的理解和回答准确性。本发明的主要思路是，首先查找关于应急行业方向不同类型的知识，根据不同类型特征进行知识库的构建和存储。其次，在检索时，采用二阶段的检索策略，提升知识库中相关答案的命中率。最后，将检索到的答案输入到大模型中进行推理和生成，从而得到更加准确和专业的回答。

2、为了实现上述目的，本发明提出了一种提升大模型回答应急知识问题准确性的生成方法，包括如下步骤：

3、s1、获取应急行业相关的信息，并进行预处理操作；

4、s2、将步骤s1处理后的信息构建成应急行业专业知识库；并根据信息的类型和特征进行分类，同时将不同类型的信息进行解析和存储；

5、s3、当接受到应急知识问题时，利用语义相似度模型和关键词搜索算法，从知识库中筛选出与问题相关的答案候选；

6、s4、利用cross-encoder模型对候选答案进行重排序，排除与问题相关度排序较低或质量较低的答案；

7、s5、将检索到的答案和问题输入到大模型中，由大模型整合并生成最终答案。

8、本发明提出了一种新的提升大模型回答应急知识问题准确性的生成方法，旨在优化应急安全知识库的构建方式、改进待回答问题在知识库中的检索方式，以此提高大模型在回答应急知识问题时的准确性和效率。

9、本发明不仅优化了应急行业专业知识库的构建策略和存储方案；并且提出了一种能够基于混合检索算法和cross-encoder模型重排序的二阶段检索策略。

10、优选的，所述步骤s1中获取应急行业相关的信息并进行预处理操作的具体方法为：从多渠道收集应急行业相关的文本内容，包括但不限于法律法规、事故案例、专业书籍、安全考试资料以及日常问答等；然后，对上述文本内容的文字信息数据进行清洗，去除无关信息，仅保留与应急行业紧密相关的内容。

11、优选的，所述步骤s2中构建应急行业专业知识库的方法为：

12、s2.1、将清洗后的文字信息数据进行分类，例如，按照类型分为：法律法规、事故案例、考试资料、问答；进而构建结构化的专业知识库；并以结构化的形式对分类数据进行解析和存储，便于后续的检索；

13、s2.2、再将专业知识库中的key值文本和value值文本，通过向量嵌入模型生成向量e_k和e_v，存入到milvus向量数据库中；将专业知识库中的key值文本和value值文本，经分词后按2个字段存入到elasticsearch搜索引擎中。

14、优选的，所述步骤s3中具体通过混合检索的方式从知识库中筛选出与问题相关的候选答案；其具体步骤如下：

15、s3.1、语义嵌入转换：将用户输入的问题q，通过嵌入式向量模型，生成一个具有语义信息的向量e_q；

16、s3.2、语义相似检索：利用e_q在milvus向量数据库中进行相似度检索，找出语义最相关的topk1个文本片段{key,value}组成文本段落集合p1，一般相似度值可以采用余弦相似度计算公式得到；

17、s3.3、关键词检索：利用elasticsearch搜索引擎对用户输入问题q进行关键词匹配检索，查找出得分最高的topk2个文本片段{key,value}组成文本段落集合p2；关键词得分采用bm25算法实现，bm25算法是一种广泛应用于信息检索领域的排序算法；bm25算法根据查询词在文档中的出现频率以及文档的长度，为每一个文档生成一个得分，从而实现了对检索结果的排序；

18、s3.4、结果合并：对p1和p2两个文本段落进行去重、合并处理；先通过去重算法，将p1和p2中重合的文本段落进行去重，再将两边的段落集合融合到一个集合p_mix中，形成候选答案文本段落。

19、优选的，步骤s4中对检索到的知识进行重排序：通过语义相似度和关键词检索，可以搜索出与问题q相似的文本片段集合p_mix，但是不一定包含问题q的答案，即相关性不是很高。例如“防火的基本方法与措施有哪些？”和“灭火的基本方法与措施有哪些？”，两者无论是语义还是关键词，相似度都非常高，但两者之间并没有因果关系，相关性低。因此，需要构建一个相关性模型，对候选答案进行重排序。

20、所述步骤s4中利用cross-encoder模型对候选答案进行重排序的方法如下：

21、s4.1、构建cross-encoder相关性模型；cross-encoder模型一般采用transformer结构，一种基于自注意力(self-attention)机制的深度学习模型架构，可以有效地解决自然语言处理(nlp)中的各类问题；通过cross-encoder将两个文本片段(用户问题q和候选答案a)合并到一起输入到模型中，再通过self-attention进行交互，判断候选答案a是否为用户问题q所关注的内容，输出为两个文本片段的相关性得分，得分值位于0-1区间，0表示相关性低，1表示相关性高；

22、s4.2、训练cross-encoder模型：收集大量的问答对组合[[q_1,a_1],...[q_n,a_n]]，将其中属于同一个问答的组合[q_i,a_i]归属到正例中，再随机组合一些不属于同一个问答的组合，如[q_j,a_k],[a_j,a_k],[q_j,q_k]归属到负例中；

23、s4.3、应用cross-encoder模型：cross-encoder模型接收用户的问题q和多个候选答案p_mix，通过对问题和答案的拼接，生成多条样本并输入到模型中，计算出每个答案与问题的相关度得分，并按照得分进行排序，返回得分最高的k个文本片段p_final。

24、优选的，所述步骤s4.2在模型训练过程中，采用二元交叉熵损失函数，来优化模型参数；通过最小化损失函数，模型能够逐渐学习到如何准确地判断答案a是否与问题q相关，最终期望属于正例的样本模型能够输出为1，而负例的样本模型输出为0。

25、优选的，所述步骤s5中通过大模型整合并生成最终答案的具体方法为：将经过cross-encoder模型重排序后的候选答案p_final和问题经提示词模板拼接输入到大模型中，由大模型进行整合和推理，生成最终的回答。其中，提示词模板如下：

26、“““

27、参考信息：

28、{p_final}

29、我的问题或指令：

30、{q}

31、请根据上述参考信息回答我的问题或回复我的指令。回答一定要忠于原文，不要胡乱编造。如果仅依赖给定的参考信息不足以回答我的问题，请直接回复“对不起，我不知道”。

32、你的回复:

33、”””

34、本技术生成的大模型凭借其强大的语言理解和生成能力，能够结合问题的上下文和背景知识，生成准确、专业且富有逻辑性的回答。

35、本发明与现有技术相比较具有如下有益效果：

36、本发明通过构建专门的应急行业专业知识库，确保回答是基于应急行业的专业知识和最新信息，从而大大提高了回答的准确性和专业性。同时，采用二阶段的检索策略，包括初步筛选和cross-encoder模型重排序，能够有效提升从知识库中检索到相关答案的命中率，确保用户获得与问题直接相关的答案。此外，通过将检索到的答案和问题输入到大模型中进行推理，能够生成更加准确、全面和具有逻辑性的回答。