知识蒸馏方法、装置、设备、存储介质及计算机程序产品与流程

本申请涉及人工智能，尤其涉及知识蒸馏方法、装置、设备、存储介质及计算机程序产品。

背景技术：

1、随着大语言模型(llms)在自然语言处理(nlp)领域展现了巨大的潜力，能够在生成文本、语言翻译、回答问题等方面提供高质量的支持。为了应对大语言模型的部分缺点，常用蒸馏和微调两种方法。而对于学生模型的微调，虽然在某些情况下也可以提升其特定任务的表现，但与知识蒸馏相比，它无法充分利用教师模型所具备的广泛和深度的知识基础。知识蒸馏可以在保留大模型优点的同时，显著减少计算资源的需求。。

2、目前，教师模型在某些特定领域缺乏知识，那么学生模型在这些领域的表现也会受到影响，学生模型的性能高度依赖于教师模型的输出质量。

3、因此，如何避免学生模型对教师模型的高度依赖，是目前亟需解决的一个问题。

技术实现思路

1、本申请的主要目的在于提供一种知识蒸馏方法、装置、设备、存储介质及计算机程序产品，旨在解决学生模型的性能高度依赖于教师模型的输出质量的技术问题。

2、为实现上述目的，本申请提出一种知识蒸馏方法，所述的方法包括：

3、将检测文本输入到目标教师模型，输出关键词，并根据所述关键词构建目标知识图谱集；

4、获取所述目标知识图谱集中的关键信息及所述关键信息之间的逻辑关系，并将所述目标知识图谱集和所述关键词输入到预设大语言模型，输出推理步骤；

5、利用所述关键信息及所述逻辑关系对所述推理步骤进行优化，得到思维链；

6、将所述思维链输入到学生模型中进行迭代训练，得到目标学生模型。

7、在一实施例中，所述接收用户输入的检测文本，将所述检测文本输入到目标教师模型，输出关键词，并根据所述关键词构建目标知识图谱集的步骤，包括：

8、将检测文本输入到目标教师模型，输出关键词；

9、根据所述关键词在预设知识图谱中筛选目标知识图谱；

10、根据所述目标知识图谱构建所述目标知识图谱集。

11、在一实施例中，所述根据所述关键词在预设知识图谱中筛选目标知识图谱的步骤，包括：

12、将所述知识图谱和所述关键词输入到所述构建好的大语言模型中，输出对所述知识图谱的相关性评分；

13、从所述知识图谱中筛选相关性评分不低于预设评分的知识图谱作为所述目标知识图谱。

14、在一实施例中，所述多次将所述思维链输入到构建好的学生模型中进行迭代训练，得到目标学生模型的步骤，包括：

15、将所述思维链输入到构建好的学生模型中进行训练，输出学生思维链；

16、根据所述关键信息修正所述学生思维链，获得目标学生思维链；

17、基于所述目标学生思维链优化所述学生模型，得到目标学生模型。

18、在一实施例中，所述根据所述关键信息修正所述学生思维链，获得目标学生思维链的步骤，包括：

19、利用所述关键信息修正所述学生思维链，并将修正后的学生思维链和所述思维链共同输入到所述学生模型中进行迭代训练，直至获得目标学生思维链，所述目标学生思维链与所述思维链的偏差小于预设阈值。

20、在一实施例中，所述利用所述关键信息修正所述学生思维链，并将修正后的学生思维链和所述思维链共同输入到所述学生模型中进行迭代训练的步骤，包括：

21、利用所述关键信息对所述学生思维链进行修正，将修正后的学生思维链和所述思维链共同输入到所述学生模型中；

22、根据修正后的学生思维链和所述思维链计算所述学生模型的损失函数：

23、

24、其中，llabel表示损失函数，n表示思维链的数量，表示预测标签和目标标签之间的交叉熵损失，f表示学生模型，xi表示修正后的的学生思维链，表示预测标签；

25、利用所述损失函数，对所述学生模型进行迭代训练。

26、此外，为实现上述目的，本申请还提出一种知识蒸馏装置，所述知识蒸馏装置包括：

27、知识图谱集成模块，用于将检测文本输入到目标教师模型，输出关键词，并根据所述关键词构建目标知识图谱集；

28、推理步骤输出模块，用于获取所述目标知识图谱集中的关键信息及所述关键信息之间的逻辑关系，并将所述目标知识图谱集和所述关键词输入到预设大语言模型，输出推理步骤；

29、思维链生成模块，用于利用所述关键信息及所述逻辑关系对所述推理步骤进行优化，得到思维链；

30、蒸馏优化模块，用于将所述思维链输入到学生模型中进行迭代训练，得到目标学生模型。

31、此外，为实现上述目的，本申请还提出一种知识蒸馏设备，所述设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序配置为实现如上文所述的知识蒸馏方法的步骤。

32、此外，为实现上述目的，本申请还提出一种存储介质，所述存储介质为计算机可读存储介质，所述存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上文所述的知识蒸馏方法的步骤。

33、此外，为实现上述目的，本申请还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，所述计算机程序被处理器执行时实现如上文所述的知识蒸馏方法的步骤。

34、本申请提出的一个或多个技术方案，至少具有以下技术效果：

35、将检测文本输入到目标教师模型，输出关键词，并根据关键词构建目标知识图谱集；获取目标知识图谱集中的关键信息及关键信息之间的逻辑关系，并将目标知识图谱集和关键词输入到预设大语言模型，输出推理步骤；利用关键信息及逻辑关系对推理步骤进行优化，得到思维链；将思维链输入到学生模型中进行迭代训练，得到目标学生模型。通过将知识图谱引入大语言模型，生成思维链，并逐步传递给学生模型的过程，实现了对特定领域知识的有效蒸馏。通过这种方法，不仅可以增强学生模型在特定领域的表现，避免了学生模型对教师模型的高度依赖，而且无需对大模型进行微调，从而大大降低了模型部署和应用的复杂性。

1.一种知识蒸馏方法，其特征在于，所述的方法包括：

2.如权利要求1所述的方法，其特征在于，所述接收用户输入的检测文本，将所述检测文本输入到目标教师模型，输出关键词，并根据所述关键词构建目标知识图谱集的步骤，包括：

3.如权利要求2所述的方法，其特征在于，所述根据所述关键词在预设知识图谱中筛选目标知识图谱的步骤，包括：

4.如权利要求1至3中任一项所述的方法，其特征在于，所述将所述思维链输入到构建好的学生模型中进行迭代训练，得到目标学生模型的步骤，包括：

5.如权利要求4所述的方法，其特征在于，所述根据所述关键信息修正所述学生思维链，获得目标学生思维链的步骤，包括：

6.如权利要求5所述的方法，其特征在于，所述利用所述关键信息修正所述学生思维链，并将修正后的学生思维链和所述思维链共同输入到所述学生模型中进行迭代训练的步骤，包括：

7.一种知识蒸馏装置，其特征在于，所述装置包括：

8.一种知识蒸馏设备，其特征在于，所述设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序配置为实现如权利要求1至6中任一项所述的知识蒸馏方法的步骤。

9.一种存储介质，其特征在于，所述存储介质为计算机可读存储介质，所述存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至6中任一项所述的知识蒸馏方法的步骤。

10.一种计算机程序产品，其特征在于，所述计算机程序产品包括计算机程序，所述计算机程序被处理器执行时实现如权利要求1至6中任一项所述的知识蒸馏方法的步骤。