文本分类模型的训练方法、文本分类方法及相关设备与流程

本技术实施例涉及人工智能领域，尤其涉及一种文本分类模型的训练方法、文本分类方法及相关设备。

背景技术：

1、随着互联网的迅速发展和信息技术的飞速进步，海量的文本数据被创造和积累，涵盖了各种领域和主题。对于文本数据进行分类，一般通过标签来实现。如何从海量的标签中自动发现和提取多个相关标签，以及如何处理标签之间的相关性和相关程度，成为目前标签识别的关键问题。目前，一般通过深度学习模型对文本进行识别，但是现有的深度学习模型无法准确匹配文本内容与标签的相关性，从而导致识别文本对应的标签效率较低的问题。

技术实现思路

1、本技术实施例提供一种文本分类模型的训练方法、文本分类方法及相关设备，以解决现有技术中对文本分类效率较低的问题。

2、为解决上述问题，本技术是这样实现的：

3、第一方面，本技术实施例提供了一种文本分类模型的训练方法，所述文本分类模型包括编码器和解码器，所述方法包括：

4、获取训练数据集，所述训练数据集包括训练文本、所述训练文本对应的第一标签和所述第一标签对应的标签扩充信息，所述标签扩充信息为对所述第一标签内容的描述信息；

5、对所述文本分类模型进行训练，得到目标文本分类模型，所述目标文本分类模型用于识别输入文本并输出与所述输入文本相匹配的至少一个标签；

6、其中，所述目标文本分类模型包括目标编码器和目标解码器，所述目标编码器为基于所述训练数据集对所述编码器进行训练得到的编码器，所述目标编码器用于对输入数据进行特征提取，其中，所述输入数据包括：文本和标签；所述目标解码器为基于所述训练数据集对所述解码器进行训练得到的解码器，所述目标解码器用于在候选标签集合中确定与所述训练文本匹配的至少一个候选标签，所述候选标签集合包括多个所述候选标签。

7、可选的，所述对所述文本分类模型进行训练，得到目标文本分类模型，包括：

8、对所述训练文本进行文本特征提取，得到多个第一文本片段；

9、分别计算所述多个第一文本片段对应的重要性评分，得到多个重要性评分，所述多个重要性评分与所述多个第一文本片段一一对应；

10、根据所述多个重要性评分对所述多个第一文本片段进行筛选，得到多个第二文本片段，所述多个第二文本片段包括所述多个第一文本片段中，重要性评分大于或等于第一预设阈值的第一文本片段；

11、计算所述多个第二文本片段中每个第二文本片段与其他第二文本片段之间的相似度，得到多个相似度评分，所述多个相似度评分与所述第二文本片段一一对应；

12、根据所述多个相似度评分对所述多个第二文本片段进行筛选和排序，得到多个第三文本片段，所述多个第三文本片段对应的相似评分值依次由高至低排序且所述多个第三文本片段对应相似度评分大于或等于第二预设阈值；

13、基于所述多个第三文本片段、所述第一标签和所述第一标签对应的标签扩充对所述编码器进行训练，得到所述目标编码器。

14、可选的，所述对所述训练文本进行文本特征提取，得到多个第一文本片段，包括：

15、在所述训练文本中确定多个锚框，得到多个所述第一文本片段，所述锚框用于在所述训练文本中框选文本内容，所述多个第一文本片段中的文字数量与所述训练文本中的文字数量的比值大于或等于第三预设阈值。

16、可选的，所述对所述文本分类模型进行训练，得到目标文本分类模型，包括：

17、将所述训练文本转换为第一向量，以及将多个所述候选标签转换为多个第二向量，所述多个第二向量与多个所述候选标签一一对应；

18、将所述第一向量和所述多个第二向量输入所述目标编码器中进行标签解码，得到多个相似度值，多个相似度与多个第二向量一一对应，所述相似度用于所对应的第二向量与所述第一向量之间的相似度；

19、根据所述多个相似度值确定至少一个目标标签，所述至少一个目标标签包括：多个所述候选标签中相似度大于或等于第四预设阈值的标签；

20、根据目标损失值对所述解码器进行更新，得到所述目标解码器，所述目标损失值为所述至少一个目标标签和所述第一标签之间的损失值。

21、第二方面，本技术实施例提供了一种文本分类方法，应用于目标文本分类模型，所述目标文本分类模型包括目标编码器和目标解码器，所述方法包括：

22、获取待识别文本；

23、将待识别文本输入至所述目标编码器中进行特征提取，得到多个目标文本特征；

24、将所述多个目标文本特征输入至所述目标解码器中与候选标签集合进行分类，输出至少一个候选标签，所述至少一个候选标签为与待识别文本相匹配的标签，所述候选标签集合包括多个所述候选标签。

25、可选的，所述获取待识别文本之前，所述方法还包括：

26、获取标签删除请求，所述标签删除请求用于将所述候选标签集合中的第三标签进行删除；

27、基于所述标签删除请求在所述候选标签集合中，将所述第三标签进行删除。

28、可选的，所述获取待识别文本之前，所述方法还包括：

29、获取标签新增请求，所述标签新增请求用于请求在所述候选标签集合中新增第四标签；

30、根据所述第四标签获取与所述第四标签对应的多个第四文本片段，以及获取与所述第四标签对应的标签扩充；

31、根据所述第四标签、所述多个第四文本片段和所述第四标签对应的标签扩充生成标签语义向量；

32、将所述标签语义向量添加至所述候选标签集合。

33、第三方面，本技术实施例还提供一种文本分类模型的训练装置，所述文本分类模型包括编码器和解码器，所述装置包括：

34、第一获取模块，用于获取训练数据集，所述训练数据集包括训练文本、所述训练文本对应的第一标签和所述第一标签对应的标签扩充信息，所述标签扩充信息为对所述第一标签内容的描述信息；

35、训练模块，用于对所述文本分类模型进行训练，得到目标文本分类模型，所述目标文本分类模型用于识别输入文本并输出与所述输入文本相匹配的至少一个标签；

36、其中，所述目标文本分类模型包括目标编码器和目标解码器，所述目标编码器为基于所述训练数据集对所述编码器进行训练得到的编码器，所述目标编码器用于对输入数据进行特征提取，其中，所述输入数据包括：文本和标签；所述目标解码器为基于所述训练数据集对所述解码器进行训练得到的解码器，所述目标解码器用于在候选标签集合中确定与所述训练文本匹配的至少一个候选标签，所述候选标签集合包括多个所述候选标签。

37、第四方面，本技术实施例还提供一种文本分类装置，应用于目标文本分类模型，所述目标文本分类模型包括目标编码器和目标解码器，所述装置包括：

38、第二获取模块，用于获取待识别文本；

39、提取模块，用于将待识别文本输入至所述目标编码器中进行特征提取，得到多个目标文本特征；

40、分类模块，用于将所述多个目标文本特征输入至所述目标解码器中与候选标签集合进行分类，输出至少一个候选标签，所述至少一个候选标签为与待识别文本相匹配的标签，所述候选标签集合包括多个所述候选标签。

41、第五方面，本技术实施例还提供一种通信设备，包括：收发机、存储器、处理器及存储在所述存储器上并可在所述处理器上运行的程序；所述处理器，用于读取存储器中的程序实现如前述第一方面所述方法中的步骤；或，如前述第二方面所述方法中的步骤。

42、第六方面，本技术实施例还提供一种可读存储介质，用于存储程序，所述程序被处理器执行时实现如前述第一方面所述方法中的步骤，或，实现如前述第二方面所述方法中的步骤。

43、第七方面，本技术实施例还提供一种计算机程序产品，所述计算机程序产品被存储在存储介质中，所述计算机程序产品被至少一个处理器执行以实现如第一方面所述方法中的步骤，或，实现如前述第二方面所述方法中的步骤。

44、本技术提供一种文本分类模型的训练方法、文本分类方法及相关设备，所述文本分类模型包括编码器和解码器，所述方法包括：获取训练数据集，所述训练数据集包括训练文本、所述训练文本对应的第一标签和所述第一标签对应的标签扩充信息，所述标签扩充信息为对所述第一标签内容的描述信息；对所述文本分类模型进行训练，得到目标文本分类模型，所述目标文本分类模型用于识别输入文本并输出与所述输入文本相匹配的至少一个标签；其中，所述目标文本分类模型包括目标编码器和目标解码器，所述目标编码器为基于所述训练数据集对所述编码器进行训练得到的编码器，所述目标编码器用于对输入数据进行特征提取，其中，所述输入数据包括：文本和标签；所述目标解码器为基于所述训练数据集对所述解码器进行训练得到的解码器，所述目标解码器用于在候选标签集合中确定与所述训练文本匹配的至少一个候选标签，所述候选标签集合包括多个所述候选标签。本技术通过对文本分类模型中的编码器和解码器利用训练文本、训练文本对应的第一标签和第一标签对应的标签扩充信息进行训练，得到目标文本分类模型，从而提高了对文本的分类效率。