基于数据增强的增量学习方法、装置、设备及存储介质与流程

本技术属于人工智能，尤其涉及一种数据增量学习方法、装置、电子设备及存储介质。

背景技术：

1、增量学习模型是一种不仅能够不断学习新类别知识、还能保持原有类别知识的算法模型，比如：在对车辆年款类别的识别中，增量学习模型不仅可以识别出原有的旧类别车辆年款，还能识别出新增的新类别车辆年款。这种增量学习模型的训练需要同时拥有旧类别样本数据集和新类别样本数据集，但基于存储空间以及新类别学习性能的考量，通常只留存少量的旧类别样本数据，并新增大量的新类别样本数据，这样会导致旧类别样本数据和新类别样本数据的数量严重不平衡，增量学习模型在进行模型参数更新时，更倾向于将旧类别样本数据猜测为新添加的新类别样本数据，从而导致训练后的增量学习模型识别准确率较低。

技术实现思路

1、本技术旨在至少解决相关技术中存在的技术问题之一。为此，本技术提出一种数据增量学习方法、装置、电子设备及存储介质，能够解决因新旧类别样本数据量严重不平衡导致的增量学习模型训练后识别准确率低的问题。

2、第一方面，本技术提供了一种基于数据增强的增量学习方法，该方法包括：

3、获取留存的旧类别样本数据集，所述旧类别样本数据集中包括代表性样本集和困难样本集；

4、获取新增的新类别样本数据集；

5、采用预设数据增强规则对所述代表性样本集和所述困难样本集分别进行扩增，得到扩增后的增强旧类别样本数据集；

6、基于所述增强旧类别样本数据集和所述新类别样本数据集，采用知识蒸馏训练方法对增量学习模型进行训练，得到训练后能够识别新类别和旧类别的新增量学习模型。

7、根据本技术的基于数据增强的增量学习方法，通过在对增量学习模型进行训练之前，对旧类别样本数据集中的代表性样本集和困难样本集分别进行了扩增，扩增后的代表性样本集能够保持旧类别样本数据集的样本数据的多样性和覆盖率，扩增后的困难样本集能够维持旧类别样本数据集的样本数据的决策边界，保证了旧类别样本数据集的多样性和全面性，同时还克服了旧类别样本数据和新类别样本数据的数量不平衡的问题，故能大大提高训练后的新增量学习模型的性能，大大提高了新增量学习模型对旧类别和新类别的识别准确率。

8、根据本技术的一个实施例，所述预设数据增强规则包括单样本增强规则和多样本增强规则；

9、所述采用预设数据增强规则对所述代表性样本集和所述困难样本集分别进行扩增，得到扩增后的增强旧类别样本数据集，包括：

10、采用所述单样本增强规则和/或所述多样本增强规则对所述代表性样本集进行扩增，得到增强后的第一增强样本集；

11、采用所述单样本增强规则和/或所述多样本增强规则对所述困难样本集进行扩增，得到增强后的第二增强样本集；

12、由所述第一增强样本集和所述第二增强样本集得到所述增强旧类别样本数据集。由此可提高样本数据扩增的多样性和全面性，提升增量学习模型分类识别的准确性。

13、根据本技术的一个实施例，所述获取留存的旧类别样本数据集，包括：

14、获取初始旧类别样本数据集的各样本类别及每个样本类别的中心样本；

15、计算每个所述样本类别中距离各自的所述中心样本最近的np个留存样本数据，将所述np个留存样本数据作为各个所述样本类别对应的代表性样本数据，np为自然数；

16、由各个所述代表性样本数据得到所述代表性样本集。由此可得到每个样本类别的代表性样本数据，从而维持增量学习模型识别旧类别的能力。

17、根据本技术的一个实施例，每个所述样本类别包括多个子样本类别；

18、所述计算每个所述样本类别中距离各自的所述中心样本最近的np个留存样本数据，将所述np个留存样本数据作为各个所述样本类别对应的代表性样本数据，包括：

19、获取每个所述样本类别中的各子样本类别及各所述子样本类别的子中心样本；

20、计算各所述子样本类别中各子样本距离各自的所述子中心样本的距离并由近到远进行排序，得到各所述子样本类别的样本排序集；

21、根据数量np及均匀采样规则计算各所述子样本类别中的留存子样本数量；

22、在所述样本排序集中采集所述留存子样本数量个距离最近的子代表性样本数据；

23、由各个所述子代表性样本数据得到所述代表性样本数据。

24、由于样本的多样性，除了每一样本列别需要采样代表性样本，每一样本类别还可以包括多种不同子样本类别，对各子样本类别采集其代表性样本以保证留存样本的全面性，最大程度维持其各种旧类别识别的准确度。

25、根据本技术的一个实施例，所述根据数量np及均匀采样规则计算各所述子样本类别中的留存子样本数量的步骤，包括：

26、采用公式ns＝nc*np/nt计算各所述子样本类别中的留存子样本数量，其中，所述ns为各子样本类别中的留存子样本数量，所述np为所述子样本类别对应的样本类别的留存样本数量，所述nt为所述子样本类别对应的样本类别的样本总数量，所述nc为各所述子样本类别中的子样本总数量。保证每个子样本类别中样本数据采样的均匀性，使留存的样本数据集与初始样本数据集的分布保持一致。

27、根据本技术的一个实施例，所述获取留存的旧类别样本数据集，包括：

28、从各所述样本类别的样本数据中选择出与各所述样本类别的所述中心样本同质度最低和/或亲密度最低的样本数据作为困难样本；

29、由各个所述样本类别的困难样本得到所述困难样本集。

30、选择与各样本类别的中心样本同质度最低和/或亲密度最低的样本数据能够很好地反映每个样本类别的边界样本，利用该困难样本学习后的新增量学习模型也能很好地识别分类出位于边界区域的样本数据，进一步提高新增量学习模型的识别的全面性和准确性。

31、根据本技术的一个实施例，在得到训练后能够识别新类别和旧类别的新增量学习模型之后，所述方法还包括：

32、使用旧增量学习模型和所述新增量学习模型的遗忘率对所述旧类别样本数据集进行评估，得到最佳留存数量的旧类别样本数据集；

33、其中，所述遗忘率由所述旧增量学习模型的第一样本识别准确率和所述新增量学习模型的第二样本识别准确率的差值计算得到。

34、通过有限次实验设置不同的旧类别样本数据量，然后计算不同旧类别样本数据量对应的遗忘率，得到遗忘率最小留存量最少的旧类别样本数据量。

35、根据本技术的一个实施例，在获取留存的旧类别样本数据集之前，所述方法还包括：

36、使用目标检测模型对采集的样本图像进行特征处理，得到处理后的图像特征；

37、对所述图像特征进行分类标注，得到初始旧类别样本数据集和/或所述新类别样本数据集，所述初始旧类别样本数据集用于训练所述旧增量学习模型，所述新类别样本数据集用于训练所述新增量学习模型。通过特征处理和分类标注得到初始的旧类别样本数据和新类别样本数据。

38、第二方面，本技术提供了一种基于数据增强的增量学习装置，该装置包括：

39、留存样本获取模块，用于获取留存的旧类别样本数据集，所述旧类别样本数据集中包括代表性样本集和困难样本集；

40、新增样本获取模块，用于获取新增的新类别样本数据集；

41、增强模块，用于采用预设数据增强规则对所述代表性样本集和所述困难样本集分别进行扩增，得到扩增后的增强旧类别样本数据集；

42、训练模块，用于基于所述增强旧类别样本数据集和所述新类别样本数据集，采用知识蒸馏训练方法对增量学习模型进行训练，得到训练后能够识别新类别和旧类别的新增量学习模型。

43、根据本技术的基于数据增强的增量学习装置，通过在对增量学习模型进行训练之前，对旧类别样本数据集中的代表性样本集和困难样本集分别进行了扩增，扩增后的代表性样本集能够保持旧类别样本数据集的样本数据的多样性和覆盖率，扩增后的困难样本集能够维持旧类别样本数据集的样本数据的决策边界，保证了旧类别样本数据集的多样性和全面性，同时还克服了旧类别样本数据和新类别样本数据的数量不平衡的问题，故能大大提高训练后的新增量学习模型的性能，大大提高了新增量学习模型对旧类别和新类别的识别准确率。

44、第三方面，本技术提供了一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述第一方面所述的基于数据增强的增量学习方法。

45、第四方面，本技术提供了一种非暂态计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上述第一方面所述的基于数据增强的增量学习方法。

46、第五方面，本技术提供了一种芯片，所述芯片包括处理器和通信接口，所述通信接口和所述处理器耦合，所述处理器用于运行程序或指令，实现如第一方面所述的基于数据增强的增量学习方法。

47、第六方面，本技术提供了一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述第一方面所述的基于数据增强的增量学习方法。

48、本技术的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本技术的实践了解到。