双教师类脑蒸馏持续学习图像分类方法、设备及存储介质
技术特征:
1.一种双教师类脑蒸馏持续学习图像分类方法,其特征在于,该方法包括如下步骤:
2.根据权利要求1所述的双教师类脑蒸馏持续学习图像分类方法,其特征在于,步步骤5中,优化目标的计算公式如下:
3.根据权利要求1所述的双教师类脑蒸馏持续学习图像分类方法,其特征在于,步骤2中,每个类别的视觉原型的计算公式如下:
4.根据权利要求1所述的双教师类脑蒸馏持续学习图像分类方法,其特征在于,步骤4中,使视觉原型在训练过程中随着批次数据进行滑动更新的方法包括如下方法步骤:
5.根据权利要求1所述的双教师类脑蒸馏持续学习图像分类方法,其特征在于,步骤5中,计算实例原型对齐损失的方法包括如下方法步骤:
6.根据权利要求1所述的双教师类脑蒸馏持续学习图像分类方法,其特征在于,步骤5中,最终蒸馏损失的计算公式如下:
7.根据权利要求1所述的双教师类脑蒸馏持续学习图像分类方法,其特征在于,步骤5中,采用交叉熵损失函数计算分类损失,分类损失的计算公式如下所示:
8.一种双教师类脑蒸馏持续学习图像分类方法的设备,包括存储器和处理器,其特征在于,所述存储器用于存储计算机程序;所述处理器,用于执行所述计算机程序并在执行所述计算机程序时实现如权利要求1至7中任一项所述的双教师类脑蒸馏持续学习图像分类方法步骤。
9.一种存储介质,所述存储介质存储有计算机程序,其特征在于,该计算机程序被处理器执行时,实现如权利要求1至7中任一项所述的双教师类脑蒸馏持续学习图像分类方法步骤。
技术总结
本发明公开了一种双教师类脑蒸馏持续学习图像分类方法,将视觉语言预训练模型定义为E<subgt;0</subgt;,并根据E<subgt;0</subgt;对图像数据构建初始视觉原型;将E<subgt;0</subgt;作为第一教师模型;由E<subgt;0</subgt;构建学生模型并加载预训练模型权重参数;对学生模型进行第m个任务的训练,训练后的学生模型记为E<subgt;m</subgt;;对学生模型进行第m+1个任务训练时,E<subgt;m</subgt;作为第二教师模型,学生模型从E<subgt;m</subgt;加载权重进行训练;使视觉原型在训练过程中随着批次数据进行滑动更新;根据E<subgt;m</subgt;计算分类损失L<subgt;ce</subgt;和实例原型对齐损失L<subgt;con</subgt;,根据E<subgt;m‑1</subgt;和E<subgt;0</subgt;计算实例原型相似度蒸馏损失,将其平均值并作为最终蒸馏损失L<subgt;dis</subgt;;将L<subgt;ce</subgt;、L<subgt;con</subgt;、L<subgt;dis</subgt;进行加权组合得到优化目标;本发明采用双教师蒸馏来同时缓解灾难性遗忘和零样本迁移能力的遗忘。
技术研发人员:冀中,张鸿盛
受保护的技术使用者:天津大学
技术研发日:
技术公布日:2024/11/26
文档序号 :
【 40125352 】
技术研发人员:冀中,张鸿盛
技术所有人:天津大学
备 注:该技术已申请专利,仅供学习研究,如用于商业用途,请联系技术所有人。
声 明 :此信息收集于网络,如果你是此专利的发明人不想本网站收录此信息请联系我们,我们会在第一时间删除
技术研发人员:冀中,张鸿盛
技术所有人:天津大学
备 注:该技术已申请专利,仅供学习研究,如用于商业用途,请联系技术所有人。
声 明 :此信息收集于网络,如果你是此专利的发明人不想本网站收录此信息请联系我们,我们会在第一时间删除
