证件识别模型训练方法、装置、存储介质及电子设备与流程

本发明涉及计算机，尤其涉及一种证件识别模型训练方法、装置、存储介质及电子设备。

背景技术：

1、证件识别过程存在多种任务类型，通常有上百个模型支持全球百余种证件的质量、合规、防伪等数十个下游任务，涉及分类、回归、分割等。由于模型数量很多，其所需要的维护部署成本很高。

技术实现思路

1、本说明书实施例提供一种证件识别模型训练方法，该方法训练得到的证件识别模型是以证件图像为中心的统一模型，通过将不同类型任务统一到同一个模型中，可以提高证件识别准确性，且降低维护成本。所述证件识别模型包括编码器、解码器及任务引导解释器，所述方法包括：

2、获取证件图像训练样本；

3、确定所述证件图像训练样本相关联的至少一个证件识别任务，以及获得所述至少一个证件识别任务对应的任务查询向量；

4、将所述证件图像训练样本输入所述编码器进行特征提取，得到所述编码器输出的图像特征信息；

5、将所述任务查询向量及所述图像特征信息输入所述解码器，得到所述解码器输出的任务特征信息；

6、将所述任务特征信息输入所述任务引导解释器，得到所述任务引导解释器输出的至少一个输出结果；

7、根据所述至少一个输出结果，利用损失函数对所述证件识别模型进行训练，得到已训练的证件识别模型。

8、进一步地，在一些实施方式中，所述编码器是与训练过的，所述方法还包括：

9、基于自监督训练方式对所述编码器进行预训练，得到预训练过的所述编码器。

10、进一步地，在一些实施方式中，所述基于自监督训练方式对所述编码器进行预训练，得到预训练过的编码器，包括：

11、获得预训练证件图像样本；

12、将所述预训练证件图像样本切分为不重叠的多个子图像，随机确定所述多个子图像中的至少一个子图像，对所述至少一个子图像进行掩模处理；

13、将未掩模的一个或多个子图像输入所述编码器，得到对应的第一子图像特征序列；

14、根据已掩模的至少一个子图像在所述多个子图像中的顺序，将所述已掩模的至少一个子图像插入所述第一子图像特征序列，得到对应的第二子图像特征序列；

15、通过将所述第二子图像特征序列输入到对应的解码器进行重构，得到预训练过的编码器。

16、进一步地，在一些实施方式中，所述确定所述证件图像训练样本相关联的至少一个证件识别任务，包括：

17、将所述证件图像训练样本输入至训练好的证件任务分类模型，获得所述证件任务分类模型输出的至少一个证件识别任务。

18、进一步地，在一些实施方式中，所述确定所述证件图像训练样本相关联的至少一个证件识别任务，包括：

19、根据所述证件图像训练样本对应的证件类型，确定所述证件图像训练样本相关联的至少一个证件识别任务。

20、进一步地，在一些实施方式中，所述获得所述至少一个证件识别任务对应的任务查询向量，包括：

21、获得与所述证件图像训练样本相关联的至少一个证件识别任务对应的任务查询文本；

22、对于所述至少一个证件识别任务中的每个证件识别任务，将该证件识别任务对应的任务查询文本及所述证件图像训练样本关于该证件识别任务的关联信息输入至多模态转换器，得到所述多模态转换器输出的该证件识别任务对应的任务查询向量；其中，所述关联信息包括关联图像信息、用户属性信息、用户行为信息中的至少一种。

23、进一步地，在一些实施方式中，所述关联信息包括关联图像信息，所述方法还包括：

24、对于所述每个证件识别任务，根据该证件识别任务的任务性质，确定所述证件图像训练样本关于该证件识别任务的关联图像信息。

25、进一步地，在一些实施方式中，所述对于所述每个证件识别任务，根据该证件识别任务的任务性质，确定所述证件图像训练样本关于该证件识别任务的关联图像信息包括：

26、对于所述每个证件识别任务，若该证件识别任务的任务性质为多帧，获得所述证件图像训练样本对应的闪光帧图像，并将所述闪光帧图像作为所述关联图像信息。

27、在一些实施方式中，所述对于所述每个证件识别任务，根据该证件识别任务的任务性质，确定所述证件图像训练样本关于该证件识别任务的关联图像信息包括：

28、对于所述每个证件识别任务，若该证件识别任务的任务性质为多帧，获得所述证件图像训练样本对应的至少一个角度图像，并将所述至少一个角度图像作为所述关联图像信息。

29、进一步地，在一些实施方式中，所述对于所述每个证件识别任务，根据该证件识别任务的任务性质，确定所述证件图像训练样本关于该证件识别任务的关联图像信息包括：

30、对于所述每个证件识别任务，若该证件识别任务的任务性质为单帧，将所述证件图像训练样本关于该证件识别任务的关联图像信息设置为空。

31、进一步地，在一些实施方式中，所述任务引导解释器包括多个输出单元，每个证件识别任务对应的输出结果从与该证件识别任务对应的输出单元中输出。

32、进一步地，在一些实施方式中，所述任务引导解释器还包括门控制单元及任务引导单元，任务引导单元用于根据所述任务特征信息控制门控制单元的打开和关闭，所述门控制单元用于控制每个证件识别任务对应的输出结果从与该证件识别任务对应的输出单元中输出。

33、进一步地，在一些实施方式中，每个输出单元对应一种任务类型，所述门控制单元用于控制每个证件识别任务对应的输出结果从该证件识别任务的任务类型对应的输出单元中输出。进一步地，在一些实施方式中，所述任务类型包括分类任务、回归任务、分割任务、检测任务。

34、本说明书实施例还提供一种证件识别方法，包括：

35、将目标证件图像及与所述目标证件图像相关联的至少一个证件识别任务对应的任务查询向量输入至证件识别模型，所述证件识别模型是基于本说明书实施例提供的证件识别模型训练方法训练得到的；

36、获得所述证件识别模型输出的所述目标证件图像关于所述至少一个证件识别任务的至少一个输出结果；

37、根据所述至少一个输出结果确定所述目标证件图像对应的证件识别结果。

38、本说明书实施例还提供一种证件识别模型训练装置，所述证件识别模型包括编码器、解码器及任务引导解释器，所述装置包括：

39、获取模块，配置为获取证件图像训练样本；

40、确定模块，配置为确定所述证件图像训练样本相关联的至少一个证件识别任务，以及获得所述至少一个证件识别任务对应的任务查询向量；

41、编码模块，配置为将所述证件图像训练样本输入所述编码器进行特征提取，得到所述编码器输出的图像特征信息；

42、解码模块，配置为将所述任务查询向量及所述图像特征信息输入所述解码器，得到所述解码器输出的任务特征信息；

43、输出模块，配置为将所述任务特征信息输入所述任务引导解释器，得到所述任务引导解释器输出的至少一个输出结果；

44、训练模块，配置为根据所述至少一个输出结果，利用损失函数对所述证件识别模型进行训练，得到已训练的证件识别模型。

45、本说明书实施例还提供一种证件识别装置，包括：

46、输入模块，配置为将目标证件图像及与所述目标证件图像相关联的至少一个证件识别任务对应的任务查询向量输入至证件识别模型，所述证件识别模型是基于本说明书实施例提供的证件识别模型训练方法训练得到的；

47、输出模块，配置为获得所述证件识别模型输出的所述目标证件图像关于所述至少一个证件识别任务的至少一个输出结果；

48、确定模块，配置为根据所述至少一个输出结果确定所述目标证件图像对应的证件识别结果。

49、本说明书实施例还提供一种存储介质，其上存储有计算机程序，其特征在于，所述存储介质存储有计算机程序，所述计算机程序适于由处理器加载并执行上述的方法的步骤。

50、本说明书实施例还提供一种电子设备，包括：处理器和存储器；其中，所述存储器存储有计算机程序，所述计算机程序适于由所述处理器加载并执行上述的方法的步骤。

51、本说明书实施例还提供一种计算机程序产品，所述计算机程序产品存储有至少一条指令，所述至少一条指令适于由处理器加载并执行上述的方法步骤。

52、在本说明书实施例中，通过获取证件图像训练样本及其相关联的至少一个证件识别任务，并获得所述至少一个证件识别任务对应的任务查询向量，然后将所述证件图像训练样本输入所述编码器进行特征提取得到所述编码器输出的图像特征信息，将所述任务查询向量及所述图像特征信息输入所述解码器得到所述解码器输出的任务特征信息，将所述任务特征信息输入所述任务引导解释器得到所述任务引导解释器输出的至少一个输出结果，之后根据所述至少一个输出结果，利用损失函数对所述证件识别模型进行训练来得到已训练的证件识别模型，由此可得到以证件图像为中心的统一的证件识别模型，使用该证件识别模型可处理不同的证件识别任务，适应不同的证件识别任务输出，且能够提高识别准确率，维护成本低；针对不同证件识别任务，可设计灵活的任务查询向量来学习相应的知识，由此本说明书实施例中的证件识别模型在提示训练方面具有良好的表现和潜力。