图像边框识别模型训练方法及装置、电子设备和介质与流程

本公开涉及人工智能领域，尤其涉及深度学习、图像识别、信息推荐，具体涉及一种图像边框识别模型训练方法、装置、电子设备、计算机可读存储介质和计算机程序产品。

背景技术：

1、人工智能是研究使计算机来模拟人的某些思维过程和智能行为(如学习、推理、思考、规划等)的学科，既有硬件层面的技术也有软件层面的技术。人工智能硬件技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理等技术:人工智能软件技术主要包括计算机视觉技术、语音识别技术、自然语言处理技术以及机器学习/深度学习、大数据处理技术、知识图谱技术等几大方向。

2、随着互联网技术的发展，互联网已成为人们生活中不可或缺的部分，人们生活中的消费、娱乐、学习、出行和理财等都离不开互联网。在基于互联网的信息展示中，通常需要从海量数据中智能地筛选出用户感兴趣的内容呈现给用户。封面图作为信息流推荐产品中的重要元素，对于用户的首次感知和内容吸引力起着至关重要的作用。然而，在内容的生产和传输过程中，难免会引入一些封面图质量问题。

技术实现思路

1、本公开提供了一种图像边框识别模型训练方法、装置、电子设备、计算机可读存储介质和计算机程序产品。

2、根据本公开的一方面，提供了一种图像边框识别模型训练方法，包括：获取样本图像，其中,所述样本图像包括与所述样本图像的边框信息相关联的至少两个标签信息，所述至少两个标签信息与至少两个分类子任务一一对应；将所述样本图像输入主干网络，以获得第一图像特征；对于每个分类子任务，执行以下操作：将所述第一图像特征输入第一分类子任务所对应的全连接层，以获得第一特征向量，所述至少两个分类子任务包括所述第一分类子任务；将所述第一特征向量作为关键向量和数值向量，且将所述至少两个分类子任务中的除所述第一分类子任务外的其他分类子任务对应的第一特征向量作为查询向量输入所述第一分类子任务对应的多头注意力模块，以获得输出的在所述第一分类子任务的所述样本图像的边框信息属于各个类别的概率；基于所述概率和对应的所述标签信息，确定所述第一分类子任务所对应的损失函数的损失值；以及基于每个分类子任务对应的所述损失值，调节所述主干网络和每个分类子任务各自对应的全连接层和多头注意力模块的参数值。

3、根据本公开的另一方面，提供了一种图像边框识别方法，包括：获取待识别的图像，其中，所述待识别的图像用于在至少两个分类子任务下分别进行边框识别；将所述待识别的图像输入主干网络，以获得第一图像特征；对于每个分类子任务，执行以下操作：将所述第一图像特征输入第一分类子任务所对应的全连接层，以获得第一特征向量，所述至少两个分类子任务包括所述第一分类子任务；将所述第一特征向量作为关键向量和数值向量，且将所述至少两个分类子任务中的除所述第一分类子任务外的其他分类子任务对应的第一特征向量作为查询向量输入所述第一分类子任务对应的多头注意力模块，以获得输出的在所述第一分类子任务的所述待识别的图像的边框信息属于各个类别的概率；基于相应的所述概率，分别确定在所述至少两个分类子任务各自识别到的所述待识别的图像的边框信息。

4、根据本公开的另一方面，提供了一种图像边框识别模型训练装置，包括：第一获取单元，配置为获取样本图像，其中,所述样本图像包括与所述样本图像的边框信息相关联的至少两个标签信息，所述至少两个标签信息与至少两个分类子任务一一对应；第一输入单元，配置为将所述样本图像输入主干网络，以获得第一图像特征；第一分类单元，配置为对于每个分类子任务，执行以下操作：将所述第一图像特征输入第一分类子任务所对应的全连接层，以获得第一特征向量，所述至少两个分类子任务包括所述第一分类子任务；将所述第一特征向量作为关键向量和数值向量，且将所述至少两个分类子任务中的除所述第一分类子任务外的其他分类子任务对应的第一特征向量作为查询向量输入所述第一分类子任务对应的多头注意力模块，以获得输出的在所述第一分类子任务的所述样本图像的边框信息属于各个类别的概率；基于所述概率和对应的所述标签信息，确定所述第一分类子任务所对应的损失函数的损失值；以及调节单元，配置为基于每个分类子任务对应的所述损失值，调节所述主干网络和每个分类子任务各自对应的全连接层和多头注意力模块的参数值。

5、根据本公开的另一方面，提供了一种图像边框识别装置，包括：第二获取单元，配置为获取待识别的图像，其中，所述待识别的图像用于在至少两个分类子任务下分别进行边框识别；第二输入单元，配置为将所述待识别的图像输入主干网络，以获得第一图像特征；第二分类单元，配置为对于每个分类子任务，执行以下操作：将所述第一图像特征输入第一分类子任务所对应的全连接层，以获得第一特征向量，所述至少两个分类子任务包括所述第一分类子任务；将所述第一特征向量作为关键向量和数值向量，且将所述至少两个分类子任务中的除所述第一分类子任务外的其他分类子任务对应的第一特征向量作为查询向量输入所述第一分类子任务对应的多头注意力模块，以获得输出的在所述第一分类子任务的所述待识别的图像的边框信息属于各个类别的概率；确定单元，配置为基于相应的所述概率，分别确定在所述至少两个分类子任务下各自识别到的所述待识别的图像的边框信息。

6、根据本公开的另一方面，提供了一种电子设备，包括：至少一个处理器；以及与至少一个处理器通信连接的存储器；存储器存储有可被至少一个处理器执行的指令，该指令被至少一个处理器执行，以使至少一个处理器能够执行本公开所述的方法。

7、根据本公开的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，该计算机指令用于使计算机执行本公开所述的方法。

8、根据本公开的另一方面，提供了一种计算机程序产品，包括计算机程序，该计算机程序在被处理器执行时实现本公开所述的方法。

9、根据本公开的一个或多个实施例，为了能够对边框进行细粒度识别，对样本图像进行多种标签信息的标注，并通过多头注意力模块加强各个子分类任务之间的联系，以增强当前分类子任务的表征特征，从而强化了模型对于多分类任务学习的训练效果，使得训练后的模型不仅能够用于对图像边框进行细粒度分类，还增强了模型对各类别图像边框的识别能力，准确性更高。

10、应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。

1.一种图像边框识别模型训练方法，包括：

2.如权利要求1所述的方法，其中，所述至少两个分类子任务包括以下项中的至少两项：

3.如权利要求1或2所述的方法，其中，所述至少两个分类子任务包括3个分类子任务；

4.如权利要求3所述的方法，其中，基于所述第四特征向量，获取所述概率包括：

5.如权利要求1所述的方法，其中，所述损失函数是基于加权交叉熵损失函数确定的。

6.如权利要求1或5所述的方法，其中，所述基于每个分类子任务对应的所述损失值，调节所述主干网络和每个分类子任务各自对应的全连接层和多头注意力模块的参数值，包括：

7.一种图像边框识别方法，包括：

8.如权利要求7所述的方法，其中，所述至少两个分类子任务包括以下项中的至少两项：

9.如权利要求7或8所述的方法，其中，所述至少两个分类子任务包括3个分类子任务；

10.如权利要求9所述的方法，其中，基于所述第四特征向量获取所述概率包括：

11.一种图像边框识别模型训练装置，包括：

12.如权利要求11所述的装置，其中，所述至少两个分类子任务包括以下项中的至少两项：

13.如权利要求11或12所述的装置，其中，所述至少两个分类子任务包括3个分类子任务；

14.如权利要求11所述的装置，其中，所述损失函数是基于加权交叉熵损失函数确定的。

15.如权利要求11或14所述的装置，其中，所述调节单元包括：

16.一种图像边框识别装置，包括：

17.如权利要求16所述的装置，其中，所述至少两个分类子任务包括以下项中的至少两项：

18.如权利要求16或17所述的装置，其中，所述至少两个分类子任务包括3个分类子任务；

19.一种电子设备，包括：

20.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据权利要求1-10中任一项所述的方法。

21.一种计算机程序产品，包括计算机程序，其中，所述计算机程序在被处理器执行时实现权利要求1-10中任一项所述的方法。