一种图像场景识别方法、装置、设备和存储介质

本发明涉及图像识别，具体为一种图像场景识别方法、装置、设备和存储介质。

背景技术：

1、图像场景识别是一种利用计算机视觉，旨在让计算机理解图像中的场景和物体的技术，从而实现对图像内容的智能分析和处理。图像场景识别能够实现对复杂场景的高效识别，广泛应用于智能监控、自动驾驶、智能家居等领域，为这些领域提供更加精准和可靠的数据支持，改善人们的生活和工作环境。然而，目前的图像场景识别方法难以在准确性和快速性之间取得平衡。

2、中国专利公开号为“cn115100496a”，名称为“一种自适应场景的图像识别方法”，该方法根据图像特征以及各图像特征之间的关联关系建立特征知识图谱，结合各图像特征之间的关联关系来建立若干特征识别模型，利用对应的特征识别模型对子图像中的图像特征进行分析识别，获取对应特征信息，降低了特征识别模型的训练量，能够提高特征信息的准确性，但存在识别效率低的问题。

技术实现思路

1、(一)解决的技术问题

2、针对现有技术的不足，本发明提供了一种图像场景识别方法、装置、设备和存储介质。通过解决现有图像场景识别方法准确率不高、实时性不强的问题，本发明在保证识别准确率的同时，提高了识别算法的速度，从而拓宽了应用场景。

3、(二)技术方案

4、本发明为了实现上述目的具体采用以下技术方案：

5、一种图像场景识别方法、装置、设备和存储介质，包括四个方面；

6、第一方面，本发明提供了一种图像场景识别方法，该方法包括以下步骤，

7、步骤1，准备数据集，选择场景识别数据集，将数据集划分为训练集、测试集、验证集，对图像进行预处理；

8、步骤2，构建网络模型，该模型分为三个支路，并最终将场景特征汇聚到分类层，其中一个支路用于提取场景图像中各个的目标的属性，包括已预先训练的图像语义分割网络模型和用于节点分类的图神经网络，图神经网络主要包括图生成模块和图嵌入模块，一个支路用于提取场景图像的全局场景属性，包括卷积神经网络，一个支路用于提取场景图像的局部场景属性，包括显著区域生成模块；

9、步骤3，训练网络模型，选择合适的损失函数对网络进行训练，最小化图像识别结果与真实标签的值，直到训练达到设定次数或者损失函数的值达到预设的范围，即可认为模型参数已训练完成，保存模型参数；

10、步骤4，微调网络模型，使用验证集对神经网络模型进行微调，进一步提高模型性能；

11、步骤5，确定模型，固化网络模型参数，确定最终网络模型，若后续进行图像场景识别任务时，可直接将待识别图像输入到端到端网络模型中，得到识别结果。

12、进一步地，所述步骤1中，场景识别使用mit-67indoor数据集，place365数据集，对图像进行增强等预处理。

13、进一步地，所述步骤2中，已预先训练的图像语义分割网络模型，可使用u-net模型、deeplab模型等主流语义分割模型，用于将场景图像中的目标进行识别、分割，供后续场景识别网络使用。

14、进一步地，所述步骤2中，图生成模块，用于生成图结构中的节点特征矩阵x和构建图结构中边的邻接关系的邻接矩阵a，所述图嵌入模块即将图结构的节点与边缘特征信息映射为对应的向量，所述卷积神经网络，包括卷积块一、卷积块二、卷积块三、卷积块四、注意力模块，所述注意力模块，将两个支路的特征向量进行加权计算后融合，所述显著区域生成模块，包括卷积块五、卷积块六、卷积块七，将语义图经过特征提取全局平均池化后得到场景图像的显著性区域，所述分类层，包括全连接层和softmax层，用于将得到的特征信息进行分类得到场景得分。

15、进一步地，所述步骤3选择合适的损失函数，具体为交叉熵损失；所述交叉熵损失用于衡量网络的输出与真实标签之间的差异，最小化交叉熵损失，使网络的预测尽可能接近真实标签，提高分类的准确性。

16、第二方面，本发明提供一种图像场景识别装置，包括获取模块、预处理模块、识别模块，其特征在于：

17、所述获取模块，用于获取不同场景的图像；

18、所述预处理模块，用于将采集到的场景图像进行去噪、增强操作；

19、所述识别模块，用于识别图像所处的场景，得到图像场景的类别；其内部组成在上述一种图像场景识别方法已有详细阐述，此处不再赘述。

20、第三方面，一种计算机设备，所述计算机设备包括输入/输出单元、中央处理器、存储器，以及存储在所述存储器上并可被所述处理器执行的计算机程序，其中所述计算机程序被所述处理器执行时，实现所述的一种图像场景识别方法的步骤。

21、第四方面，本发明提供了一种计算机存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如第一方面任一项所述的图像场景识别方法。

22、(三)有益效果

23、与现有技术相比，本发明提供了一种图像场景识别方法，具备以下有益效果：

24、本发明，通过设计了节点分类的图神经网络进行场景识别，充分的利用了图像中的目标信息，来提高识别精度，利用图神经网络进行识别，将大量的图片转换为图结构，简化了传统卷积神经网络的特征提取的步骤，同时，图神经网络模型和传统卷积神经网络相比参数较少，并且可以通过局部连接的方式，降低计算的复杂度，保证识别精度的同时，提高了场景识别的识别速度。

25、本发明，通过设计了图生成模块，使语义图像能够高效地转换为图结构，构建出图结构中的节点和邻接矩阵，将每张图片的特征作为图结构的节点，根据类间相似性和类内差异性，将图片的相似性和差异性作为图结构的边对节点进行连接，充分的利用了图片场景中的目标属性，有效的提高了多种场景识别的准确率。

26、本发明，通过设计了显著区域生成模块，生成场景语义图像的显著性区域图，根据显著性区域指导特征块剪裁，得到场景的局部显著特征，充分的提取了场景图片的局部细节。

1.一种图像场景识别方法，其特征在于，该方法包括以下步骤：

2.根据权利要求1所述的一种图像场景识别方法，其特征在于：所述步骤1，场景识别使用mit-67indoor数据集，place365数据集，对图像进行增强等预处理。

3.根据权利要求1所述的一种图像场景识别方法，其特征在于：所述步骤2，已预先训练的图像语义分割网络模型，使用u-net模型、deeplab模型主流语义分割模型，用于将场景图像中的目标进行识别、分割，供后续场景识别网络使用，所述图生成模块，用于生成图结构中的节点特征矩阵x和构建图结构中边的邻接关系的邻接矩阵a，所述图嵌入模块即将图结构的节点与边缘特征信息映射为对应的向量，所述卷积神经网络，包括卷积块一、卷积块二、卷积块三、卷积块四、注意力模块，所述注意力模块，将两个支路的特征向量进行加权计算后融合，所述显著区域生成模块，包括卷积块五、卷积块六、卷积块七，将语义图经过特征提取全局平均池化后得到场景图像的显著性区域，所述分类层，包括全连接层和softmax层，用于将得到的特征信息进行分类得到场景得分。

4.根据权利要求3所述的一种图像场景识别方法，其特征在于：所述卷积块一、卷积块二、卷积块三、卷积块四、卷积块五、卷积块六、卷积块七包含卷积层、归一化层、激活层，卷积核大小均为3×3，步长和填充均为1，激活层为r型激活函数。

5.根据权利要求1所述的一种图像场景识别方法，其特征在于：所述步骤3选择合适的损失函数，具体为交叉熵损失；所述交叉熵损失用于衡量网络的输出与真实标签之间的差异，最小化交叉熵损失，使网络的预测尽可能接近真实标签，提高分类的准确性。

6.一种图像场景识别装置，其特征在于，包括获取模块、预处理模块、识别模块，

7.一种计算机设备，其特征在于：所述计算机设备包括输入/输出单元、中央处理器、存储器，以及存储在所述存储器上并可被所述处理器执行的计算机程序，其中所述计算机程序被所述处理器执行时，实现1-5中任一项所述的一种图像场景识别方法。

8.一种计算机存储介质，其上存储有计算机程序，其特征在于：所述计算机程序被处理器执行时，实现1-5中任一项所述的一种图像场景识别方法。