一种多任务联合训练的光伏板外破检测方法与流程

1.一种多任务联合训练的光伏板外破检测方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的一种多任务联合训练的光伏板外破检测方法，其特征在于，所述光伏图像采集，具体内容如下：在无人机采集光伏图像的过程中，预设无人机的飞行路径和高度，确保其覆盖所有光伏板，并获得一致的图像分辨率，同时通过调整无人机的角度和高度实现多角度拍摄，最后采集到的光伏图像数据应包括各种光伏板外破类型，如裂纹、划痕、碎裂、材料老化变色情形。

3.根据权利要求1所述的一种多任务联合训练的光伏板外破检测方法，其特征在于，所述步骤2)边缘增强的方法，具体内容如下：首先，加载去噪处理后的光伏图像，然后通过sobel算子计算图像的梯度来进行边缘检测，具体来说，sobel算子分别计算水平和垂直方向的梯度，然后组合这两个方向的梯度以获得图像的边缘强度图，最后将边缘强度图与原图进行融合得到边缘增强后的图像。

4.根据权利要求1所述的一种多任务联合训练的光伏板外破检测方法，其特征在于，步骤3)具体来说，首先使用预训练的resnet-50卷积神经网络作为基础的特征提取模型，用来提取光伏板图像的高维特征表示，在多任务学习阶段，联合训练对比学习任务通过优化nt-xent损失，使模型学习到如何将相同类别的图像特征聚集在一起，同时将不同类别的图像特征分离开，分类任务则通过优化交叉熵损失，使模型学习如何准确地将输入图像分类到正确的破损类型，再通过联合损失函数来平衡对比损失和分类损失。

5.根据权利要求1或4任意一项所述的一种多任务联合训练的光伏板外破检测方法，其特征在于resnet-50卷积神经模型，具体内容如下：resnet引入残差模块，将边缘增强后的光伏图像数据输入到resnet-50模型中，有效提取光伏图像特征，获取其高维特征表示。

6.根据权利要求4所述的一种多任务联合训练的光伏板外破检测方法，其特征在于，所述步骤3)对比学习任务，具体内容如下：在对比学习任务中，正负样本对的构建是关键步骤，通过如下规则构建样本对：正样本对由同类别的两张图像构成，通过数据增强技术从同一张图像生成两张不同视角的图像或者两张具有相同破损类型的光伏板图像，作为正样本对，负样本对由不同类别的图像构成，不同类别的图像可以是正常光伏板和破损光伏板的图像对，或者是不同破损类型的光伏板图像对，对比学习任务通过优化nt-xent损失函数来增强模型区分不同外破类型特征表示的能力，nt-xent损失函数的数学定义如下：

7.根据权利要求1所述的一种多任务联合训练的光伏板外破检测方法，其特征在于，所述步骤3)分类任务，具体内容如下：分类任务的目标是根据输入的光伏板图像判断其是否存在破损，并检测其破损类型，采用交叉熵损失函数，交叉熵损失函数的数学定义如下：

8.根据权利要求1所述的一种多任务联合训练的光伏板外破检测方法，其特征在于，所述步骤3)中联合损失函数，具体内容如下：联合损失函数，其用来平衡对比损失和分类损失，并通过反向传播的方式来优化模型参数，联合损失函数如下：

9.根据权利要求1所述的一种多任务联合训练的光伏板外破检测方法，其特征在于，所述步骤4)动态注意力机制，具体内容如下：动态注意力机制通过se模块和自适应门控机制来实现，se模块通过自适应地重新校准通道特征来提升特征表示能力，主要由两个步骤组成：squeeze操作和excitation操作，squeeze操作对每个通道进行全局平均池化，得到每个通道的全局特征，excitation操作通过全连接层生成每个通道的权重，并通过sigmoid函数将权重归一化到0到1之间，最后通过重新加权，将生成的权重与原始特征图相乘，得到初次增强后的特征图。

10.根据权利要求9所述的一种多任务联合训练的光伏板外破检测方法，其特征在于：自适应门控机制能够根据输入特征图的复杂度动态调整se模块的缩放因子，使得注意力机制对复杂的破损特征给予更高的权重，该机制首先计算初次增强后的特征图的复杂度，然后设计一个门控函数来学习特征图复杂度和缩放因子之间的关系，对缩放因子s进行动态调整，与初次增强后的特征图进行点乘得到最终增强的特征图。