一种基于交互关系匹配的有限数量样本目标检测网络

1.一种基于交互关系匹配的有限数量样本目标检测网络，其特征在于，所述目标检测网络包括双分支输入层、特征提取主干网络层、交互关系匹配模块、动态集成原型模块、双向特征对齐模块和预测头网络层；双分支输入层分别使用询问集图像和支持集图像作为网络模型的输入图像；特征提取主干网络层利用resnet-101神经网络主干为两个分支同时进行特征提取，产生询问集特征和支持集特征；交互关系匹配模块分别接收来自两个分支主干网络的特征，并输出预选框特征向量，引导网络关注新颖类别前景信息；动态集成原型模块用于动态聚合生成稳健且高质量的原型，并输出原型特征向量；双向特征对齐模块用于改善特征错位，接收的输入为预选框特征向量和原型特征向量，输出为融合特征；预测头网络层用于对图像中的目标进行定位和分类，利用融合特征输出网络预测的类别和位置，包括对预选框分类和对预选框位置进行回归定位，目的是利用深层特征分别判别图像中目标对象的所属类别和具体位置。

2.根据权利要求1所述的目标检测网络，其特征在于，所述交互关系匹配模块分别在双分支包含两个平行的3×3卷积层，用来将双分支的特征分别嵌入为成对的键值对映射，对于询问集分支，输出的键值对映射为特征向量kq与vq，同理，对于支持集分支，每一类别的特征都被独立嵌入为成对的键值对映射，该分支的键值对映射为特征向量ks与vs，然后将生成的键映射和值映射用于在rpn网络生成预选的锚定框流程中对支持集和询问集执行交互关系匹配操作，计算得到寻址矩阵fqs(kq,ks)，将该寻址矩阵归一化后，用于对支持集特征对应的值映射vs进行加权求和，以此来检索支持集特征中重要的细节信息，为rpn网络生成预选锚定框提供有效的支持信息，将经过检索后的支持集特征信息与来自询问集的vq一起执行拼接操作concat[·,·]后，馈送至rpn层生成预选的锚定框。

3.根据权利要求2所述的目标检测网络，其特征在于，寻址矩阵fqs(kq,ks)的第i行、第j列对应元素的计算公式为：fqs(kq,ks)i,j＝φ(kqi)tφ′(ksj)，其中，kq表示询问集键映射，ks表示支持集键映射，i和j分别表示询问集特征键映射和支持集特征键映射的位置索引，φ和φ'分别表示两个不同的线性变换层。

4.根据权利要求1所述的目标检测网络，其特征在于，所述动态集成原型模块包括依次连接的卷积层、类内全局平均化层、通道关系动态集成层、mlp层和原型集成层，对于支持集分支，一共有n个候选类别，每个类别含有k个支持集样本，将每一个单独的样本si经过特征提取主干网提取的特征映射记为θ(si)，将单个支持样本特征通过卷积层得到特征i＝1,…,k，再再将支持集分支的共计n个候选类别和类内的k个支持集样本按类别执行全局平均化得到特征favg，然后对上述两个特征执行通道关系卷积算子γc(·,·)，此时的卷积层能够提取单个支持样本特征中的特殊细节信息，也能够提取出同一类别所有支持样本的共性特征，通过反向传播更新卷积参数，网络模型可以在单个样本局部细节和整体样本共性特征之间学习达到一种动态平衡，由此得到通道关系动态集成特征fi，最后将通道关系动态集成特征fi通过mlp层及归一化后得到置信度图mi，置信度图mi用于对同一类别的k个样本进行加权求和，从而集成得到有效的、稳健的动态集成原型。

5.根据权利要求4所述的目标检测网络，其特征在于，和favg的计算方式为：其中conv(·)表示3×3的卷积层。

6.根据权利要求5所述的目标检测网络，其特征在于，通道关系动态集成特征fi的计算方式为置信度图mi的计算方式为mi＝softmax(mlp(fi))，动态集成原型为其中表示按元素相乘。

7.根据权利要求1所述的目标检测网络，其特征在于，所述双向特征对齐模块将预选框特征向量fp与原型特征向量fe执行两个方向的特征对齐操作，预选框特征向量fp为将预选锚定框内的信息经过roi-align操作投影后得到，原型特征向量fe为将动态集成原型进行下采样，并通过mlp层将维度调整至与预选框特征保持一致，由此得到的特征记作原型特征向量fe，按照as(φ,ρ)＝φρt计算原型对齐矩阵，其中矩阵表示特征向量和特征向量各自局部特征之间相似程度的关联度矩阵，并对fe执行原型对齐；按照aq(φ,ρ)＝σ(∑row(φρt))计算前景对齐矩阵，其中矩阵表示特征向量和特征向量各自局部特征之间相似程度的关联度矩阵，σ(σrow(·))表示按行求和后取sigmoid归一化，并对fp执行前景对齐，最终对两分支对齐后的特征执行特征融合，改善跨分支的特征错位现象，提高新颖类别识别效果。

8.根据权利要求1所述的目标检测网络，其特征在于，在有限数量样本条件下，采用三阶段元学习策略对网络模型进行训练，训练后能够快速学习并识别出图像集中数量稀少的新颖类别目标，所述三阶段元学习策略依次分为元训练阶段、元微调阶段和元测试阶段。