基于区域分类的伪造人脸溯源方法、装置、介质及设备

本技术涉及安防，尤其涉及一种基于区域分类的伪造人脸溯源方法、装置、存储介质及电子设备。

背景技术：

1、近年来随着人脸伪造技术的不断进步，伪造人脸防御技术变得愈发关键。伪造人脸防御技术包括检测和溯源两类：伪造检测是对人脸图像进行真伪判断，是一个二分类任务，伪造溯源则是确定伪造人脸图像的具体伪造模型，是一个多分类任务。相比于伪造检测，伪造溯源能够为司法侦查提供更精确的伪造相关信息，这对于提高物证鉴定的可信度具有重要意义。

2、随着深度学习在计算机视觉领域的发展，对伪造溯源算法的研究有了明显进步，取得了显著成果。例如，基于生成对抗网络（gan）留下的独特“指纹”进行伪造溯源，再例如，由于观察到生成对抗网络（gan）结构在生成图像过程中会留下全局一致的指纹，而模型权重留下的痕迹则在不同区域有所不同，提出dna-det能够溯源伪造图像到其源模型的架构以及，基于注意力机制的特征分解来进行三分类的人脸操纵检测方法（tfmd）。

3、上述的伪造溯源算法的准确度欠佳，对复杂伪造策略的抵御能力不够。

技术实现思路

1、本技术实施例提供一种基于区域分类的伪造人脸溯源方法、装置、存储介质及电子设备，能够提高人脸溯源的准确度。

2、本技术实施例提供了一种基于区域分类的伪造人脸溯源方法，包括：

3、获取人脸图片，所述人脸图片包括区域伪造图片、全局伪造图片与真实图片；

4、构建粗粒度溯源网络模型，将所述人脸图片输入到训练好的粗粒度溯源网络模型中，预测溯源结果；

5、其中，将所述区域伪造图片、所述全局伪造图片与所述真实图片输入到训练好的粗粒度溯源网络模型中，预测溯源结果，包括：

6、对所述人脸图片进行人脸解析得到人脸区域图片、背景区域图片与连接区域图片；

7、对所述人脸图片进行溯源特征提取得到全局特征与全局特征决策向量，对所述人脸区域图片、所述背景区域图片与所述连接区域图片分别进行溯源特征提取，得到人脸区域特征、背景区域特征、连接区域特征、人脸区域特征决策向量、背景区域特征决策向量以及连接区域特征决策向量；

8、对所述全局特征、所述人脸区域特征、所述背景区域特征、所述连接区域特征、所述全局特征决策向量、所述人脸区域特征决策向量、所述背景区域特征决策向量以及所述连接区域特征决策向量进行特征级融合和决策级融合得到粗粒度溯源决策向量；

9、将所述粗粒度溯源决策向量输入到分类器中，预测溯源结果。

10、进一步地，上述基于区域分类的伪造人脸溯源方法，其中，所述粗粒度溯源模型包括人脸解析模块，所述人脸解析模块嵌入有bisenet网络；

11、所述对所述人脸图片进行人脸解析得到人脸区域图片、背景区域图片与连接区域图片，包括：

12、将所述人脸图片输入到bisenet网络中得到人脸轮廓掩膜；

13、对所述人脸轮廓掩膜进行腐蚀操作得到人脸区域掩膜，基于所述人脸区域掩膜与所述人脸图片得到人脸区域图片；

14、对所述人脸轮廓掩膜进行膨胀操作并取反得到背景区域掩膜，基于所述背景区域掩膜与所述人脸图片得到背景区域图片；

15、对所述人脸轮廓掩膜的取反与所述背景区域掩膜的取反进行逻辑与操作，得到连接区域掩膜，基于所述连接区域掩膜与所述人脸图片得到连接区域图片。

16、进一步地，上述基于区域分类的伪造人脸溯源方法，其中，所述粗粒度溯源模型包括区域分类融合模块，所述区域分类融合模块包括特征融合模块与决策融合模块，所述特征融合模块包括通道注意力融合子模块与空间注意力融合子模块；

17、所述对所述全局特征、所述人脸区域特征、所述背景区域特征、所述连接区域特征、所述全局特征决策向量、所述人脸区域特征决策向量、所述背景区域特征决策向量以及所述连接区域特征决策向量进行特征级融合和决策级融合得到粗粒度溯源决策向量，包括：

18、将所述人脸区域特征、所述背景区域特征、所述连接区域特征输入到所述通道注意力融合子模块中进行通道注意力特征融合，得到三区域通道注意力融合特征；

19、将所述三区域通道注意力融合特征与所述全局特征输入到所述空间注意力融合子模块中进行空间注意力特征融合，得到特征级融合的第一决策向量；

20、将所述全局特征决策向量、所述人脸区域特征决策向量、所述背景区域特征决策向量、所述连接区域特征决策向量以及所述第一决策向量输入到所述决策融合模块进行决策融合，得到决策级融合的粗粒度溯源决策向量。

21、进一步地，上述基于区域分类的伪造人脸溯源方法，其中，所述粗粒度溯源网络模型包括溯源特征提取模块，所述溯源特征提取模块用于对人脸图片进行溯源特征提取，所述溯源特征提取模块包括全局溯源特征提取器、人脸区域溯源特征提取器、背景区域溯源特征提取器以及连接区域溯源特征提取器；

22、所述训练好的粗粒度溯源网络模型是基于粗粒度整体损失函数进行训练的，所述粗粒度整体损失函数为：

23、

24、其中，为合法性损失函数，是背景区域溯源特征提取器的交叉熵损失函数，是人脸区域溯源特征提取器的交叉熵损失函数，是连接区域溯源特征提取器的交叉熵损失函数，是全局溯源特征提取器的交叉熵损失函数。

25、进一步地，上述基于区域分类的伪造人脸溯源方法，其中，所述合法性损失函数为：

26、

27、其中，、和分别为背景区域溯源特征提取器、人脸区域溯源特征提取器和连接区域溯源特征提取器的真实标签的概率值，、和分别为背景区域溯源特征提取器、人脸区域溯源特征提取器和连接区域溯源特征提取器的假标签的概率值，为连接区域溯源特征提取器的真假混和标签的概率值。

28、进一步地，上述基于区域分类的伪造人脸溯源方法，其中，在所述将所述粗粒度溯源决策向量输入到分类器中，预测溯源结果的步骤之后，包括：

29、若所述溯源结果为区域伪造或全局伪造，则进行区域伪造与全图伪造判断；

30、所述区域与全图伪造判断包括：

31、构建细粒度溯源网络模型，所述细粒度溯源网络模型包括，粗-细粒度溯源特征融合模块、区域伪造细粒度溯源模块与全图伪造细粒度溯源模块，所述粗-细粒度溯源特征融合模块包括粗粒度融合子模块与粗细权重融合子模块；

32、将所述全局特征、所述人脸区域特征、所述背景区域特征与所述连接区域特征输入到训练好的粗粒度融合模块中进行特征融合，得到粗粒度融合特征；

33、将所述全局特征输入到所述区域伪造细粒度溯源模块或所述全图伪造细粒度溯源模块进行溯源特征提取，得到细粒度特征；

34、将所述粗粒度融合特征与所述细粒度特征输入到所述粗细权重融合子模块进行权重融合，得到权重融合特征；

35、将所述权重融合特征输入到分类器中，得到具体的溯源结果。

36、进一步地，上述基于区域分类的伪造人脸溯源方法，其中，所述细粒度溯源网络模型包括区域伪造细粒度溯源网络模型与全图伪造细粒度溯源网络模型，所述细粒度溯源网络模型基于两个阶段的损失函数进行训练；

37、一阶段损失函数为：

38、

39、其中，为一致性损失，为区域伪造细粒度溯源网络模型的带权交叉熵损失函数，为全图伪造细粒度溯源网络模型的带权交叉熵损失函数；

40、二阶段损失函数为：

41、

42、其中，为粗粒度溯源网络模型预测样本属于类别的概率，为全图伪造细粒度溯源网络模型预测样本属于类别的概率，为区域伪造细粒度溯源网络模型预测样本属于类别的概率，、、分别为各自真实标签向量中对应的真实标签的值，为二阶段损失函数。

43、本技术实施例还提供了一种基于区域分类的伪造人脸溯源装置，包括：

44、获取模块，用于获取人脸图片，所述人脸图片包括区域伪造图片、全局伪造图片与真实图片；

45、人脸解析模块，用于对所述人脸图片进行人脸解析得到人脸区域图片、背景区域图片与连接区域图片；

46、溯源特征提取模块，用于对所述人脸图片进行溯源特征提取得到全局特征与全局特征决策向量，对所述人脸区域图片、所述背景区域图片与所述连接区域图片分别进行溯源特征提取，得到人脸区域特征、背景区域特征、连接区域特征、人脸区域特征决策向量、背景区域特征决策向量以及连接区域特征决策向量；

47、区域分类融合模块，用于对所述全局特征、所述人脸区域特征、所述背景区域特征、所述连接区域特征、所述全局特征决策向量、所述人脸区域特征决策向量、所述背景区域特征决策向量以及所述连接区域特征决策向量进行特征级融合和决策级融合得到粗粒度溯源决策向量；

48、预测模块，用于将所述粗粒度溯源决策向量输入到分类器中，预测溯源结果。

49、本技术实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有多条指令，所述指令适于由处理器加载以执行上述任一项基于区域分类的伪造人脸溯源方法。

50、本技术实施例还提供了一种电子设备，包括处理器和存储器，所述处理器与所述存储器电性连接，所述存储器用于存储指令和数据，所述处理器用于上述任一项所述的基于区域分类的伪造人脸溯源方法中的步骤。

51、本技术提供的基于区域分类的伪造人脸溯源方法、装置、存储介质及电子设备，通过分别提取人脸图像特征与三个区域的特征，对两者进行特征级和决策级的融合得到粗粒度溯源决策向量，通过粗粒度溯源决策向量预测溯源结果，本技术充分利用了区域与全图、决策级与特征级等不同层面的互补信息，从而实现了粗粒度伪造人脸溯源，提高了人脸溯源的准确度，对复杂伪造策略具有强抵御能力。