一种多模态融合的手写电子签名验证方法与流程

本发明属于多模态学习领域，特别涉及一种多模态融合的手写电子签名验证方法。

背景技术：

1、手写电子签名是指以数字化方式记录的签名，根据不同的模态类型，其可以分为静态签名和动态签名两类。静态签名可以指电子板生成的签名图像，也可以指纸质签名扫描后的图像，反映了形状、粗细、纹理等空间信息；动态签名指手写过程中电子板采集的物理数据，如不同时间的坐标、压力、倾角和提笔状态等，反映了时间信息。

2、手写电子签名最容易受到伪造攻击的威胁，攻击者会冒充注册用户的身份进行签名，可分为：简单伪造，攻击者只知道要写的文本内容但不知道结构形状；以及熟练伪造，攻击者可以刻意练习书写文本的结构，以更好地通过签名验证。由于文本内容和文字结构都容易被公开访问，应重点关注熟练伪造带来的威胁。因此，需要对手写电子签名验证，其主要分为注册和比对两个环节：注册阶段搜集用户的签名样本，经过特征提取后存储在签名数据库，以便于后续比较和分析；验证阶段输入注册样本模板和待验证样本，两者经过特征比对后，判断待验证样本是否为所声明用户的合法签名。根据使用的手写签名模态，可分为离线验证、在线验证和多模态融合下的验证，

3、 2004年， vatsa等人[ vatsa  m,  singh  r,  mitra  p,  et  al.  signature verification  using  static  and  dynamic  features[ c]// neural  information processing:  11th  international  conference ( iconip).  springer,  2004:  350- 355.]提出了一种多模态结合的多分类器签名验证算法，通过一维对数 gabor小波和欧拉数分别分析了签名图像的纹理特征和拓扑特征，同时结合了动态签名的实时压力值、断点和书写时间特征。

4、 2021年， ji等人[ ji  n,  liu  b,  zhao  z,  et  al.  content- independent  online handwriting  verification  based  on  multi- modal  fusion[ c]// 2021  ieee international  conference  on  multimedia  and  expo ( icme).  ieee,  2021:  1- 6.]提出了一种多路径特征融合网络，将电子设备获得的静态和动态签名融合，用以加强笔迹验证，该方法还利用了内容无关的手写验证方案来应对熟练伪造攻击。

5、 2022年 zhang等人[ zhang  p,  jiang  j,  liu  y,  et  al.  msds:  a  large- scale chinese  signature  and  token  digit  string  dataset  for  handwriting  verification[ j].  advances  in  neural  information  processing  systems,  2022,  35:  36507- 36519.]贡献了一个大规模的多模态中文签名和数字串手写数据集 msds，其中通过拼接方式简单结合两个模态进行签名验证，表明验证模型在多模态信息下比单模态有更低的均等错误率。

6、 2024年， li等人[ li  q,  wang  z,  jin  l,  et  al.  mmhsv:  a  multimodal handwritten  signature  verification  fusing  dynamic  and  static  feature[ c]// 2024 ieee  international  conference  on  acoustics,  speech  and  signal  processing( icassp).  ieee,  2024:  4730- 4734.]提出了一种基于深度学习的多模式手写签名验证框架，其中融合了签名图像和笔划声音的互补信号分量，该框架基于多任务学习和对偶路径的签名表示提取模型。

7、另外，中国专利申请 cn117789309a公开了一种线识别不同手写签名的方法，其中涉及不同模态的融合，在线获取电子签名的时序数据，分别得到序列特征和图像特征并进行融合，最后得到数据对的表征向量，通过表征向量的相似度确定测试签名和模板数据的相似度。中国专利申请 cn115482541a公开一种基于跨模态笔迹的类协同训练方法，其中涉及纸质签名转化成的二值化图像，电子签名序列回显得到的签名图像，而后在通道维度对齐两种模态类型的签名图像，得到电子及纸质签名的图像对，构建双塔网络结构，通过有标签数据、无标签数据进行跨模态比对多任务联合分类训练；综合分类结果判别跨模态笔迹签署人身份。中国专利申请 cn116152815a公开了一种基于对抗擦除机制跨模态笔迹比对方法，涉及纸质签名和电子手写签名数据构造生成的正负样本对，其移除了笔画边界干扰和签名周围噪点，采用双分支架构构建基于对抗擦除机制的深度神经网络，通过通道池化操作获取正负样本对对应特征图的自注意图，选择性对特征图的有效区域进行局部擦除，最后通过二分类器推理签名对属于同一人书写的概率。中国专利申请 cn115601843a公开了一种基于双流网络的多模态签名笔迹鉴别系统，涉及签名人的离线纸质签名图像和在线签名图像数据，利用循环的对抗生成网络将签名图像在域间迁移，将同模态数据组合拼接转换为相同尺度的图像，拼接的两类同模态签名图像数据分别输入双流网络，输出签名图像对相似度的概率得分以进行二分类判断。

8、总得来说，多模态融合下的电子签名验证方法能比单模态下具有更好的表现，静态图像和动态序列之间的信息可以相互补充，但该类研究较少。关于多模态手写数据，多为在电子签名板上同步生成动态序列和转译图像，而在手写板上放置复写纸，书写完毕后进行扫描的情况并不符合大多实际应用场景。

技术实现思路

1、本发明提出一种多模态融合的手写电子签名验证方法，通过融合手写电子签名的多模态信息，增强签名验证模型的能力，为使用者提供了伪造手写签名的验证服务。

2、本发明的技术方案是这样实现的：一种多模态融合的手写电子签名验证方法，所述方法包括以下模态数据的预处理和特征提取步骤：

3、 s1：采集用户手写电子签名的若干个模态数据，包括签名图像 pic和签名时序数据 seq；

4、 s2：通过签名时序数据得到压力矩阵 pmat；所述签名时序数据包含每个时刻的横坐标 xt、纵坐标 yt和压力 pt，首先生成大小 ymax× xmax二维全零矩阵，然后将矩阵在 yt行 xt列处赋值为 pt；将矩阵进行插值操作，统一至和签名图像 pic相同的大小 h× w；

5、 s3：通过签名时序数据提取局部特征，并同时定义时间函数，从带有坐标、时间和压力信息的时间序列中，提取速度、角度和加速度特征，得到维度扩展的时间序列，通过插值操作将每条签名的书写时长差异规整至统一长度 l；

6、 s4：通过签名时序理数据提取全局特征，首先从原始时序数据中扩展得到横/纵坐标、速度、横/纵向速度、加速度、横/纵向加速度和压力的时序数据，然后从中选择计算平均值、最大/最小值差、标准差和最大值作为全局特征，基于全局特征得到表示签名全局特征的向量 vg；

7、 s5：对签名图像 pic和压力矩阵 pmat在通道维度拼接，然后输入二维卷积神经网络 2d- cnn，得到图像级融合的深度表征向量 hp；对局部特征时间序列，输入一维卷积神经网络 1d- cnn，得到时序级深度表征向量 hs；

8、 s6：构建深度神经网络 dnn，挖掘输入全局特征向量 vg中适用于真伪分类的信息；

9、 s7：输入样板签名 sigtemp和待测试签名 sigtest的多模态数据，得到签名特征向量 fvtemp和 fvtest，计算 out= fc( fvtemp|| fvtest)，其中 out为用于真伪鉴别分类的二维向量；在模型训练过程中，使用二分类交叉熵损失函数，在测试时，将用户注册时的签名作为样板签名，和待测试签名一起输入鉴别网络，得到验证结果。

10、作为一优选的实施方式，所述步骤 s5中在获得时序级深度表征向量 hs后，使用 tfn网络进行后端融合，其计算方式为：，其中为拼接运算，为张量外积运算， fc为全连接层。

11、作为一优选的实施方式，所述步骤 s6中挖掘输入全局特征向量 vg中适用于真伪分类的信息时，输出向量 hg，并计算，其中 fv为融合了多模态信息的签名特征向量。

12、作为一优选的实施方式，所述步骤 s4中得到表示签名全局特征的向量 vg还包括以下全局特征：签名总时间 t、提笔数量 nup、最大压力点的位置( xpmax,  ypmax)、平均速度和最大速度之比、横向跨度和纵向跨度之比和签名路径长度。

13、采用了上述技术方案后，本发明的有益效果是：通过结合签名图像和签名时序数据，该方法实现了对用户签名的全面分析。传统的签名验证方法通常仅依赖于静态图像，容易受到伪造和模仿的影响，而多模态融合方法通过引入动态时序数据，使得系统能够捕捉到包括书写压力、速度、角度等在内的多种信息，从而提高了验证的准确性和可靠性。

14、压力矩阵的生成和插值操作使得时序数据能够与图像数据在同一尺度上进行比较。这种处理方法解决了不同用户书写习惯导致的长度差异问题，确保了特征提取的一致性，进一步增强了模型对签名的识别能力。

15、局部特征和全局特征的提取相结合，使得该方法不仅能够捕捉到签名的微观变化（如速度和加速度），还能够对整体书写模式进行分析。全局特征向量的构建通过计算平均值、标准差等统计量，有效总结了签名的整体特性，提升了分类的准确度。

16、采用二维卷积神经网络（ 2d- cnn）和一维卷积神经网络（ 1d- cnn）分别对图像和时序数据进行深度特征提取，实现了多模态信息的有效融合。这种深度学习模型能够自动学习并提取最具判别性的特征，减少了人为特征选择的主观性，提高了模型的泛化能力。

17、构建的深度神经网络（ dnn）能够深入挖掘全局特征向量中适用于真伪分类的信息，使得系统能够更精准地判断签名的真实性。这种深度学习方法相比于传统的机器学习方法，能够处理更复杂的模式识别任务，进一步提高了验证的准确性。

18、在模型训练过程中采用二分类交叉熵损失函数，确保了模型在训练阶段的效果优化。同时，在测试阶段使用注册时的样板签名作为基准，与待测试签名进行对比，提高了验证的安全性和准确性，避免了错误的验证结果。

19、综合考虑了多种特征信息，增强了系统的抗干扰能力，使其能够更好地适应不同用户的书写风格和习惯。这种灵活性和适应性使得该方法在实际应用中具有更广泛的适用性，能够满足高安全性要求的场景，如金融交易、法律文件签署等。通过融合手写签名多模态数据的信息，包括图像和序列特征，局部和全局特征，可以更有效地验证签名，为手写签名提供了伪造识别的服务