一种基于个体差异的跨个体注视估计方法

1.一种基于个体差异的跨个体注视估计方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的一种基于个体差异的跨个体注视估计方法，其特征在于，所述预处理方法为：将数据集中面部图像输入到校验模块中，去除闭眼或者部分瞳孔可见的样本数据，然后使用dp模型进行样本数据的去噪。

3.根据权利要求1所述的一种基于个体差异的跨个体注视估计方法，其特征在于，所述神经网络模型cbsp-net以l2cs-net为基础模型，在l2cs-net中，将resnet-50的主体网络部分中，添加了空间注意力机制和条形池化注意力机制。

4.根据权利要求3所述的一种基于个体差异的跨个体注视估计方法，其特征在于，所述步骤2中，通过神经网络模型cbsp-net中的基础卷积提取模块对输入图像进行基本特征提取后，对眼睛图像应用通道和空间上的注意力机制，并结合条形池化注意力机制对提取的基本特征进行压缩，模型的输出为三维视线向量的中的偏航角和俯仰角，所述偏航角和俯仰角分别表示眼睛和头部姿态的状态与位置。

5.基于权利要求4所述的一种基于个体差异的跨个体注视估计方法，其特征在于，所述偏航角和俯仰角结合数据采集时相机的位置，使用张正友标定法获取到相机坐标系的方向，然后将三维视线向量结合相机坐标系投影到二维平面，所述三维视线向量与二维平面的交点就是二维注视点pog。

6.根据权利要求2所述的一种基于个体差异的跨个体注视估计方法，其特征在于，所述步骤3中，则全部可用帧样本的预测均值gtr的计算公式为：

7.根据权利要求6所述的一种基于个体差异的跨个体注视估计方法，其特征在于，所述sp模块的矫正预测方法如下：

8.根据权利要求7所述的一种基于个体差异的跨个体注视估计方法，其特征在于，所述权重系数ωi的计算方式如下：

9.根据权利要求1所述的一种基于个体差异的跨个体注视估计方法，其特征在于，所述步骤4中，如果该参与者存在历史数据的话，将历史数据也转换为热图，将两个数据结合，然后输入至pst模块。

10.根据权利要求1所述的一种基于个体差异的跨个体注视估计方法，其特征在于，所述步骤4中，生成热图的方法为：首先将校准后的预测点映射到像素空间，然后在该点中心放置一个狄拉克δ函数，通过pst模块中的深度神经网络对其进行卷积，应用一个固定方差的各向同性二维高斯函数，形成一个平滑的热图。

11.根据权利要求1所述的一种基于个体差异的跨个体注视估计方法，其特征在于，所述pst模块的损失函数设计为二元交叉熵损失函数，公式为