一种基于人工智能的个性化视频特效匹配方法、装置和计算机可读存储介质与流程

本发明涉及视频处理，尤其涉及一种基于人工智能的个性化视频特效匹配方法、装置和计算机可读存储介质。

背景技术：

1、视频特效是指在视频制作过程中，为了增强视觉冲击力、提升艺术效果或者讲述故事的需要，而采用的一系列后期处理技术和创意手段，提升观众的观看体验。这些特效可以包括颜色调整、画面变形、动态图形叠加、光影效果等，视频特效在实际的视频拍摄过程中难以实现。视频特效的应用范围非常广泛，包括电影、电视、广告、音乐视频、游戏、短视频、虚拟现实等。研究表明，对视频增加特效将极大提升用户浏览或观看的兴趣。

2、现有技术中对视频特效匹配的方法主要是通过人工选择来实现，具体过程包括：当用户定位到视频添加特效的位置时，根据系统提供的视频特效库，选择对应的视频特效。然而，上述过程存在以下缺点：一是手动选择特效的过程需要人工参与，费时费力，效率低下，尤其是在对直播等实时性要求较高的视频进行视频特效匹配时，无法实时实现特效匹配，难以满足视频特效匹配的实时性要求；二是在手动选择特效时由于视频特效提供的特效类型众多，用户在选择特效时主要是根据个人喜好来选择，所选择的特效并未真实反映视频人物的真实情感，导致视频特效和视频人物并未实现最佳匹配。因此现有技术中视频特效匹配的过程中存在匹配效率和匹配准确率不高的技术问题。

技术实现思路

1、有鉴于此，本发明实施例提供一种基于人工智能的个性化视频特效匹配方法，该方法可以解决现有技术中存在的视频特效匹配的效率和准确率不高的技术问题。

2、本发明第一方面提供了一种基于人工智能的个性化视频特效匹配方法，包括如下步骤：

3、s1：获取视频数据集，并对所述视频数据集中的人脸情绪进行标注，作为视频训练样本数据；

4、s2：构建基于yolo的人脸情绪识别模型，将所述视频训练样本数据输入所述人脸情绪识别模型进行训练，并利用损失函数更新所述人脸情绪识别模型的参数；

5、s3：获取待处理视频，并将所述待处理视频输入到所述人脸情绪识别模型，得到对应的人脸情绪识别结果；

6、s4：根据所述人脸情绪识别结果为所述视频中的人物匹配相应的个性化视频特效。

7、作为本发明的进一步改进，所述人脸情绪识别模型包括backbone层，neck层和head层；所述backbone层包括依次顺序连接的focus层，第一icbs模块，第一c3am模块，第二icbs模块，第二c3am模块，第三icbs模块，第三c3am模块，第四icbs模块，第四c3am模块，sppf模块；所述neck层包括依次顺序连接的第二cdr模块，第二上采样模块，第二concat模块，第一c3模块，第一cdr模块，第一上采样模块，第一concat模块，第二c3模块，第五icbs模块，第三concat模块，第三c3模块，第六icbs模块，第四concat模块，第四c3模块；所述head层包括第一特征图p1，第二特征图p2和第三特征图p3；所述第二c3am模块的输出输入到所述第一concat模块，所述第四c3am模块的输出输入到所述第二concat模块，所述sppf模块的输出输入到所述第二cdr模块，所述第二cdr模块的输出输入到第四concat模块，所述第一cdr模块的输出输入到所述第三concat模块，第二c3模块、第三c3模块、第四c3模块分别与p1、p2、p3连接。

8、作为本发明的进一步改进，第一icbs模块～第六icbs模块的结构相同；icbs模块为改进后的cbs模块，包括cdr模块和sd模块；所述cdr模块包括依次顺序连接的cbs模块，深度卷积模块(dsconv)，concat模块和recombine模块，所述cbs模块的输出输入到concat模块，所述recombine模块用于实现对不同的通道进行随机重新排序；所述sd模块包括4个并联的slice模块和concat模块，所述cdr模块的输出分别输入到所述并联的slice模块，所述slice模块的输出分别输入到concat模块。

9、作为本发明的进一步改进，第一c3am模块～第四c3am模块的结构相同；c3am模块为在原有的c3模块中嵌入了注意力机制模块(am)，所述注意力机制模块的类型为ca注意力机制或eca注意力机制。

10、作为本发明的进一步改进，所述损失函数为：

11、

12、其中，loss为损失函数，iou为预测框和真实框的面积交叉比，b为预测框的中心点，bgt为真实框的中心点，ρ(b,bgt)表示预测框和真实框中心点之间的距离，c表示包含预测框和真实框的最小闭区域的对角线距离，α表示权重系数，v表示预测框和真实框宽高比的相似系数，wgt是真实框的宽度，hgt是真实框的高度，w是预测框的宽度，h是预测框的高度，k1和k2为预设比例系数，d1为预测框和真实框的下边框的中点之间的距离，d2为预测框和真实框的左边框的中点之间的距离，d3为预测框和真实框的最小边缘顶点坐标之间的距离，d4为预测框和真实框的最大边缘顶点坐标之间的距离。

13、作为本发明的进一步改进，所述人脸情绪识别结果对应多个个性化视频特效，所述多个个性化视频特效具有不同的优先级。

14、作为本发明的进一步改进，所述人脸情绪识别结果包括开心，悲伤，尴尬，难过。

15、作为本发明的进一步改进，所述个性化视频特效包括色彩校正、文本动画、光线追踪。

16、本发明第二方面提供了一种基于人工智能的个性化视频特效匹配装置，包括训练样本获取模块，模型训练模块，人脸情绪识别模块，个性化特效匹配模块；

17、训练样本获取模块用于获取视频数据集，并对所述视频数据集中的人脸情绪进行标注，作为视频训练样本数据；

18、模型训练模块用于构建基于yolo的人脸情绪识别模型，将所述视频训练样本数据输入所述人脸情绪识别模型进行训练，并利用损失函数更新所述人脸情绪识别模型的参数；

19、人脸情绪识别模块用于获取待处理视频，并将所述待处理视频输入到所述人脸情绪识别模型，得到对应的人脸情绪识别结果；

20、个性化特效匹配模块用于根据所述人脸情绪识别结果为所述视频中的人物匹配相应的个性化视频特效。

21、本发明第三方面提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序可被处理器执行，以实现如前述的基于人工智能的个性化视频特效匹配方法。

22、与现有技术相比，本发明至少具有如下有益效果：

23、(1)本发明通过基于yolo的人脸情绪识别模型对视频人物的人脸情绪进行识别，并根据识别结果匹配对应的视频特效，该过程检测的准确率高，且无需人工参与，显著提高了视频特效匹配的效率和准确性；同时，本发明对原有的yolo模型进行了改进，提高了特征的提取能力，减少了特征信息的丢失，能够更好保证视频特效匹配的准确率。

24、(2)本发明提供的损失函数对原有的ciou损害函数的参数进行改进，并增加了距离差惩罚项，这样一方面可以提高损失函数的收敛速度，另一方面也可以防止ciou损失函数的退化。