自适应调整的视频流编码优化方法、装置、设备及产品与流程

本申请涉及多媒体通信，尤其涉及自适应调整的视频流编码优化方法、装置、设备及产品。

背景技术：

1、视频直播、远程会议是当今互联网上的重要业务，这些业务都依赖实时互动视频流的传输。在虚拟现实(virtual reality，vr)、增强现实(augmentedreality，ar)等沉浸式体验应用中，互动视频流也对用户体验有着重要影响。通过实验发现，不同视频内容会引导用户产生不同的观看偏好。比如，对于竞技体育视频，由于画面快速变换和高强度运动场景，用户对视频帧率的要求极高。高帧率能够确保画面的流畅性和连贯性，避免关键瞬间的遗漏，从而保障用户的观看体验。而对于色彩斑斓的自然风光视频，用户更加注重画面的细腻度和清晰度。这类视频富含丰富的细节和色彩层次，用户对分辨率的要求更为严格。高分辨率能够更好地展现自然风光的细腻纹理和色彩变化，为用户带来更加逼真的视觉享受。

2、传统的编解码方式对网络情况实时准确感知的难度较大，且未考虑到视频场景变化，优化考量因素较为单一。

技术实现思路

1、本申请的主要目的在于提供一种自适应调整的视频流编码优化方法、装置、设备及产品，旨在解决优化考量因素单一的技术问题。

2、为实现上述目的，本申请提出一种自适应调整的视频流编码优化方法，所述的方法包括：

3、将视频流的图像基础数据输入至视频特征提取模型，通过所述视频特征提取模型计算视频帧之间的图像特征差异，获得目标图像特征；

4、根据所述图像基础数据和所述目标图像特征，利用预训练的二分类器确定用户观看偏好；

5、基于当前网络状态和所述用户观看偏好通过视频流编码模型对当前视频进行编码优化。

6、在一实施例中，所述视频流编码模型包括状态空间、动作空间以及奖励函数，所述基于当前网络状态和所述用户观看偏好通过视频流编码模型对当前视频进行编码优化的步骤，包括：

7、将所述当前网络状态和所述用户观看偏好定义为所述状态空间，将多个档位变化需求值定义为所述动作空间；

8、基于所述状态空间，根据动作空间确定初始优化编码配置，并根据所述初始优化编码配置调整当前编码配置；

9、基于所述当前编码配置计算当前时刻的奖励函数，根据所述当前时刻的奖励函数反馈调整编码配置，确定目标优化编码配置；

10、根据所述目标优化编码配置对所述当前视频进行编码优化。

11、在一实施例中，所述基于所述当前编码配置计算当前时刻的奖励函数，根据所述当前时刻的奖励函数反馈调整编码配置，确定目标优化编码配置的步骤，包括：

12、基于所述当前编码配置计算当前时刻的奖励函数；

13、若所述当前时刻的奖励函数大于预设阈值，输出当前的编码配置，所述当前的编码配置为目标编码配置。

14、在一实施例中，所述基于所述当前编码配置计算当前时刻的奖励函数的步骤之后，包括：

15、若所述当前时刻的奖励函数小于或等于所述预设阈值，返回所述根据当前编码配置以及动作空间确定初始优化编码配置的步骤，直至所述当前时刻的奖励函数大于所述预设阈值。

16、在一实施例中，所述根据动作空间确定初始优化编码配置的步骤，包括：

17、根据动作空间确定编码配置决策集合；

18、根据所述用户观看偏好确定所述编码配置集合中每个编码配置决策对应的决策概率；

19、根据所述决策概率，从所述编码配置集合中选取一种配置决策，作为所述初始优化编码配置。

20、在一实施例中，所述用户观看偏好包括分辨率偏好或帧率偏好，所述根据所述图像基础数据和所述目标图像特征，利用预训练的二分类器确定用户观看偏好的步骤，包括：

21、输入所述当前视频的图像基础数据和所述目标图像特征至所述二分类器，获得所述二分类器输出的输出值；

22、当所述输出值大于预设偏好阈值时，将用户的分辨率偏好作为用户观看偏好；

23、当所述输出值小于或等于预设偏好阈值时，将用户的帧率偏好作为用户观看偏好。

24、此外，为实现上述目的，本申请还提出一种自适应调整的视频流编码优化装置，所述自适应调整的视频流编码优化装置包括：

25、目标图像特征获取模块，用于将视频流的图像基础数据输入至视频特征提取模型，通过所述视频特征提取模型计算视频帧之间的图像特征差异，获得目标图像特征；

26、用户偏好确认模块，用于根据所述图像基础数据和所述目标图像特征，利用预训练的二分类器确定用户观看偏好；

27、编码优化模块，用于基于当前网络状态和所述用户观看偏好通过视频流编码模型对当前视频进行编码优化。

28、此外，为实现上述目的，本申请还提出一种自适应调整的视频流编码优化设备，所述设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序配置为实现如上文所述的自适应调整的视频流编码优化方法的步骤。

29、此外，为实现上述目的，本申请还提出一种存储介质，所述存储介质为计算机可读存储介质，所述存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上文所述的自适应调整的视频流编码优化方法的步骤。

30、此外，为实现上述目的，本申请还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，所述计算机程序被处理器执行时实现如上文所述的自适应调整的视频流编码优化方法的步骤。

31、本申请提出的一个或多个技术方案，至少具有以下技术效果：

32、将视频流的图像基础数据输入至视频特征提取模型，通过视频特征提取模型计算视频帧之间的图像特征差异，获得目标图像特征；根据图像基础数据和目标图像特征，利用预训练的二分类器确定用户观看偏好；基于当前网络状态和用户观看偏好通过视频流编码模型对当前视频进行编码优化。利用预训练的二分类器确定用户观看偏好，确定了不同用户针对不同视频内容的观看偏好，通过结合用户的观看偏好和实时网络状况，多角度考虑优化点，为实时互动视频流选择最佳的编码配置，提高了互动视频流在不同场景下自适应性的同时，增强了用户体验。

1.一种自适应调整的视频流编码优化方法，其特征在于，所述的方法包括：

2.如权利要求1所述的方法，其特征在于，所述视频流编码模型包括状态空间、动作空间以及奖励函数，所述基于当前网络状态和所述用户观看偏好通过视频流编码模型对当前视频进行编码优化的步骤，包括：

3.如权利要求2所述的方法，其特征在于，所述基于所述当前编码配置计算当前时刻的奖励函数，根据所述当前时刻的奖励函数反馈调整编码配置，确定目标优化编码配置的步骤，包括：

4.如权利要求2所述的方法，其特征在于，所述基于所述当前编码配置计算当前时刻的奖励函数的步骤之后，包括：

5.如权利要求2所述的方法，其特征在于，所述根据动作空间确定初始优化编码配置的步骤，包括：

6.如权利要求1至5中任一项所述的方法，其特征在于，所述用户观看偏好包括分辨率偏好或帧率偏好，所述根据所述图像基础数据和所述目标图像特征，利用预训练的二分类器确定用户观看偏好的步骤，包括：

7.一种自适应调整的实时互动视频流编码优化装置，其特征在于，所述装置包括：

8.一种自适应调整的实时互动视频流编码优化设备，其特征在于，所述设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序配置为实现如权利要求1至6中任一项所述的自适应调整的实时互动视频流编码优化方法的步骤。

9.一种存储介质，其特征在于，所述存储介质为计算机可读存储介质，所述存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至6中任一项所述的自适应调整的实时互动视频流编码优化方法的步骤。

10.一种计算机程序产品，其特征在于，所述计算机程序产品包括计算机程序，所述计算机程序被处理器执行时实现如权利要求1至6中任一项所述的自适应调整的实时互动视频流编码优化方法的步骤。