一种基于情绪曲线的音乐生成方法与装置与流程

本发明涉及音频数据处理，尤其涉及一种基于情绪曲线的音乐生成方法及装置。

背景技术：

1、随着音频处理技术和深度学习算法的发展，大数据模型算法也被应用在了音乐创作领域。例如，可以通过输入不同的音乐属性信息，自动生成风格匹配的音乐，比如自动生成电影配乐、游戏音乐等。

2、音乐对于人们日常生活和艺术享受具有重要的意义，音乐既可表达作曲家的情绪，也可以影响听者的情绪。现有的一种音乐生成方法可以根据输入的情绪标签生成音乐，情绪标签作用于整首音乐。但是，这种音乐生成方法在情绪控制上只能对整首生成的音乐进行调整，并不能调整情绪的激烈程度，而一首音乐的情绪是可以切换和起伏的，因此使得现有的这种音乐生成技术并不能满足一些诸如电影配乐的实际需求。

技术实现思路

1、有鉴于此，本发明实施例提供一种基于情绪曲线的音乐生成方法及装置，用以解决现有的技术方案无法生成可以调节情绪激烈程度的音乐的问题。

2、为了解决上述技术问题，本发明的具体实施方式提供一种基于情绪曲线的音乐生成方法，包括：获取情绪曲线；在给定时间窗口内，统计所述情绪曲线的变化，生成表征情绪激烈程度的情感维度向量；基于所述情感维度向量，在训练好的音乐片段库模型中进行向量匹配，并选择对应的音乐片段，进而生成音乐。

3、在一种实施方式中，所述获取情绪曲线包括：输入已完成的情绪曲线；或者通过计算机视觉捕捉实时绘制的情绪曲线，包括捕捉人手实时绘制的曲线轨迹。

4、在一种实施方式中，所述获取情绪曲线还包括：获取多条情绪曲线；每一情绪曲线对应不同的情感维度，并可设定每个情感维度的权重。

5、在一种实施方式中，所述在给定时间窗口内，统计所述情绪曲线的变化，生成表征情绪激烈程度的情感维度向量，包括：根据设定的每个情感维度的权重，在给定时间窗口内，生成表征不同维度情感的情绪激烈程度的多维情感维度向量；所述情感维度向量为包括愉悦度、唤醒度和主导性在内的特征向量。

6、在一种实施方式中，训练生成所述音乐片段库模型，包括：利用vae模型生成大量音乐片段；对所述生成的音乐片段进行筛选，将包括律动、速度、音区在内的音乐属性不冲突的片段组合在一起，生成组合片段库；使用transformer模型对音乐片段进行训练，预测生成每个音乐片段的情感维度向量。

7、在一种实施方式中，所述基于所述情感维度向量，在训练好的音乐片段库模型中进行向量匹配，并选择对应的音乐片段，包括：将根据情绪曲线生成的情感维度向量与所述音乐片段库模型中的每个音乐片段对应的情感维度向量进行匹配，选择情感维度向量相似度最高的音乐片段；所述音乐片段包括一系列音形集，每个音形包括音符的时间、音高、响度、乐器种类和音乐速度。

8、在一种实施方式中，所述选择对应的音乐片段，进而生成音乐，包括：对于选择的多个音乐片段，使用vae对相邻的两个音乐片段进行插值，生成过渡段。

9、为了解决上述技术问题，本发明的具体实施方式还提供一种基于情绪曲线的音乐生成装置，包括：情绪曲线获取模块，用于获取情绪曲线；情感向量生成模块，用于在给定时间窗口内，统计所述情绪曲线的变化，生成表征情绪激烈程度的情感维度向量；音乐生成模块，用于基于所述情感维度向量，在训练好的音乐片段库中进行向量匹配，并选择对应的音乐片段，进而生成音乐。

10、本发明实施例的另一方面提供了一种电子设备，包括一个或多个处理器以及存储装置，其中，上述存储装置用于存储可执行指令，上述可执行指令在被上述处理器执行时，实现本发明实施例的方法。

11、本发明实施例的另一方面提供了一种计算机可读存储介质，存储有计算机可执行指令，上述指令在被处理器执行时用于实现本发明实施例的方法。

12、本发明实施例的另一方面提供了一种计算机程序，所述计算机程序包括计算机可执行指令，所述指令在被执行时用于实现本发明实施例的方法。

13、本发明实施例公开的基于情绪曲线的音乐生成方法及装置，可以采用情绪曲线收集更多更精准的情绪变化信息，较其他整体生成，情绪统一的音乐生成方法更为先进，能更好地领略创作者意图，提供了更精细化的创作手段。另外，本发明的音乐生成方法还可以通过输入的情绪激烈程度和曲风，生成相应的乐器类型和音形。音形的生成弥补了音符生成算法中音乐不连续，风格不统一的缺点，同时相较于整段音乐的生成算法更加精细和灵活。

1.一种基于情绪曲线的音乐生成方法，其特征在于，包括：

2. 根据权利要求1所述的基于情绪曲线的音乐生成方法，其特征在于，所述获取情绪曲线包括：

3.根据权利要求1所述的基于情绪曲线的音乐生成方法，其特征在于，所述获取情绪曲线还包括：

4.根据权利要求3所述的基于情绪曲线的音乐生成方法，其特征在于，所述在给定时间窗口内，统计所述情绪曲线的变化，生成表征情绪激烈程度的情感维度向量，包括：

5.根据权利要求1所述的基于情绪曲线的音乐生成方法，其特征在于，训练生成所述音乐片段库模型，包括：

6.根据权利要求1所述的基于情绪曲线的音乐生成方法，其特征在于，所述基于所述情感维度向量，在训练好的音乐片段库模型中进行向量匹配，并选择对应的音乐片段，包括：

7.根据权利要求1-6任一项所述的基于情绪曲线的音乐生成方法，其特征在于，所述选择对应的音乐片段，进而生成音乐，包括：

8.一种基于情绪曲线的音乐生成装置，其特征在于，包括：

9. 根据权利要求8所述的基于情绪曲线的音乐生成装置，其特征在于，所述情绪曲线获取模块用于获取情绪曲线包括：

10.根据权利要求8所述的基于情绪曲线的音乐生成装置，其特征在于，所述情绪曲线获取模块获取情绪曲线还包括：

11.根据权利要求10所述的基于情绪曲线的音乐生成装置，其特征在于，所述情感向量生成模块用于在给定时间窗口内，统计所述情绪曲线的变化，生成表征情绪激烈程度的情感维度向量，包括：

12.根据权利要求8所述的基于情绪曲线的音乐生成装置，其特征在于，所述音乐生成模块基于所述情感维度向量，在训练好的音乐片段库模型中进行向量匹配，并选择对应的音乐片段，包括：

13.根据权利要求8-12任一项所述的基于情绪曲线的音乐生成装置，其特征在于，所述音乐生成模块中还包括vae插值单元，用于对于选择的多个音乐片段，使用vae对相邻的两个音乐片段进行插值，生成过渡段。

14.一种电子设备，包括一个或多个处理器以及存储装置，其特征在于，所述存储装置用于存储可执行指令，所述可执行指令在被上述处理器执行时，实现如权利要求1-7任一项所述的基于情绪曲线的音乐生成方法。

15.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机可执行指令，所述指令在被处理器执行时使所述处理器执行如权利要求1-7任一项所述的基于情绪曲线的音乐生成方法。

16.一种计算机程序，其特征在于，所述计算机程序包括计算机可执行指令，所述指令在被执行时用于实现如权利要求1-7任一项所述的基于情绪曲线的音乐生成方法。