基于多模态图检索增强生成的多角色数字人构建方法与流程

1.基于多模态图检索增强生成的多角色数字人构建方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的基于多模态图检索增强生成的多角色数字人构建方法，其特征在于：在所述步骤s1中，采用图检索增强生成技术构建外部知识库时，采用以下步骤：

3.根据权利要求2所述的基于多模态图检索增强生成的多角色数字人构建方法，其特征在于：在所述步骤a1中，文件的来源至少包括网络开放文档库、专业领域知识库和企业内部知识库中的一种，多模态信息的种类至少包括图像、文本、视频和音频中的一种。

4.根据权利要求2所述的基于多模态图检索增强生成的多角色数字人构建方法，其特征在于：在所述步骤a2中，对文件中的多模态信息进行预处理时，包括以下步骤：

5.根据权利要求4所述的基于多模态图检索增强生成的多角色数字人构建方法，其特征在于：所述图像处理模型设置为用于将不同种类的多模态信息转换为能够在同一向量空间内进行表示的高维向量表示的clip。

6.根据权利要求2所述的基于多模态图检索增强生成的多角色数字人构建方法，其特征在于：在所述步骤a4中，图结构的索引至少包括图结构中相应图节点的标签、摘要、关键字和该图节点的高维向量表示中的一种。

7.根据权利要求1所述的基于多模态图检索增强生成的多角色数字人构建方法，其特征在于：在所述步骤s1中，构建用于进行多模态处理的大语言模型时，采用以下步骤：

8.根据权利要求7所述的基于多模态图检索增强生成的多角色数字人构建方法，其特征在于：在所述步骤c3中，修改预训练语言模型后进行微调训练，微调后的预训练语言模型经性能验证通过后输出为大语言模型时，采用以下步骤：使用数据集对预训练语言模型执行微调过程，通过反向传播算法更新预训练语言模型的参数，以最大化目标任务数据集上的性能，在每个训练周期结束时评估模型性能，并调整超参数进行优化，经性能评估合格后输出为大语言模型。

9.根据权利要求1所述的基于多模态图检索增强生成的多角色数字人构建方法，其特征在于：在所述步骤s2中，输入的外部信息至少包括文字输入、语音输入、图像输入和视频输入中的一种。

10.根据权利要求1所述的基于多模态图检索增强生成的多角色数字人构建方法，其特征在于：在所述步骤s3中，建立数字人架构，集成大语言模型和外部知识库，以进行数字人问答工作时，采用以下步骤：将大语言模型和外部知识库集成到数字人的架构中，并通过多模态处理和图检索增强生成技术进行数字人问答工作。