人机交互处理方法、装置、设备及存储介质与流程

1.一种人机交互处理方法，其特征在于，包括：

2.根据权利要求1所述的人机交互处理方法，其特征在于，所述将所述图像、所述结构化信息以及所述操作指令输入预先训练得到的多模态大模型，生成所述操作指令对应的任务语句之前，还包括：

3.根据权利要求1所述的人机交互处理方法，其特征在于，所述图像处理模型包括：视觉定位模型以及文字识别模型；

4.根据权利要求1所述的人机交互处理方法，其特征在于，所述多模态大模型包括：预处理模块、拼接模块以及处理模块；

5.根据权利要求4所述的人机交互处理方法，其特征在于，所述预处理模块包括：分割模块以及线性映射层；

6.根据权利要求1所述的人机交互处理方法，其特征在于，所述针对所述用户界面执行所述任务语句，并向所述用户输出执行结果，包括：

7.根据权利要求6所述的人机交互处理方法，其特征在于，所述确定所述任务语句在所述用户界面中对应的待操作区域以及待执行操作，包括：

8.一种人机交互处理装置，其特征在于，包括：

9.一种电子设备，其特征在于，包括：处理器和存储器，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器执行所述机器可读指令，以执行如权利要求1至7任一所述的人机交互处理方法的步骤。

10.一种计算机可读存储介质，其特征在于，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如权利要求1至7任一所述的人机交互处理方法的步骤。