使用多模态大语言模型针对边缘案例的自动驾驶目标检测方法及装置

1.一种使用多模态大语言模型针对边缘案例的自动驾驶目标检测方法，其特征在于，所述方法包括：

2.根据权利要求1所述的使用多模态大语言模型针对边缘案例的自动驾驶目标检测方法，其特征在于，将所述第一边缘案例图像和所述第一问题提示文本输入多模态大语言模型，得到所述第一问题提示文本对应的答案文本，包括：

3.根据权利要求2所述的使用多模态大语言模型针对边缘案例的自动驾驶目标检测方法，其特征在于，将所述第一边缘案例图像和所述第一问题提示文本输入多模态大语言模型，得到标记有目标的位置框和名称的第一边缘案例图像，包括：

4.根据权利要求1所述的使用多模态大语言模型针对边缘案例的自动驾驶目标检测方法，其特征在于，构建边缘案例图像文本对数据集，包括：

5.根据权利要求1所述的使用多模态大语言模型针对边缘案例的自动驾驶目标检测方法，其特征在于，所述多模态大语言模型是通过文本损失和位置损失对所述多模态大语言模型中的模态对齐层、预训练的大语言模型以及边界框解码器进行微调得到的，所述文本损失是通过所述第一问题提示文本对应的答案文本和所述第一边缘案例图像的文本描述计算得到的，所述位置损失是通过多模态大语言模型输出的标记有目标的位置框和名称的第一边缘案例图像中目标的位置框和所述第一边缘案例图像中目标的位置计算得到的；

6.根据权利要求1所述的使用多模态大语言模型针对边缘案例的自动驾驶目标检测方法，其特征在于，所述第一问题提示文本包括问题文本、格式描述文本和命令文本；基于所述边缘案例图像文本对数据集中的第一边缘案例图像的文本描述，构建第一问题提示文本，包括：

7.一种使用多模态大语言模型针对边缘案例的自动驾驶目标检测装置，其特征在于，所述装置包括：

8.根据权利要求7所述的使用多模态大语言模型针对边缘案例的自动驾驶目标检测装置，其特征在于，所述输入模块包括：

9.一种电子设备，包括存储器、处理器及存储在所述存储器上的计算机程序，其特征在于，所述处理器执行所述计算机程序以实现权利要求1-6中任一项所述的使用多模态大语言模型针对边缘案例的自动驾驶目标检测方法。

10.一种计算机可读存储介质，其特征在于，其上存储有计算机程序/指令，该计算机程序/指令被处理器执行时实现权利要求1-6中任一项所述的使用多模态大语言模型针对边缘案例的自动驾驶目标检测方法。