模型推理方法、装置、计算机设备和存储介质与流程

1.一种模型推理方法，其特征在于，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，所述获取与当前处理设备匹配的运算优化代码，包括：

3.根据权利要求1所述的方法，其特征在于，所述方法还包括：

4.根据权利要求1所述的方法，其特征在于，当前处理设备中缓存空间包括第一缓存空间和第二缓存空间，所述缓存属性信息包括所述第一缓存空间的空间容量和所述第二缓存空间的空间容量，所述缓存参考信息包括行方向数据的第一参考信息和列方向数据的第二参考信息；所述第一缓存空间的访问优先级大于所述第二缓存空间的访问优先级；

5.根据权利要求4所述的方法，其特征在于，所述根据数据分块信息、所述第一参考信息、相应网络层的输入特征数据的列数以及所述第一缓存空间的空间容量，确定列方向分块信息，包括：

6.根据权利要求4所述的方法，其特征在于，所述根据所述列方向分块信息、所述数据分块信息、所述第二参考信息、相应网络层的输入特征数据的列数以及所述第二缓存空间的空间容量，确定行方向分块信息，包括：

7.根据权利要求1所述的方法，其特征在于，所述将各矩阵运算组依次缓存至所述缓存空间中，包括：

8.根据权利要求7所述的方法，其特征在于，所述通过所述运算优化代码包含的输入特征数据对应的第一重排代码，将所针对的矩阵运算组中第一中间矩阵缓存至所述缓存空间中，包括：

9.根据权利要求8所述的方法，其特征在于，所述方法还包括：

10.根据权利要求7所述的方法，其特征在于，所述通过所述运算优化代码包含的网络参数数据对应的第二重排代码，将所针对的矩阵运算组中第二中间矩阵缓存至所述缓存空间中，包括：

11.根据权利要求1-10任一项所述的方法，其特征在于，所述推理请求为图像识别请求，所述推理请求携带的输入数据为待识别图像，所述推理请求对应的推理结果为图像识别结果。

12.一种模型推理装置，其特征在于，所述装置包括：

13.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至11中任一项所述的方法的步骤。

14.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至11中任一项所述的方法的步骤。

15.一种计算机程序产品，包括计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1至11中任一项所述的方法的步骤。