序列处理方法、电子设备和存储介质与流程

1.一种序列处理方法，其特征在于，所述方法包括：

2.根据权利要求1所述的序列处理方法，其特征在于，所述将大语言模型的输入数据转换成对应的输入序列，并确定所述输入序列的第一长度，包括：

3.根据权利要求1所述的序列处理方法，其特征在于，所述基于所述第一长度和所述大语言模型对应的第一预设序列长度确定第一批次数，将所述输入序列分割成有序的第一批次数个子序列，包括：

4.根据权利要求3所述的序列处理方法，其特征在于，所述将所述输入序列中每第一预设序列长度个输入词元依次划分为一个子序列，包括：

5.根据权利要求1所述的序列处理方法，其特征在于，所述基于所述输入词元在对应的所述子序列中的位置进行位置编码，得到各个所述输入词元对应的第二位置编码，包括：

6.根据权利要求1所述的序列处理方法，其特征在于，所述基于各个所述输入词元对应的所述第二查询向量、所述第二键向量和所述值向量进行注意力处理，包括：

7.根据权利要求1所述的序列处理方法，其特征在于，所述大语言模型通过以下方式训练：

8.根据权利要求7所述的序列处理方法，其特征在于，所述确定各个所述样本词元对应的样本子序列序号，包括：

9.根据权利要求8所述的序列处理方法，其特征在于，所述基于所述样本词元在对应的样本子序列中的位置对各个所述样本词元进行旋转位置编码，得到各个所述样本词元对应的样本第二位置编码，包括：

10.根据权利要求8所述的序列处理方法，其特征在于，所述基于多个所述样本词元对应的所述样本第二查询向量、所述样本第二键向量和所述样本值向量进行注意力处理，包括：

11.一种电子设备，其特征在于，所述电子设备包括存储器、处理器、存储在所述存储器上并可在所述处理器上运行的程序以及用于实现所述处理器和所述存储器之间的连接通信的数据总线，所述程序被所述处理器运行时实现如权利要求1至10中任一项所述的序列处理方法。

12.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器运行，以实现如权利要求1至10中任一项所述的序列处理方法。