一种基于改进的transformer结构的通用特征提取系统、提取方法及应用与流程

1.一种基于改进的transformer结构的通用特征提取系统，其特征在于，所述通用特征提取系统包括：输入及预处理模块、特征归一化模块、特征编码模块、改进的transformer模块、任务适配模块、结果输出模块；

2.如权利要求1所述的通用特征提取系统，其特征在于，所述通用特征提取系统中包含预先构建的符合预定场景的词表，对transformer中的原词表进行替换；和/或，

3.如权利要求1所述的通用特征提取系统，其特征在于，所述改进的transformer模块中不包含位置嵌入和自注意力掩码；和/或，

4.如权利要求1所述的通用特征提取系统，其特征在于，所述改进的transformer模块中的线性层为任务适配层，通过改变所述线性层的维度，适配不同的回归或分类任务；和/或，

5.一种通用特征提取方法，其特征在于，所述特征提取方法包括：

6.如权利要求5所述的特征提取方法，其特征在于，步骤一中，将特征数据归一化为[0，1]的特征浮点数；所述归一化公式如下式所示：

7.如权利要求5所述的特征提取方法，其特征在于，步骤三中，所述改进的transformer模块中包含一个或多个由注意力模块和前馈网络组成的块；

8.一种实现如权利要求5-7之任一项所述方法的硬件系统，其特征在于，所述硬件系统包括：存储器和处理器；所述存储器上存储有计算机程序，当所述计算机程序被所述处理器执行时，实现如权利要求5-7任一项所述的方法。

9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时，实现如权利要求5-7任一项所述的方法。

10.如权利要求1-4之任一项所述的特征提取系统，如权利要求5-7之任一项所述的特征提取方法，如权利要求8所述的硬件系统或如权利要求9所述的计算机可读存储介质在非自然语言处理领域的特征提取中的应用。