一种基于图聚合模型的多元时序预测方法、系统、设备及介质

本发明属于计算机数据量化，具体涉及一种基于图聚合模型的多元时序预测方法、系统、设备及介质。

背景技术：

1、在快速发展的物联网生态系统中，多元时间序列数据已经无处不在，这凸显了时间序列预测在众多应用中的基础作用。长期mts预测的关键挑战需要能够捕捉序列内和序列间依赖关系的模型。最近深度学习的进展，尤其是transformer机制以及图神经网络的引入，使得该领域取得显著进展。

2、然而，目前长期mts预测的准确性仍然面临以下主要难题：1、时序序列变量之间显式相关性难以表达；2、现今基于图卷积网络的预测方法中，用来表示这些序列变量间依赖关系的多级图结构对输出的影响存在动态变化，即多级图卷积的结构对于输出的作用影响存在级间差异性。

3、为了解决这些问题，最开始的研究长期mts预测方法的模型侧重于利用注意力机制分别获取时间维度以及变量维度的信息，但是由于注意力机制存在信息冗余与长尾现象，模型对于各序列间的相关性的感知不足，这可能导致错误的数据预测。最近，研究人员提出利用图卷积网络实现长期mts预测，与传统卷积神经网络方法相比，图卷积网络通过将序列间长期依赖关系建模为图结构，边表示节点之间的关系。该网络能够捕获节点之间的空间关系并学习有效的特征表示。使用图卷积网络的主要优点在于其能够捕捉节点之间的依赖关系。每个序列的变化趋势受其余序列的变化影响，图卷积网络可以显式地对这些依赖关系进行建模，建模成图结构，从而允许模型将各序列关系视为一个连接系统。尽管图卷积网络在长期mts预测取得了良好结果，且长期mts预测的研究热点均基于图卷积网络进行方法拓展，但仍存在许多缺点。首先，针对于难题1，仅使用单层图卷积信息的图卷积网络会导致过度平滑，学习的邻接矩阵无法有效表达节点间依赖关系。其次，针对于难题2，没有图聚合的各级图结构会受限于其迭代器的局部感受野，且不能动态调整多级图卷积的结构对于输出结果的影响。因此，目前仍需要寻求高效且简单的方法来解决这些问题，以进一步提升长期mts预测的性能和准确性。

4、公开号为cn115630721a的专利申请文件公开了“基于潜在图结构生成的轨迹预测方法及装置”，采集待预测目标在任一时刻的位置和速度；将任一时刻的位置和速度输入至预先训练的图卷积神经网络，但由于该模型的预测方法在目标的选择上以及图结构的构建上存在缺陷，从而不能很好构建序列相关性。

5、公开号为cn115936108a的专利申请文件公开了“基于知识蒸馏的面向多元时序预测图神经网络压缩方法”，包括处理基于图神经网络的多元时序预测模型的时间卷积层，将膨胀的扩展卷积变成固定的扩展卷积。但是由于固定的拓展卷积没有对深层关系进行聚合，从而不能体现预测网络的深层性以及深层建模能力，且该模型主要偏向于边缘计算领域。

技术实现思路

1、为了克服上述现有技术存在的不足，本发明的目的在于提供一种基于图聚合模型的多元时序预测方法、系统、设备及介质，利用图卷积提取序列变量之间相关性的深度信息，能够有效表达变量间相关性的依赖关系，具有增强模型预测准确性的效果；其次，利用多头自注意力机制对多级图结构进行权重动态调整以及聚合输出，能够有效实现多级图结构的关联，提高了对长期依赖关系的深层建模能力。

2、为了实现上述目的，本发明采取的技术方案如下：

3、一种基于图聚合模型的多元时序预测方法，包括以下步骤：

4、步骤1，通过将设定的时序数据样本输入编码层模块，所述编码层模块的结构为transformer编码器结构，具体结构包含自注意力层以及前向反馈层，用于捕获含有时间维度全局信息的时序数据样本；

5、步骤2，对步骤1捕获的时序数据样本进行预处理，将时序数据样本的输入格式进行维度调整，调整为以变量为主导的序列变量信息；

6、步骤3，构建端到端深度学习训练网络，在端到端深度学习训练网络中单独设置一组可学习参数，并在端到端深度学习训练网络的反向更新过程中更新该可学习参数，所述可学习参数包含一组张量，长度为序列变量的个数，其中序列变量作为图中的节点，基于所述可学习参数，构建反映序列变量关系的图邻接矩阵；

7、步骤4，将步骤2预处理后的序列变量信息作为图聚合模型gam的初始输入特征矩阵，并采用步骤3构建的图邻接矩阵对初始输入特征矩阵中每个特征表示进行多级图卷积操作，获取多级图结构，作为变量之间相关性的深度信息；利用图聚合模型gam中的多头自注意力层，将各级图结构对输出序列的预测影响进行动态权重分配与聚合，获取对输出序列的精确预测。

8、步骤3的具体过程如下：

9、根据步骤1中的时序数据样本信息创建邻接矩阵，将边与节点信息转换为一个初始随机矩阵，其中，所述矩阵的行和列号对应于各变量的id编号，矩阵的元素值表示相应变量之间是否有连接，根据边的连接情况，将邻接矩阵转化为对称矩阵，用来反映变量之间的双向连接；步骤3的整体方程如下：

10、x1＝gelu(mlp1(x0)) (4)

11、x2＝gelu(mlp2(x0)) (5)

12、tpd(x1,x2)＝x1x2t-x2x1t (6)

13、a＝gelu(tpd(x1,x2)) (7)

14、式中，x0为初始值随机化的可学习参数，跟随网络训练参与反向更新，mlp1与mlp2表示不同初始参数的全连接层网络，其主要作用是对特征表示进行拓展，x1与x2用来描述节点间不同单向依赖关系，函数tpd(x1,x2)＝x1x2t-x2x1t表示矩阵之间的转置乘积差，用来构造表示对称性的邻接矩阵，最终通过gelu激活函数输出结果为图邻接矩阵a。

15、步骤4的具体过程如下：

16、在步骤4中，图聚合模型gam由三层网络架构组成，包括输入层、图卷积层和输出层；输入层包括全连接层和gelu激活函数；图卷积层包括多级图卷积和gelu激活函数；输出层包括维度连接层和多头自注意力层；

17、图聚合模型gam通过步骤3构建的图邻接矩阵实现图卷积神经网络gcn的更新迭代，对图中每个特征表示进行更新，步骤4的具体实施步骤为：

18、步骤4.1，输入层：在输入层中将步骤2获取的序列变量信息与全连接层中的可学习权重矩阵相乘，拓展特征表示维度，然后利用gelu激活函数得到其非线性特征，获取该层输出e；

19、步骤4.2，图卷积层：首先将步骤3中获得输入的图邻接矩阵a赋幂n次，即an，再与步骤4.1获取的该层输出e进行矩阵相乘操作(⊙)实现多级图卷积操作，即an⊙e,n＝1、2、3、…，其中n代表图卷积级数；其次，将获取的多级图结构结果经过规范处理方法以及gelu激活函数，获取结果fn，所述规范处理具体操作为：对每个特征通道的输出进行归一化处理；将关联的多级图结构进行list列表化，即矩阵列表list(f)：

20、fn＝normal(gelu(an⊙e)) (8)

21、list(f)＝list{f1,f2,f3,…} (9)

22、式中，normal表示进行规范处理操作，f1,f2,f3,…表示多级图结构的关联；

23、步骤4.3，输出层：对步骤4.2获取的矩阵列表list(f)经过维度连接层获取高维矩阵维度连接层用于拼接矩阵列表list(f)的全部元素，并通过多头自注意力(multipleself-attention)分配权重，最终获取预测输出output；该过程可表示为：

24、

25、式中，concat表示维度连接的操作。

26、本发明还提供了一种基于图聚合模型的多元时序预测系统，包括：

27、时序数据样本获取模块，用于将设定的时序数据样本输入编码层模块，所述编码层模块的结构为transformer编码器结构，具体结构包含自注意力层以及前向反馈层，用于捕获含有时间维度全局信息的时序数据样本；

28、序列变量的信息预处理模块，用于对捕获的时序数据样本进行预处理，将时序数据样本的输入格式进行维度调整，调整为以变量为主导的序列变量信息；

29、图邻接矩阵构建模块，用于构建端到端深度学习训练网络，在端到端深度学习训练网络中单独设置一组可学习参数，并在端到端深度学习训练网络的反向更新过程中更新该可学习参数，所述可学习参数包含一组张量，长度为序列变量的个数，其中序列变量作为图中的节点，基于所述可学习参数，构建反映序列变量关系的图邻接矩阵；

30、多元时序预测模块，用于将预处理后的序列变量信息作为图聚合模型gam的初始输入特征矩阵，并采用构建的图邻接矩阵对初始输入特征矩阵中每个特征表示进行多级图卷积操作，获取多级图结构，作为变量之间相关性的深度信息；利用图聚合模型gam中的多头自注意力层，将各级图结构对输出序列的预测影响进行动态权重分配与聚合，获取对输出序列的精确预测。

31、本发明还提供了一种基于图聚合模型的多元时序预测设备，包括：

32、存储器：存储上述一种基于图聚合模型的多元时序预测方法的计算机程序，为计算机可读取的设备；

33、处理器：用于执行所述计算机程序时实现所述的一种基于图聚合模型的多元时序预测方法。

34、本发明还提供了一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，计算机程序被处理器执行时能够实现所述的一种基于图聚合模型的多元时序预测方法。

35、与现有技术相比，本发明达到的有益效果为：

36、(1)本发明通过马尔可夫链多步预测中长期依赖效应，结合了多级图卷积的基本原理和端到端学习并更新邻接矩阵的特点，通过这种结合，能够有效地解决时序长期预测中的序列变量之间显式相关性的表达问题。

37、(2)本发明通过获取多级图结构，并且结合多头自注意力机制对多级图结构进行关联与聚合，有效地解决在图聚合过程中多级图结构对输出的影响存在动态变化的问题，并提高了预测中对变量长期依赖关系的深层建模能力。

38、综上所述，本发明利用图卷积提取序列变量之间相关性的深度信息，能够有效表达长期依赖关系，具有增强模型预测准确性的效果；利用多头自注意力机制对多级图卷积结构进行权重动态调整，能够有效实现多级图结构的关联，提高了对长期依赖关系的深层建模能力。与以往方法不同，本发明为一种新颖的多元时序预测方法。