一种面向IT运维的告警收敛方法和系统与流程

本发明涉及铁路运维，尤其涉及一种面向it运维的告警收敛方法和系统。

背景技术：

1、随着数字化时代的到来，云网融合的铁路基础设施及其承载的智能运维系统带来海量的告警事件信息，告警处理消耗大量宝贵的运维人力，同时伴随着告警难以全部处理，海量告警容易将实际问题淹没，关键告警难以识别等等问题。

2、在现有技术中，利用apriori等关联分析算法挖掘告警间的关联规则、以及聚类算法对相似度较高的告警聚类，达到告警收敛目的的相关研究已经应用于不同行业的运维系统中，然而针对铁路智能运维系统的告警收敛的研究仍然相对较少，对于告警数据的挖掘大多集中于设备寿命的预测、安全状态预测等等，且多针对于某一专业设备，如接触网等。

3、铁路智能运维系统涉及到多专业的设备，产生的告警信息具有规模大、种类多、关联性复杂的特点，亟需一种告警信息收敛方法，能够减少冗余告警信息、以便于相关告警信息的汇总。

技术实现思路

1、本发明目的在于提供一种面向it运维的告警收敛方法和系统，实现告警信息的收敛，便于相关告警信息的汇总。

2、为实现上述目的，本发明提供如下技术方案：

3、第一方面，本发明实施例公开了一种面向it运维的告警收敛方法，包括：

4、将收集的告警信息存入建立的告警数据库中，并对告警信息进行预处理获得按标准组合的告警信息，即告警序列；

5、根据告警序列获得训练样本，利用训练样本对基于神经网络构建的skip-gram模型中进行训练获取隐藏层的权重矩阵，并进一步获得告警信息在多维空间内的嵌入向量；

6、通过聚类将告警信息嵌入向量划分为不同类簇，并关联相关性较高的告警信息，实现告警信息的收敛；

7、其中，告警信息嵌入向量之间的距离大小表示告警信息间的相关性强弱。

8、进一步的，将收集的告警信息存入建立的告警数据库中，包括：

9、对铁路相关的告警信息数据进行收集，并保留所述告警信息中的时间戳、描述信息和产生对象；

10、根据告警信息的产生对象，关联告警信息的设备级标签，将关联后的告警信息存入建立的告警数据库中，并为每个告警信息设置唯一的id；

11、若多个告警信息的描述信息和设备级标签相同，则将多个告警信息的类型id设为相同的值；

12、其中，所述告警信息的属性包括id、时间戳、描述信息、设备级标签和类型id；

13、设备级标签包括铁路局信息、供电段信息、线路信息、站区信息、上下行信息、专业信息和设备编号。

14、进一步的，根据告警序列获得训练样本，利用训练样本对基于神经网络构建的skip-gram模型中进行训练获取隐藏层的权重矩阵，并进一步获得告警信息在多维空间内的嵌入向量，包括：

15、所述训练样本包括样本标签和输入样本数据，指定窗口大小从告警序列中采样获取告警信息作为样本标签，从一个告警序列中抽取任一告警信息作为输入样本数据；

16、所述skip-gram模型包括输入层、隐藏层、输出层和激活层，所述skip-gram模型的训练目标为：最大化利用输入样本数据预测得到样本标签的条件概率；

17、将所述训练样本输入skip-gram模型中，所述输入层x对输入样本数据进行one-hot编码，同时将告警信息表示为一个n维的向量x；其中，n表示告警信息的不重复总数；

18、所述输入层通过输入矩阵将输入样本数据映射至所述隐藏层h上；所述输入矩阵的每一行均表示一个输入样本数据的嵌入，所述输入矩阵w的维度为(n×d)；所述隐藏层h中每个隐藏层单元对应输入样本数据在嵌入空间中设定维度下的值，即h＝wt·x；其中，d表示设定的嵌入维度；

19、所述隐藏层h通过输出矩阵w'将隐藏层表示的输入样本数据映射至所述输出层y上，所述输出矩阵的每一列表示一个隐藏层单元的权重向量，所述输出矩阵w'的维度为(d×n)；

20、所述skip-gram模型在训练过程中，利用反向传播算法和梯度下降算法，且通过输入矩阵和输入矩阵的共同工作，不断更新两个权重矩阵w和w'以达到最小化损失函数的目的，使所述skip-gram模型优化完毕获得两个权重矩阵w和w'的权重信息；其中，此时输入矩阵w的权重信息，即为需要的告警信息嵌入向量。

21、进一步的，所述隐藏层h通过输出矩阵w'将每个隐藏层单元对应输入样本数据在嵌入空间中设定维度下的值输出至所述输出层y中，则所述输出层y中每个节点表示对应的输入样本数据为样本标签的得分，即y＝w't·h且维度为n；

22、所述输出层y通过sigmoid函数将所述得分进行归一化计算并转换为得分概率值，即输入样本数据为样本标签的得分概率值。

23、进一步的，所述skip-gram模型的目标函数为最大化利用输入样本预测得到样本标签的条件概率，所述skip-gram模型的目标函数为：

24、

25、式中，n表示训练样本的总数量，n′表示训练样本的数量，即第n′个训练样本；al表示标签样本，c(ac)表示输入样本数据ac对应的样本标签集合，ac表示输入样本，表示第n′个训练样本中的输入样本数据，表示第n′个训练样本中的样本标签，表示skip-gram模型根据第n′个训练样本的输入样本数据预测到样本标签的条件概率。

26、进一步的，所述skip-gram模型采用负采样方法为每个训练样本设置一个正例和多个负例；其中，选择样本标签作为正例，随机采样的非样本标签作为负例；

27、利用每个训练样本以及对应的正例和负例对所述skip-gram模型进行训练，所述skip-gram模型的训练目标为最大化正例和最小化负例的概率，使所述skip-gram模型能够准确的区分正例和负例；

28、将所述skip-gram模型的训练目标由最大化问题转化为最小化问题，即所述skip-gram模型的训练目标为最小化损失函数：

29、

30、式中，loss表示最小化损失函数，n表示训练样本的总数量，n′表示训练样本的数量，即第n′个训练样本；表示skip-gram模型根据第n′个训练样本中的输入样本数据预测到样本标签的概率值，即正例的概率；表示skip-gram模型根据第n′个训练样本中的输入样本数据预测到样本标签的得分，

31、表示skip-gram模型根据第n′个训练样本中的输入样本数据未预测到非样本标签的概率值之和，表示skip-gram模型根据第n′个训练样本中的输入样本数据预测到非样本标签的得分，表示根据第n′个训练样本中的输入样本数据随机采样的负例的集合。

32、进一步的，通过聚类将告警信息嵌入向量划分为不同类簇，并关联相关性较高的告警信息，以实现告警信息的收敛，包括：

33、将所有的告警信息嵌入向量视为空间中的点w＝{w1…wn}，将w中的任意两点的连接边组成集合e，即构建无向图g(w,e)；

34、基于无向图g建立邻接矩阵v，并利用邻接矩阵v存放无向图g中各连接边的权重；

35、基于无向图g建立度矩阵d，并利用度矩阵d存放无向图g中各点的度；

36、根据邻接矩阵v和度矩阵d计算归一化的拉普拉斯矩阵l，对所述拉普拉斯矩阵l进行特征值分解，并指定降维后的维度k，获取所述拉普拉斯矩阵l在的前k个最小特征值对应的特征向量矩阵；其中所述特征向量矩阵的维度为(n×k)；

37、采用k-means聚类算法对特征向量进行聚类，并根据设定的聚类簇数进行划分获得聚类结果；

38、所述聚类结果表示告警信息间的连接关系，同一个聚类簇中的告警信息间的相关性较强，并按照不同的聚类簇分为不同的告警信息集并存入数据库中，以实现告警信息的收敛。

39、进一步的，在谱聚类中，所述无向图中任意两点之间的距离越近，对应两点的连接边的权重值越大，则连接边的权重为：

40、vk,j＝σ(-||wk-wj||2)，

41、式中，vk,j表示告警信息嵌入向量wk与告警信息嵌入向量wj之间连接边的权值，||wk-wj||2表示两个告警信息嵌入向量wk与wj之间的欧式距离的函数，wk与wj分别表示两个告警信息嵌入向量，σ(x)表示sigmoid函数，为单调递增函数，因此设置输入为向量间欧式距离的负数；

42、每个点的度为连接该点的边的权重之和，即所述每个告警信息嵌入向量的度为：

43、

44、式中，dk表示告警信息嵌入向量wk的度，n表示告警信息的不重复总数，j表示第j个告警信息嵌入向量；vk,j表示告警信息嵌入向量wk与告警信息嵌入向量wj之间连接边的权值；

45、所述拉普拉斯矩阵l为：

46、l＝i-d-1/2vd-1/2，

47、式中，i表示单位矩阵，d表示度矩阵，v表示邻接矩阵。

48、第二方面，本发明实施例公开了一种面向it运维的告警收敛系统，包括：

49、收集处理单元，用于将收集的告警信息存入建立的告警数据库中，并对告警信息进行预处理获得按标准组合的告警信息，即告警序列；

50、嵌入单元，用于根据告警序列获得训练样本，利用训练样本对基于神经网络构建的skip-gram模型中进行训练获取隐藏层的权重矩阵，并进一步获得告警信息在多维空间内的嵌入向量；

51、聚类收敛单元，用于通过聚类将告警信息嵌入向量划分为不同类簇，并关联相关性较高的告警信息，实现告警信息的收敛；

52、其中，告警信息嵌入向量之间的距离大小表示告警信息间的相关性强弱。

53、第三方面，基于同一发明构思，本发明实施例还提供一种电子设备，包括存储器、处理器及存储在存储器上的计算机程序，所述处理器执行所述计算机程序或指令以实现前述的一种面向it运维的告警收敛方法的步骤。

54、第四方面，基于同一发明构思，本发明实施例还提供一种计算机存储介质，所述计算机存储介质中存储有计算机程序或指令，所述计算机程序或指令被处理器执行时实现前述的一种面向it运维的告警收敛方法的步骤。

55、第五方面，基于同一发明构思，本发明实施例还提供一种计算机程序产品，包括计算机程序或指令，所述计算机程序或指令被处理器执行时实现前述的一种面向it运维的告警收敛方法的步骤。

56、本发明的技术效果和优点：相比于现有技术使用apriori等关联分析算法，本发明通过神经网络模型在处理复杂、大规模数据更有优势，通过学习高级特征和模式，适用于告警信息中存在复杂关系的场景，更适合关联形式复杂的铁路智能运维系统的告警信息处理；相比于对于频繁项的挖掘，本发明将告警信息嵌入为高维空间中的向量能更准确的分析告警信息间的关联性，有效提高告警数据关联压缩率和准确性。

57、本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在说明书、权利要求书以及附图中所指出的结构来实现和获得。