一种基于DTW的卫星遥测数据异常检测方法与流程

本发明涉及遥感卫星数据处理，尤其涉及一种基于dtw的卫星遥测数据异常检测方法。

背景技术：

1、卫星遥测数据异常检测通过技术手段分析卫星数据，识别并处理数据中的异常，确保数据准确可靠。然而，现有技术常面临未进行异常检测、缺乏校对优化和后处理步骤，导致数据不准确，以及检测效率低，无法快速处理大量数据等问题。动态时间规整(dtw)是一种测量时间序列相似度的算法，适用于复杂时空模式的卫星遥测数据。使用dtw进行异常检测能够提高检测精度，处理复杂模式，满足实时处理需求，并通过后续的校对和优化增强数据可靠性。因此，dtw在卫星遥测数据异常检测中的应用，能克服现有技术不足，提升数据处理的准确性和效率，为数据高效利用提供保障。

2、中国专利公开号：cn104915568b公开了基于dtw的卫星遥测数据异常检测方法，涉及卫星遥测数据异常检测领域，以幅角突变点为标识对卫星遥测数据进行分段，然后计算出含有类别标签的时间序列中各类别类内的dtw距离均值，并获取待进行异常检测的时间序列x'；计算x'与含有类别标签的时间序列x之间的dtw距离，确定x'与准所属类别l'之间的最小dtw距离dmin，根据dmin与之间的大小关系从而确定x'是否为异常序列。但该方案未对卫星遥测数据进行异常检测，且未对卫星遥测数据异常检测进行校对、优化和后处理，无法提高卫星遥测数据异常检测效率。

技术实现思路

1、为此，本发明提供一种基于dtw的卫星遥测数据异常检测方法，用以克服现有技术中未对卫星遥测数据进行异常检测，且未对卫星遥测数据异常检测进行校对、优化和后处理导致的卫星遥测数据不准确，且卫星遥测数据异常检测效率低的问题。

2、为实现上述目的，本发明提供一种基于dtw的卫星遥测数据异常检测方法，包括：

3、步骤s1，对卫星遥测数据进行实时获取，得到实时卫星遥测数据；

4、步骤s2，对实时卫星遥测数据进行预处理，得到预处理卫星遥测数据；

5、步骤s3，对预处理卫星遥测数据进行时间序列处理，得到时间序列卫星遥测数据；

6、步骤s4，根据正常数据对dtw阈值进行设定；

7、步骤s5，将历史数据输入至仿真模型中进行异常分析，并根据历史数据的异常分析结果对正常数据进行历史补偿；

8、步骤s6，将实时卫星遥测数据输入至仿真模型中进行异常分析，并根据实时卫星遥测数据的异常分析结果对正常数据进行实时补偿；

9、步骤s7，根据历史补偿次数、实时补偿次数和补偿后正常数据量对dtw阈值的设定过程进行优化；

10、步骤s8，根据dtw阈值对时间序列卫星遥测数据进行滑动检测；

11、步骤s9，根据滑动检测结果对时间序列卫星遥测数据进行异常识别，得到异常卫星遥测数据；

12、步骤s10，根据辅助识别数据对异常卫星遥测数据进行后处理；

13、步骤s11，根据时间段异常次数识别关键时间段，并根据关键时间段对时间序列处理过程进行优化；

14、步骤s12，根据异常次数下降值对关键时间段进行补偿判断，并根据补偿判断结果对时间序列处理过程的优化过程进行调整。

15、进一步地，在所述步骤s2中，在对实时卫星遥测数据进行预处理时，处理实时卫星遥测数据中的缺失值和噪声数据，得到清洗数据，对清洗数据进行数据标准化处理，得到预处理卫星遥测数据。

16、进一步地，在所述步骤s3中，在对预处理卫星遥测数据进行时间序列处理时，以预设单位时间间隔对预处理卫星遥测数据进行时间间隔划分，并将时间间隔划分后的预处理卫星遥测数据按时间顺序构建成时间序列卫星遥测数据。

17、进一步地，在所述步骤s4中，在对dtw阈值进行设定时，计算正常数据的均值与预设倍数的标准差的和，将其作为待验证dtw阈值，将异常卫星遥测数据和正常卫星遥测数据与待验证dtw阈值进行交叉验证，并获取交叉验证结果，当交叉验证结果不满足验证条件时，对标准差的预设倍数进行递增调整，并重新计算待验证dtw阈值，直至交叉验证结果满足验证条件时将待验证dtw阈值设定为dtw阈值。

18、进一步地，在所述步骤s5中，在对正常数据进行历史补偿时，每隔一个历史补偿周期对历史数据进行获取，并将所述历史数据输入至仿真模型中，获取由仿真模型输出的正常数据，并将其作为历史数据的异常分析结果，每当历史数据的异常分析结果数据量达到预设数据量后，将所述历史数据的异常分析结果数据量内的正常数据补偿至步骤s4的正常数据中，并对历史数据的异常分析结果数据量进行清零并重新计数；

19、在所述步骤s6中，在对正常数据进行实时补偿时，每隔一个实时补偿周期对实时数据进行获取，并将所述实时数据输入至仿真模型中，获取由仿真模型输出的正常数据，并将其作为实时数据的异常分析结果，每当实时数据的异常分析结果数据量达到预设数据量后，将所述实时数据的异常分析结果数据量内的正常数据补偿至步骤s4的正常数据中，并对实时数据的异常分析结果数据量进行清零并重新计数。

20、进一步地，在所述步骤s7中，根据历史补偿次数n1、实时补偿次数n2、dtw阈值迭代次数n3和补偿后正常数据量nr计算dtw阈值优化指标mr，设定mr＝0.5×[(n1+n2+n3)/n0]+0.5×[nr/nr0]，n0为预设次数参数，nr0为预设数据量参数，将优化指标mr与预设优化指标mr0进行比对，并根据对dtw阈值的设定过程的优化情况进行判断，其中：

21、当mr≤mr0时，判定不对dtw阈值的设定过程进行优化；

22、当mr＞mr0时，判定对dtw阈值的设定过程进行优化，将dtw阈值的设定过程优化为直至达到预设优化迭代次数后将最后一次优化迭代的待验证dtw阈值设定为dtw阈值；

23、在所述步骤s8中，在对时间序列卫星遥测数据进行滑动检测时，使用dtw计算滑动窗口内时间序列卫星遥测数据与参考时间序列卫星遥测数据之间的dtw距离d，将所述dtw距离d作为滑动检测结果进行输出。

24、进一步地，在所述步骤s9中，在对时间序列卫星遥测数据进行异常识别时，将dtw距离d与预设dtw距离d0进行比对，并根据比对结果对时间序列卫星遥测数据进行异常识别，其中：

25、当d≤d0时，判定该时刻的时间序列卫星遥测数据正常；

26、当d＞d0时，判定该时刻的时间序列卫星遥测数据异常，将所述时间序列卫星遥测数据中异常的各时刻的时间序列卫星遥测数据合集作为异常卫星遥测数据。

27、进一步地，在所述步骤s10中，在对异常卫星遥测数据进行后处理时，将各时刻的辅助识别数据输入至后处理分析模型中，由后处理分析模型输出后处理分析结果，并根据后处理分析结果对异常卫星遥测数据进行后处理，其中：

28、当后处理分析结果为无需后处理时，不对该时刻的异常卫星遥测数据进行后处理；

29、当后处理分析结果为需后处理时，对该时刻的异常卫星遥测数据进行后处理，将所述该时刻的异常卫星遥测数据中对应时刻的异常识别结果调整为该时刻的时间序列卫星遥测数据正常。

30、进一步地，在所述步骤s11中，在对时间序列处理过程进行优化时，获取各预设识别时间段内的异常次数，将其作为时间段异常次数p，将时间段异常次数p与预设时间段异常次数p0进行比对，并根据比对结果对关键时间段进行识别，其中：

31、当p≤p0时，判定所述预设识别时间段为非关键时间段；

32、当p＞p0时，判定所述预设识别时间段为关键时间段，并对所述关键时间段的预设单位时间间隔t进行优化，优化后预设单位时间间隔为ts，设定ts＝t×μ，μ为时间优化系数，设定0.87＜μ＜1。

33、进一步地，在所述步骤s12中，在所述预设识别时间段为关键时间段后，将异常次数下降值l与预设异常次数下降值l0进行比对，并根据比对结果对所述关键时间段的补偿判断情况进行判断，其中：

34、当l＞l0时，判定不对所述关键时间段进行补偿判断；

35、当l≤l0时，判定对所述关键时间段进行补偿判断，将所述关键时间段调整为非关键时间段。

36、与现有技术相比，本发明的有益效果在于，所述方法通过步骤s1进行对卫星遥测数据的实时获取，以实现对最新数据的及时监控，从而提高数据的实时性和及时性，所述方法通过步骤s2进行对实时卫星遥测数据的预处理，以实现数据的清洗和标准化处理，从而提高数据的质量和一致性，所述方法通过步骤s3进行对预处理卫星遥测数据的时间序列处理，以实现数据的序列化和结构化，从而提高数据分析的准确性和有效性，所述方法通过步骤s4根据正常数据对dtw阈值进行设定，以实现对异常检测阈值的合理设置，从而提高异常检测的灵敏度和准确性，所述方法通过步骤s5将历史数据输入至仿真模型中进行异常分析，并根据历史数据的异常分析结果对正常数据进行历史补偿，以实现对历史数据中潜在异常的修正，从而提高数据的整体准确性和可靠性，所述方法通过步骤s6将实时卫星遥测数据输入至仿真模型中进行异常分析，并根据实时卫星遥测数据的异常分析结果对正常数据进行实时补偿，以实现对实时数据中潜在异常的及时修正，从而提高实时数据的准确性，所述方法通过步骤s7根据历史补偿次数、实时补偿次数和补偿后正常数据量对dtw阈值的设定过程进行优化，以实现对阈值设置的动态调整，从而提高异常检测的灵活性和适应性，所述方法通过步骤s8根据dtw阈值对时间序列卫星遥测数据进行滑动检测，以实现对数据的持续监控，从而提高异常检测的覆盖率和连续性，所述方法通过步骤s9根据滑动检测结果对时间序列卫星遥测数据进行异常识别，得到异常卫星遥测数据，以实现对异常数据的准确识别，从而提高异常检测的精确度，所述方法通过步骤s10根据辅助识别数据对异常卫星遥测数据进行后处理，以实现对异常数据的进一步评估和修正，从而提高异常处理的全面性和合理性，所述方法通过步骤s11根据时间段异常次数识别关键时间段，并根据关键时间段对时间序列处理过程进行优化，以实现对关键时间段的重点监控，从而提高对重要时段的异常检测能力，所述方法通过步骤s12根据异常次数下降值对关键时间段进行补偿判断，并根据补偿判断结果对时间序列处理过程的优化过程进行调整，以实现对检测和处理策略的动态优化，从而提高整体方法的适应性和效果。