一种基于大模型的时序数据智能异常检测系统及其方法与流程

本发明涉及数据的异常检测领域，尤其是一种基于大模型的时序数据智能异常检测系统及其方法。

背景技术：

1、在现代企业运营中，业务时序数据包括用户行为、交易记录、系统日志等扮演着至关重要的角色。这类数据不仅反映了业务活动的实时状态，还蕴含了丰富的信息，可用于预测趋势、优化流程和提升用户体验。然而，随着业务的不断发展和数据量的急剧增长，确保这些数据流的健康和稳定性成为了一大挑战。

2、传统的监控系统大多依赖于预设的阈值来触发报警，这种方法简单直接但存在明显的局限性。固定阈值往往无法适应数据的动态变化，特别是在面对季节性波动、突发事件或业务模式调整时，容易产生大量的误报或漏报，从而影响决策的有效性和及时性。

3、近年来，人工智能(ai)和机器学习(ml)技术的快速发展为业务时序数据的异常检测提供了新的解决方案。ai算法能够从历史数据中学习复杂的模式和规律，识别出常规模式之外的异常行为，而无需人为设定固定的阈值。这种方法不仅能够提高异常检测的准确性和及时性，还能在数据特征发生变化时自动调整，适应不断演进的业务环境。

技术实现思路

1、为解决传统的监控系统存在的上述问题，本发明提供一种基于大模型的时序数据智能异常检测系统及其方法，其核心目标是在动态变化的业务环境中提升异常检测的准确性和及时性，尤其适用于需要高度可靠性和响应速度的业务场景。

2、为实现上述目的，本发明采用下述技术方案：

3、在本发明一实施例中，提出了一种基于大模型的时序数据智能异常检测系统，该系统包括：

4、特征分析模块，用于使用移动平均法识别时序数据的周期性，使用中位值滤波法探测时序数据的漂移性，使用adf检验判断时序数据的平稳性；

5、算法选型模块，用于根据数据分布的偏度值选择绝对中位差、箱形图或极值理论，并根据周期性、漂移性和平稳性的分析结果对所选异常检测算法的参数进行调整；

6、模型训练模块，用于采用算法工厂模式，支持动态加载和并行训练不同的异常检测算法；对于周期性数据，通过分段和聚合处理来增强模型训练；对于漂移性数据，采用增量学习方法使模型逐步适应数据的变化；使用参数优化方法确保模型性能达到最优；

7、实时检测模块，用于持续接收实时时序数据，预处理后加载训练好的模型进行异常检测，一旦检测到异常，立即输出结果。

8、进一步地，采用以下步骤识别时序数据的周期性：

9、使用移动平均法从时序数据中提取趋势成分；

10、将时序数据的原始序列与趋势成分作差，得到残差序列；

11、对残差序列进行循环移动，并与原始序列进行向量点乘，计算自相关序列；

12、提取自相关序列的局部最高峰，取横坐标间隔为周期t；

13、如果在周期t处的自相关值大于给定阈值，则认为存在显著周期性。

14、进一步地，采用以下步骤探测时序数据的漂移性：

15、选择适当的窗口大小，提取窗口内的中位数并进行平滑；

16、检查平滑后的序列是否呈现严格递增或递减趋势；

17、检查是否有任何点，其左侧序列的最大值小于右侧序列的最小值；如果有，则认为数据发生了突增漂移；检查是否有任何点，其左侧序列的最小值大于右侧序列的最大值，如果有，则认为数据发生了突降漂移。

18、进一步地，采用以下步骤选择合适的异常检测算法并调整：

19、(1)计算数据分布的偏度值，根据偏度值初步选择算法：

20、|偏度|<0.5：使用绝对中位差；0.5≤|偏度|<1：使用箱形图；|偏度|≥1：使用极值理论；

21、(2)根据周期性、漂移性和平稳性的分析结果，对初选算法进行调整：

22、如果存在明显周期：对于绝对中位差和箱形图，考虑使用周期性变体；对于极值理论，考虑在应用极值理论之前进行季节性分解；

23、如果存在漂移：对于所有算法，考虑引入自适应阈值机制；如果漂移明显，可能优先考虑在线学习算法或变点检测与分段建模；

24、如果非平稳：对于绝对中位差和箱形图，考虑在应用算法前进行差分或去趋势处理；可能会倾向于选择arima或lstm等能处理非平稳数据的算法。

25、进一步地，采用以下技术架构实现模型训练：

26、采用算法工厂模式，支持动态加载不同的异常检测算法；为每种算法实现标准化的训练和检测接口；同时支持算法的并行训练；

27、设计周期检测功能，自动识别数据中的周期性模式；支持多种周期性数据的处理方法；对于检测到的周期，实现数据的分段和聚合处理；

28、设计漂移检测功能，识别数据分布的变化；支持动态调整训练窗口大小；实现增量学习方法，使模型逐步适应数据的变化；

29、实现多种参数优化方法；支持交叉验证，以确保参数选择的稳定性；同时实现早停机制；

30、设计模型序列化和反序列化机制，支持将训练好的模型保存到存储系统中；实现版本控制，允许保存和加载不同版本的模型；同时管理模型的元数据。

31、在本发明一实施例中，还提出了一种基于大模型的时序数据智能异常检测方法，该方法包括：

32、使用移动平均法识别时序数据的周期性，使用中位值滤波法探测时序数据的漂移性，使用adf检验判断时序数据的平稳性；

33、根据数据分布的偏度值选择绝对中位差、箱形图或极值理论，并根据周期性、漂移性和平稳性的分析结果对所选异常检测算法的参数进行调整；

34、采用算法工厂模式，支持动态加载和并行训练不同的异常检测算法；对于周期性数据，通过分段和聚合处理来增强模型训练；对于漂移性数据，采用增量学习方法使模型逐步适应数据的变化；使用参数优化方法确保模型性能达到最优；

35、持续接收实时时序数据，预处理后加载训练好的模型进行异常检测，一旦检测到异常，立即输出结果。

36、进一步地，采用以下步骤识别时序数据的周期性：

37、使用移动平均法从时序数据中提取趋势成分；

38、将时序数据的原始序列与趋势成分作差，得到残差序列；

39、对残差序列进行循环移动，并与原始序列进行向量点乘，计算自相关序列；

40、提取自相关序列的局部最高峰，取横坐标间隔为周期t；

41、如果在周期t处的自相关值大于给定阈值，则认为存在显著周期性。

42、进一步地，采用以下步骤探测时序数据的漂移性：

43、选择适当的窗口大小，提取窗口内的中位数并进行平滑；

44、检查平滑后的序列是否呈现严格递增或递减趋势；

45、检查是否有任何点，其左侧序列的最大值小于右侧序列的最小值；如果有，则认为数据发生了突增漂移；检查是否有任何点，其左侧序列的最小值大于右侧序列的最大值，如果有，则认为数据发生了突降漂移。

46、进一步地，采用以下步骤选择合适的异常检测算法并调整：

47、(1)计算数据分布的偏度值，根据偏度值初步选择算法：

48、|偏度|<0.5：使用绝对中位差；0.5≤|偏度|<1：使用箱形图；|偏度|≥1：使用极值理论；

49、(2)根据周期性、漂移性和平稳性的分析结果，对初选算法进行调整：

50、如果存在明显周期：对于绝对中位差和箱形图，考虑使用周期性变体；对于极值理论，考虑在应用极值理论之前进行季节性分解；

51、如果存在漂移：对于所有算法，考虑引入自适应阈值机制；如果漂移明显，可能优先考虑在线学习算法或变点检测与分段建模；

52、如果非平稳：对于绝对中位差和箱形图，考虑在应用算法前进行差分或去趋势处理；可能会倾向于选择arima或lstm等能处理非平稳数据的算法。

53、进一步地，采用以下技术架构实现模型训练：

54、采用算法工厂模式，支持动态加载不同的异常检测算法；为每种算法实现标准化的训练和检测接口；同时支持算法的并行训练；

55、设计周期检测功能，自动识别数据中的周期性模式；支持多种周期性数据的处理方法；对于检测到的周期，实现数据的分段和聚合处理；

56、设计漂移检测功能，识别数据分布的变化；支持动态调整训练窗口大小；实现增量学习方法，使模型逐步适应数据的变化；

57、实现多种参数优化方法；支持交叉验证，以确保参数选择的稳定性；同时实现早停机制；

58、设计模型序列化和反序列化机制，支持将训练好的模型保存到存储系统中；实现版本控制，允许保存和加载不同版本的模型；同时管理模型的元数据。

59、在本发明一实施例中，还提出了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现前述基于大模型的时序数据智能异常检测方法。

60、在本发明一实施例中，还提出了一种计算机可读存储介质，计算机可读存储介质存储有执行基于大模型的时序数据智能异常检测方法的计算机程序。

61、有益效果：

62、1、本发明自动识别数据的周期性、漂移性和平稳性特征，智能选择并调整异常检测算法，确保模型能够捕捉数据内在规律，提高了检测的准确性和灵活性。

63、2、本发明支持算法的动态加载和并行训练，采用分段聚合、增量学习和参数优化方法，确保模型快速适应数据变化，维持高精度并减少维护成本。

64、3、本发明实时检测模块持续监控数据，加载训练好的模型进行异常检测，即时响应并输出结果，实现异常事件的早期预警，加快决策速度。

65、4、相比传统阈值监控，本发明具有更高的异常检测精准率和召回率，能够全天候自动巡检，适应多种业务场景，为业务稳定性和持续发展提供强有力支持。

66、5、本发明通过自动化和智能化的异常检测，减少人工监控需求，降低运营成本，同时提高业务流程的效率和可靠性，尤其是在金融交易、网络安全和生产控制等需要高可靠性和响应速度的领域。