大数据实时监控处理方法、装置、设备、介质及程序产品与流程

本技术涉及大数据处理，尤其涉及一种大数据实时监控处理方法、装置、设备、介质及程序产品。

背景技术：

1、随着互联网技术的迅猛发展，大数据、云计算和人工智能等技术被广泛应用，对数据处理和分析的需求日益增长。有效存储、处理和分析海量数据成为企业监控系统面临的一大挑战，尤其是在数据量巨大的情况下，保证监控系统的性能、以及数据的可读性和准确性，成为需考虑的重要因素。

2、现有的监控系统，在数据处理层中基于spark的核心架构，采用微批处理模型将实时输入的数据流分成一系列小批量数据进行处理，从而简化批处理和流处理的编程模型；在数据存储层中基于mongo型数据库存储数据，以提供快速读写性能。

3、然而，现有技术在处理监控数据时，存在数据处理延迟和数据存储效率不高的问题。

技术实现思路

1、本技术提供一种大数据实时监控处理方法、装置、设备、介质及程序产品，用以解决现有技术在处理监控数据时，存在数据处理延迟和数据存储效率不高的问题。

2、第一方面，本技术提供一种大数据实时监控处理方法，包括：

3、确定待处理产品的flink流式任务、以及监控数据中与flink流式任务类型对应的目标监控数据；

4、根据flink流式任务，对目标监控数据进行数据处理，得到目标监控处理数据；

5、将目标监控处理数据进行时序数据转换处理，得到时序监控处理数据；

6、将时序监控处理数据传输至vminsert组件，以在接收到时序监控处理数据后，将时序监控处理数据转发至vmstorage组件进行存储，并得到监控存储数据。

7、在一种可能的实施方式中，在确定待处理产品的flink流式任务、以及监控数据中与flink流式任务类型对应的目标监控数据之前，该方法还包括：

8、根据待处理产品的产品特性，确定目标采集组件和kafka集群中的目标存储主题；

9、根据目标采集组件和预设采集间隔时间，对待处理产品进行数据采集，得到采集数据；

10、将采集数据传输至kafka集群中的目标存储主题进行存储，得到监控数据。

11、在一种可能的实施方式中，在将初始监控数据传输至kafka集群中的目标存储主题进行存储，得到监控数据之后，该方法还包括：

12、确定监控数据在目标存储主题中的存储时间、以及监控数据的数据状态；

13、当监控数据的存储时间满足预设存储时间，且数据状态处于未消费状态时，将监控数据进行删除处理。

14、在一种可能的实施方式中，确定待处理产品的flink流式任务、以及监控数据中与flink流式任务类型对应的目标监控数据，包括：

15、根据待处理产品的任务需求，对待处理产品的数据进行处理流程、计算逻辑定义处理，得到初始flink流式任务；

16、根据待处理产品的任务需求，确定kafka连接信息、kafka集群中与待处理产品对应的目标存储主题、以及目标存储主题中的数据存储分区数；

17、根据初始flink流式任务、kafka连接信息、目标存储主题和数据存储分区数，得到待处理产品的flink流式任务；

18、将待处理产品的flink流式任务部署至hadoop集群，并根据flink流式任务的数据调用接口，确定目标存储主题中监控数据的数据状态；

19、当目标存储主题中监控数据的数据状态处于未消费状态时，将处于未消费状态的监控数据确定为目标监控数据。

20、在一种可能的实施方式中，在将时序监控处理数据传输至vminsert组件，以在接收到时序监控处理数据后，将时序监控处理数据转发至vmstorage组件进行存储，并得到监控存储数据之后，该方法还包括：

21、根据vmstorage组件中的监控存储数据，确定vmstorage组件的磁盘使用率；

22、当vmstorage组件的磁盘使用率满足预设使用率条件时，根据磁盘使用率和预设使用率条件，确定需增加的磁盘容量；

23、根据需增加的磁盘容量，确定新增vmstorage组件、以及新增vmstorage组件的数量；

24、根据新增vmstorage组件和原有的vmstorage组件，得到更新后的vmstorage组件。

25、在一种可能的实施方式中，在将时序监控处理数据传输至vminsert组件，以在接收到时序监控处理数据后，将时序监控处理数据转发至vmstorage组件进行存储，并得到监控存储数据之后，该方法还包括：

26、在vmselect组件接收到数据查询请求后，对数据查询请求进行查询参数解析，确定查询执行信息，其中，vmselect组件为通过查询协议在vmstorage组件中进行数据查询操作的查询引擎；

27、根据查询执行信息，对vmstorage组件中的监控存储数据进行查询，确定与数据查询请求对应的数据查询结果，并向用户展示数据查询结果。

28、在一种可能的实施方式中，在根据查询执行信息，对vmstorage组件中的监控存储数据进行查询，确定与数据查询请求对应的数据查询结果，并向用户展示数据查询结果之后，该方法还包括：

29、根据vmselect组件中的数据查询结果，确定数据查询请求的未完成数量；

30、当数据查询请求的未完成数量大于vmselect组件的请求查询数量时，确定vmselect组件的增加数量；

31、根据vmselect组件的增加数量，部署新的vmselect组件。

32、在一种可能的实施方式中，在根据查询执行信息，对vmstorage组件中的监控存储数据进行查询，确定与数据查询请求对应的数据查询结果，并向用户展示数据查询结果之后，该方法还包括：

33、确定组件的资源使用指标，资源使用指标包括cpu使用率、内存使用率、i/o资源使用率；

34、当资源使用指标满足预设资源使用的扩容条件时，确定资源使用指标的类型和指标数值；

35、根据资源使用指标的类型和指标数值，确定组件新增方案，组件新增方案包括线性新增方案和比例新增方案；

36、根据组件新增方案，确定新增组件、以及新增组件数量。

37、第二方面，本技术提供一种大数据实时监控处理装置，包括：

38、确定模块，用于确定待处理产品的flink流式任务、以及监控数据中与flink流式任务类型对应的目标监控数据；

39、得到模块，用于根据flink流式任务，对目标监控数据进行数据处理，得到目标监控处理数据；

40、转换模块，用于将目标监控处理数据进行时序数据转换处理，得到时序监控处理数据；

41、存储模块，用于将时序监控处理数据传输至vminsert组件，以在接收到时序监控处理数据后，将时序监控处理数据转发至vmstorage组件进行存储，并得到监控存储数据。

42、第三方面，本技术实施例提供一种电子设备，包括：存储器，处理器；

43、存储器存储计算机执行指令；

44、处理器执行存储器存储的计算机执行指令，以实现如上第一方面和/或第一方面各种可能的实施方式。

45、第四方面，本技术实施例提供一种计算机可读存储介质，计算机可读存储介质中存储有计算机执行指令，计算机执行指令被执行时用于实现如上第一方面和/或第一方面各种可能的实施方式。

46、第五方面，本技术实施例提供一种计算机程序产品，包括计算机程序，该计算机程序被执行时实现如上第一方面和/或第一方面各种可能的实施方式。

47、本技术实施例提供的大数据实时监控处理方法、装置、设备、介质及程序产品，通过确定待处理产品的flink流式任务、以及监控数据中与flink流式任务类型对应的目标监控数据；根据flink流式任务，对目标监控数据进行数据处理，得到目标监控处理数据；将目标监控处理数据进行时序数据转换处理，得到时序监控处理数据；将时序监控处理数据传输至vminsert组件，以在接收到时序监控处理数据后，将时序监控处理数据转发至vmstorage组件进行存储，并得到监控存储数据的手段，利用flink流式任务实时处理目标监控数据，不需要等待数据积累到一定量再进行处理，提高数据处理的时效性，同时将目标监控处理数据进行时序数据转换处理，使得数据以时序数据结构进行存储和查询，提高了监控存储数据的存储效率和可读性，通过实时数据处理和高效时序数据存储的结合，形成了一个高性能、低延迟、可扩展的大数据实时监控处理方法，从而满足大规模数据处理的需求。