大数据实时监控处理方法、装置、设备、介质及程序产品与流程
技术特征:
1.一种大数据实时监控处理方法,其特征在于,包括:
2.根据权利要求1所述的方法,其特征在于,在所述确定待处理产品的flink流式任务、以及监控数据中与所述flink流式任务类型对应的目标监控数据之前,所述方法还包括:
3.根据权利要求2所述的方法,其特征在于,在将所述初始监控数据传输至所述kafka集群中的目标存储主题进行存储,得到监控数据之后,所述方法还包括:
4.根据权利要求1所述的方法,其特征在于,所述确定待处理产品的flink流式任务、以及监控数据中与所述flink流式任务类型对应的目标监控数据,包括:
5.根据权利要求1所述的方法,其特征在于,在将所述时序监控处理数据传输至vminsert组件,以在接收到所述时序监控处理数据后,将所述时序监控处理数据转发至vmstorage组件进行存储,并得到监控存储数据之后,所述方法还包括:
6.根据权利要求1所述的方法,其特征在于,在将所述时序监控处理数据传输至vminsert组件,以在接收到所述时序监控处理数据后,将所述时序监控处理数据转发至vmstorage组件进行存储,并得到监控存储数据之后,所述方法还包括:
7.根据权利要求6所述的方法,其特征在于,在所述根据所述查询执行信息,对所述vmstorage组件中的监控存储数据进行查询,确定与所述数据查询请求对应的数据查询结果,并向用户展示所述数据查询结果之后,所述方法还包括:
8.根据权利要求6所述的方法,其特征在于,在所述根据所述查询执行信息,对所述vmstorage组件中的监控存储数据进行查询,确定与所述数据查询请求对应的数据查询结果,并向用户展示所述数据查询结果之后,所述方法还包括:
9.一种大数据实时监控处理装置,其特征在于,包括:
10.一种电子设备,其特征在于,包括:存储器,处理器;
11.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质中存储有计算机执行指令,所述计算机执行指令被执行时用于实现如权利要求1-8任一项所述的方法。
12.一种计算机程序产品,包括计算机程序,该计算机程序被执行时实现权利要求1-8任一项所述的方法。
技术总结
本申请提供一种大数据实时监控处理方法、装置、设备、介质及程序产品。应用于大数据实时监控系统,该方法包括:确定待处理产品的Flink流式任务、以及监控数据中与Flink流式任务类型对应的目标监控数据;根据Flink流式任务,对目标监控数据进行数据处理,得到目标监控处理数据;将目标监控处理数据进行时序数据转换处理,得到时序监控处理数据;将时序监控处理数据传输至vminsert组件,以在接收到时序监控处理数据后,将时序监控处理数据转发至vmstorage组件进行存储,并得到监控存储数据。本申请的方法,利用Flink流式任务实时处理目标监控数据,提高数据处理的时效性,同时将处理后的数据以时序数据结构进行存储和查询,提高了监控存储数据的存储效率和可读性。
技术研发人员:石权,温源,乔新亚,郑子初,滕海燕,赵健
受保护的技术使用者:中国联合网络通信集团有限公司
技术研发日:
技术公布日:2024/11/18
技术研发人员:石权,温源,乔新亚,郑子初,滕海燕,赵健
技术所有人:中国联合网络通信集团有限公司
备 注:该技术已申请专利,仅供学习研究,如用于商业用途,请联系技术所有人。
声 明 :此信息收集于网络,如果你是此专利的发明人不想本网站收录此信息请联系我们,我们会在第一时间删除
