一种微服务端到端链路的可视化管理系统及方法与流程

本发明涉及可视化管理系统，特别是一种微服务端到端链路的可视化管理系统及方法。

背景技术：

1、微服务端到端链路指的是在复杂的微服务架构中，跟踪和管理整个请求从前端到后端各个微服务的传递路径和调用过程。它的主要作用是实现全面的服务监控、故障排查和性能优化，确保微服务系统的稳定性和可靠性。使用环境通常是大型的分布式系统或微服务架构，包含多个独立部署的微服务组件，这些组件通过网络互相通信和协作。

2、而现有微服务端到端链路架构中服务数量多、互相调用复杂，端到端链路显得复杂，对于实时性要求高的系统，需要及时发现和响应请求路径中的异常或延迟。

技术实现思路

1、鉴于现有的微服务端到端链路管理系统在处理复杂服务调用关系和实时响应方面存在的不足，提出了本发明。

2、因此，本发明所要解决的问题在于如何在复杂的微服务架构中,实现高效的端到端链路数据采集、实时分析处理、智能告警和直观可视化,以提高系统的监控能力和故障响应速度。。

3、为解决上述技术问题，本发明提供如下技术方案：

4、第一方面，本发明实施例提供了一种微服务端到端链路的可视化管理系统，其包括数据采集处理模块，采用消息队列机制异步处理微服务链路数据，生成预处理链路数据，并将预处理链路数据传输至网络性能指标分析处理模块；网络性能指标分析处理模块，采用多维度关联分析算法，接收预处理链路数据，提取网络性能指标并执行业务关联计算，生成网络性能分析数据，将网络性能分析数据存储至分布式关系型数据库，并将网络性能分析数据传输至流量指标统计分析处理模块；流量指标统计分析处理模块，采用实时流计算技术，接收网络性能分析数据，提取网络流量指标并执行统计分析计算，生成流量统计数据，将流量统计数据存储至分布式关系型数据库，并将流量统计数据传输至链路告警处理模块；链路告警处理模块，采用机器学习算法动态优化告警规则，接收流量统计数据，读取并更新链路告警规则和指标，根据告警规则对流量统计数据进行实时计算和分析，生成告警信息数据，将告警信息数据存储到高性能缓存数据库，并将告警信息数据传输至数据可视化模块；数据可视化模块，采用交互式数据可视化技术，从分布式关系型数据库读取网络性能分析数据和流量统计数据，从高性能缓存数据库读取告警信息数据，整合网络性能分析数据、流量统计数据和告警信息数据，使用基于webgl的3d渲染技术将整合后的数据转换为多维可视化图表。

5、作为本发明所述微服务端到端链路的可视化管理系统的一种优选方案，其中：数据采集处理模块的工作流程如下：在微服务节点上部署轻量级代理，自动捕获微服务链路数据；轻量级代理实时收集微服务链路数据，并进行预处理；使用异步i/o将预处理后的微服务链路数据批量发送至分布式消息队列，并根据微服务标识对消息队列中的微服务链路数据进行分区；启动多个消费者实例，并行处理消息队列中的微服务链路数据；消费者使用滑动时间窗口算法对微服务链路数据进行聚合和分析，并将聚合和分析后的微服务链路数据转换为统一的预处理格式，生成预处理链路数据；通过微服务接口，将预处理链路数据异步传输至网络性能指标分析处理模块；定期检查数据采集处理流程的各个环节，并基于检查结果调整数据采集频率和批处理大小。

6、作为本发明所述微服务端到端链路的可视化管理系统的一种优选方案，其中：网络性能指标分析处理模块的工作流程如下：通过微服务接口异步接收来自数据采集处理模块传输的预处理链路数据，并对接收到的预处理链路数据进行解析和验证；从预处理链路数据中提取关键网络性能指标；应用多维度关联分析算法，对提取的关键网络性能指标进行初步聚类和关联分析；结合预定义的业务规则，执行业务关联计算，识别性能指标与业务流程的映射关系；基于关联分析结果和业务计算结果，生成包含多维度信息的网络性能分析数据；将生成的网络性能分析数据异步写入分布式关系型数据库；通过微服务接口，将网络性能分析数据异步传输至流量指标统计分析处理模块；实时监控网络性能指标分析处理模块的处理性能，动态调整多维度关联分析算法的参数。

7、作为本发明所述微服务端到端链路的可视化管理系统的一种优选方案，其中：流量指标统计分析处理模块的工作流程如下：通过微服务接口实时接收网络性能分析数据，并使用自适应采样算法动态调整网络性能分析数据的接收频率；应用基于小波变换的多尺度特征提取算法，从网络性能分析数据中提取多维度网络流量指标；使用stl算法将多维度网络流量指标分解为趋势成分、周期成分和随机成分；对分解后的网络流量指标各个成分应用不同的统计模型，结合在线机器学习算法动态调整模型参数；执行多尺度聚合计算，基于分解和建模后的网络流量指标，生成不同时间粒度的流量统计数据；将生成的流量统计数据通过增量更新机制实时写入分布式关系型数据库；

8、通过优先级队列机制，将流量统计数据异步传输至链路告警处理模块；实时监控流计算过程，使用反馈控制算法动态优化网络性能分析数据的处理流程和资源分配。

9、作为本发明所述微服务端到端链路的可视化管理系统的一种优选方案，其中：链路告警处理模块的工作流程如下：通过微服务接口实时接收来自流量指标统计分析处理模块的流量统计数据；从高性能缓存数据库读取当前的链路告警规则和指标；应用增强学习算法，基于历史告警数据和当前流量统计数据，动态优化链路告警规则和指标，并将优化后的链路告警规则和指标更新至高性能缓存数据库；使用并行计算框架，根据优化后的链路告警规则对流量统计数据进行实时计算和分析；应用基于图神经网络的异常检测算法，识别复杂的链路异常模式；利用自适应阈值技术，根据检测到的异常情况生成告警信息数据；使用告警聚合算法，对告警信息数据进行智能归并；将智能归并后的告警信息数据实时存储到高性能缓存数据库，同时通过微服务接口，将告警信息数据异步传输至数据可视化模块；应用持续学习机制，根据运维反馈不断优化告警模型和规则。

10、作为本发明所述微服务端到端链路的可视化管理系统的一种优选方案，其中：数据可视化模块的工作流程如下：并行从分布式关系型数据库读取网络性能分析数据和流量统计数据，同时从高性能缓存数据库读取告警信息数据；使用多线程技术整合网络性能分析数据、流量统计数据和告警信息数据，形成高维度数据集；应用主成分分析算法处理高维度数据集；使用基于webgl的3d渲染技术，将处理后的高维度数据集转换为多维可视化图表；采用基于websocket的实时数据推送机制，更新可视化图表；应用响应式布局技术，调整可视化图表在不同设备显示，并开发数据下钻功能，支持用户访问可视化图表的底层数据。

11、作为本发明所述微服务端到端链路的可视化管理系统的一种优选方案，其中：动态优化链路告警规则和指标包括以下步骤：获取初始链路告警规则和指标，从高性能缓存数据库中读取历史告警数据和当前流量统计数据，并初始化增强学习算法的参数；定义状态s和动作a，状态s为当前的网络性能指标组合，动作a为对链路告警规则和指标的调整动作；设计奖励函数，评估告警规则和指标调整后的效果；通过ε-贪婪策略选择最优或随机动作，执行所选动作，调整告警规则和指标；监控调整后的网络性能指标，观察新的状态s'，根据新的状态s'和历史告警数据，计算即时奖励r；使用q-learning算法更新q值，具体公式如下：

12、q(s,a)←q(s,a)+β[r+γmaxq(s',a')-q(s,a)]

13、a'

14、其中，q(s,a)为状态s下执行动作a的价值，β为学习率，r为即时奖励，γ为折扣因子，s'为执行动作后的新状态，a'为新状态下的动作；基于更新后的q表或价值函数，选择最优动作调整链路告警规则和指标，并将优化后的链路告警规则和指标更新至高性能缓存数据库。

15、第二方面，本发明实施例提供了微服务端到端链路的可视化管理方法，其包括数据采集处理模块在微服务节点部署轻量级代理，捕获并预处理微服务链路数据，生成预处理链路数据，通过消息队列异步传输；网络性能指标分析处理模块接收生成预处理链路数据，提取网络性能指标，执行业务关联计算，生成网络性能分析数据；流量指标统计分析处理模块实时处理网络性能分析数据，提取网络流量指标，执行统计分析计算，生成流量统计数据；链路告警处理模块接收流量统计数据，读取并更新链路告警规则和指标，对流量统计数据进行实时计算和分析，生成告警信息数据；整合预处理链路数据、流量统计数据和告警信息数据，使用基于webgl的3d渲染技术将整合后的数据转换为多维可视化图表，进行展示；通过实时监控和反馈机制，调整算法参数和处理流程。

16、第三方面，本发明实施例提供了一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其中：所述计算机程序指令被处理器执行时实现如本发明第一方面所述的微服务端到端链路的可视化管理系统的步骤。

17、第四方面，本发明实施例提供了一种计算机可读存储介质，其上存储有计算机程序，其中：所述计算机程序指令被处理器执行时实现如本发明第一方面所述的微服务端到端链路的可视化管理系统的步骤。

18、本发明有益效果为：通过采用消息队列机制和并行处理技术，本发明实现了大规模微服务链路数据的高效采集和处理。结合多维度关联分析算法、实时流计算技术和机器学习算法，本发明能够快速分析网络性能指标和流量指标，并动态优化告警规则。通过持续监控各模块的处理性能，并应用如自适应采样、动态参数调整等技术，本发明能够根据实际运行情况自动调整系统参数。利用基于webgl的3d渲染技术和交互式数据可视化技术，本发明提供了复杂链路数据的直观可视化和丰富的交互操作。