基于大数据的系统性能优化平台构建方法及系统与流程

本发明涉及大数据处理，尤其涉及一种基于大数据的系统性能优化平台构建方法及系统。

背景技术：

1、大数据的系统性能优化是指针对大数据处理系统，在保证数据处理质量和效率的前提下，通过各种技术手段和优化策略来提高系统的性能表现。它可以帮助系统更快地处理海量数据，并提供更高的并发性、更低的延迟、更好的可扩展性和更高的吞吐量。

2、现有的系统性能优化平台构建方法是采用批处理方法，该方法适合于对海量数据进行静态数据挖掘的场景，模式是先存储后计算，数据可能会被重复使用或处理，增加了计算资源的重复利用，进而导致系统性能优化的效率降低。

技术实现思路

1、本发明提供一种基于大数据的系统性能优化平台构建方法及系统，其主要目的在于提高大数据的系统性能优化效率。

2、为实现上述目的，本发明提供的一种基于大数据的系统性能优化平台构建方法，包括：

3、获取待优化的云服务系统，提取所述云服务系统的分布式计算集群，识别所述分布式计算集群中的服务虚拟机，查询所述服务虚拟机对应的服务功能和配置参数，根据所述服务功能，分析出所述服务虚拟机中的交互虚拟机，确定所述交互虚拟机对应的逻辑链路；

4、根据所述配置参数，计算所述逻辑链路对应的链路传输容量，根据所述链路传输容量，计算出所述分布式计算集群对应的集群传输容量；

5、根据所述配置参数，计算所述逻辑链路之间的负载均衡偏差，对所述负载均衡偏差进行归一化处理，得到目标均衡度，收集所述分布式计算集群对应的集群运行数据，根据所述集群运行数据，分析出所述分布式计算集群对应的集群状态；

6、调度所述分布式计算集群对应的集群日志，根据所述集群日志，计算出所述分布式计算集群对应的集群中心负载，结合所述集群传输容量、所述目标均衡度及所述集群中心负载，设置所述分布式计算集群对应的调度优先级，根据所述调度优先级和所述集群状态，构建所述分布式计算集群的性能优化方案。

7、可选地，所述根据所述服务功能，分析出所述服务虚拟机中的交互虚拟机，包括：

8、识别所述服务功能对应的功能信息，根据所述功能信息，确定所述服务虚拟机对应的功能模块和模块组件；

9、调度所述功能模块对应的模块数据流，分析所述模块数据流对应的数据端点；

10、访问所述模块组件对应的组件代码，分析所述组件代码之间的依赖关系；

11、根据所述数据端点和所述依赖关系，分析出所述服务虚拟机中的交互虚拟机。

12、可选地，所述确定所述交互虚拟机对应的逻辑链路，包括：

13、获取所述交互虚拟机对应的虚拟网络配置信息，查询所述交互虚拟机对应的通信设备和设备配置信息；

14、根据所述设备配置信息，分析所述通信设备对应的设备拓扑结构；

15、结合所述设备拓扑结构和所述网络配置信息，确定所述交互虚拟机对应的网络拓扑结构；

16、根据所述网络拓扑结构，确定所述交互虚拟机对应的逻辑链路。

17、可选地，所述根据所述配置参数，计算所述逻辑链路对应的链路传输容量，包括：

18、根据所述配置参数，计算出所述逻辑链路对应的空闲带宽；

19、对所述逻辑链路中的每个链路进行路径追踪，得到追踪路径；

20、根据所述追踪路径，统计所述逻辑链路中每个链路对应的通行次数；

21、根据所述通行次数和所述空闲带宽，利用下述公式计算所述逻辑链路对应的链路传输容量：

22、

23、其中，a表示逻辑链路对应的链路传输容量，表示第i个逻辑链路的空闲带宽，表示第i个逻辑链路的通行次数，i表示逻辑链路对应的序列号

24、可选地，所述根据所述配置参数，计算出所述逻辑链路对应的空闲带宽，包括：

25、从所述配置参数中提取出所述交互虚拟机对应的网络带宽；

26、根据所述网络带宽，计算出所述逻辑链路对应的链路带宽；

27、统计所述逻辑链路对应的上下游虚拟机数量，得到虚拟机数量一和虚拟机数量二；

28、根据所述虚拟机数量一和所述虚拟机数量二，通过下述公式计算出所述逻辑链路对应的全局带宽：

29、

30、其中，d表示逻辑链路对应的全局带宽，f1和f2分别表示第f个逻辑链路的虚拟机数量一和所述虚拟机数量二，表示第a个分布式计算集群对应的总带宽，a表示分布式计算集群对应的序列号，r表示分布式计算集群对应的数量；

31、根据所述全局带宽和所述链路带宽，计算出所述逻辑链路对应的空闲带宽。

32、可选地，所述根据所述链路传输容量，计算出所述分布式计算集群对应的集群传输容量，包括：

33、统计所述分布式计算集群对应的集群故障，根据所述集群故障，计算出所述分布式计算集群对应的集群失效率；

34、根据所述集群失效率，分配所述分布式计算集群对应的集群权重；

35、结合所述集群权重和所述链路传输容量，通过下述公式计算出所述分布式计算集群对应的集群传输容量：

36、

37、其中，g表示分布式计算集群对应的集群传输容量，表示集群权重，a为分布式计算集群的序列号，表示第b个链路传输容量，b为链路传输容量对应的序列号，q为链路传输容量对应的总数。

38、可选地，所述根据所述配置参数，计算所述逻辑链路之间的负载均衡偏差，包括：

39、监测所述逻辑链路对应的链路流量值，并记录所述链路流量值对应的监测周期；

40、对所述链路流量值进行异常剔除，得到目标流量值；

41、结合所述目标流量值和所述监测周期，计算出所述逻辑链路对应的平均流量；

42、结合所述配置参数和所述平均流量，计算出所述逻辑链路对应的负载均衡偏差。

43、可选地，所述结合所述配置参数和所述平均流量，计算出所述逻辑链路对应的负载均衡偏差，包括：

44、提取所述配置参数中的带宽参数和端口参数；

45、根据所述带宽参数和所述端口参数，计算出所述逻辑链路对应的流量极值；

46、根据所述流量极值和所述平均流量，计算出所述逻辑链路对应的负载均衡偏差；

47、根据所述负载均衡偏差，计算出所述负载均衡偏差对应的变异系数；

48、结合所述负载均衡偏差和所述变异系数，计算出所述逻辑链路对应的负载均衡偏差。

49、可选地，所述根据所述集群日志，计算出所述分布式计算集群对应的集群中心负载，包括：

50、根据所述集群日志，查找所述分布式计算集群对应的集群中心节点；

51、利用预设的性能分析工具分析出所述集群中心节点对应的节点性能指标；

52、从所述集群日志中提取出所述节点性能指标对应的指标日志信息；

53、根据所述指标日志信息，计算所述节点性能指标对应的指标负载；

54、根据所述指标负载，计算出所述分布式计算集群对应的集群中心负载。

55、一种基于大数据的系统性能优化平台构建系统，其特征在于，所述系统包括：

56、逻辑链路确定模块，用于获取待优化的云服务系统，提取所述云服务系统的分布式计算集群，识别所述分布式计算集群中的服务虚拟机，查询所述服务虚拟机对应的服务功能和配置参数，根据所述服务功能，分析出所述服务虚拟机中的交互虚拟机，确定所述交互虚拟机对应的逻辑链路；

57、传输容量计算模块，用于根据所述配置参数，计算所述逻辑链路对应的链路传输容量，根据所述链路传输容量，计算出所述分布式计算集群对应的集群传输容量；

58、状态分析模块，用于根据所述配置参数，计算所述逻辑链路之间的负载均衡偏差，对所述负载均衡偏差进行归一化处理，得到目标均衡度，收集所述分布式计算集群对应的集群运行数据，根据所述集群运行数据，分析出所述分布式计算集群对应的集群状态；

59、性能优化模块，用于调度所述分布式计算集群对应的集群日志，根据所述集群日志，计算出所述分布式计算集群对应的集群中心负载，结合所述集群传输容量、所述目标均衡度及所述集群中心负载，设置所述分布式计算集群对应的调度优先级，根据所述调度优先级和所述集群状态，构建所述分布式计算集群的性能优化方案。

60、本发明通过查询所述服务虚拟机对应的服务功能和配置参数，进而了解所述服务虚拟机的技术服务和对应的属性信息，根据所述服务功能，分析出所述服务虚拟机中的交互虚拟机，以此得到所述服务虚拟机中存在相互作用的虚拟机，本发明根据所述配置参数，计算所述逻辑链路对应的链路传输容量，可以了解所述逻辑链路对应的可分配带宽值，进而便于后续集群传输容量的计算处理，本发明根据所述配置参数，计算所述逻辑链路之间的负载均衡偏差，可以了解所述逻辑链路之间的负载均衡程度，进而分析出所述逻辑链路之间的稳定性，本发明根据所述集群日志，计算出所述分布式计算集群对应的集群中心负载，可以了解所述分布式计算集群中的中心节点的资源使用情况，进而便于评估所述分布式计算集群的整体性能，为后续调度优先级的设置提供了依据，便于提高所述分布式计算集群的性能优化效率。因此，本发明实施例提供的一种基于大数据的系统性能优化平台构建方法及系统，能够提高数据的系统性能优化效率。