一种面向超算平台进行多源异构数据采集、存储与读取的方法及系统与流程

1.一种面向超算平台进行多源异构数据采集、存储与读取的方法，其特征在于，包括：

2.根据权利要求1所述的面向超算平台进行多源异构数据采集、存储与读取的方法，其特征在于，当用户查询的数据为非预加载数据时，将不对查询语句进行动态排序，而是按照原有的顺序执行查询语句并整合数据；若查询数据时，只查询其中一个超算平台中的一项数据，则无需进行整合。

3.根据权利要求1所述的面向超算平台进行多源异构数据采集、存储与读取的方法，其特征在于，根据超算平台的多种物理配置和slurm软件版本的差异性，梳理超算平台已有的多种数据采集策略，用户可直接或间接通过数据存储与访问层封装的统一接口连接相应的超算平台，选择相应的数据采集策略后采集超算平台元数据；

4.根据权利要求1所述的面向超算平台进行多源异构数据采集、存储与读取的方法，其特征在于，数据处理层使用多层级工作流对查询请求信息进行处理，其包括请求识别层对查询请求信息进行识别，通过验证请求信息的格式及内容过滤无效信息并将过滤后的查询请求信息发送至请求解析层；请求解析层将查询请求信息转化为请求体，并依据查询对象构建查询语句；认证与拦截处理层则对请求信息及查询语句进行认证，请求执行层依据通过认证的请求信息连接存储空间，执行通过认证的查询语句读取所需超算数据并对其进行数据整合后，返回请求执行结果。

5.根据权利要求4所述的面向超算平台进行多源异构数据采集、存储与读取的方法，其特征在于，所述构建查询语句包括：

6.根据权利要求4所述的面向超算平台进行多源异构数据采集、存储与读取的方法，其特征在于，所述认证与拦截处理层则对请求信息及查询语句进行认证，包括：

7.根据权利要求4所述的面向超算平台进行多源异构数据采集、存储与读取的方法，其特征在于，对于需要实施预加载机制的超算数据，按照优先级动态查询预加载数据并进行整合，即：

8.根据权利要求7所述的面向超算平台进行多源异构数据采集、存储与读取的方法，其特征在于，若当前轮次执行数据查询或数据整合超过或未到达预先设置的时间阈值，则对后续优先级队列中与当前轮次具备相同因素的用户请求在相应因素的评分上进行减分或加分处理。

9.根据权利要求1所述的面向超算平台进行多源异构数据采集、存储与读取的方法，其特征在于，依据不同的应用场景建立不同的应用端，用户在不同的应用端下达操作指令，获取数据处理层返回的结果。

10.一种面向超算平台进行多源异构数据采集、存储与读取的系统，实现权利要求1-9任一项所述的一种面向超算平台进行多源异构数据采集、存储与读取的方法，其特征在于，包括数据源、数据存储与访问层、数据处理层和应用层；数据源包括多个超算平台；数据存储与访问层用于将超算平台所有运维流程的接口封装为统一的api接口，通过统一的api接口对数据源中具备不同物理配置和slurm软件版本的各超算平台的多源异构数据进行统一采集，并按照不同的应用场景将采集的数据进行分布式存储；数据处理层用于在不同的应用场景下，根据用户需求读取存储空间中的数据，当用户读取多源异构的超算平台数据时，调用预制查询语句库构建出针对不同数据源的查询语句，对分布式存储的多源异构数据进行查询后依据优先级对读取的多源异构数据进行整合，当查询预加载数据时，每执行完成一次查询与数据整合后，根据当前轮次数据查询与整合所用时间动态调整后续执行各查询语句与数据整合的优先级顺序；应用层包括多个应用端，分别供用户获取从数据处理层返回的所需结果。