基于零信任的异地多网络存储调度方法及系统与流程

本发明涉及数据存储，特别涉及基于零信任的异地多网络存储调度方法和基于零信任的异地多网络存储调度系统。

背景技术：

1、随着云计算和大数据的发展，企业和组织面临着日益增长的数据存储和传输需求。传统的中心化存储方案在面对大规模、跨地域的数据访问时，常常遇到带宽瓶颈、访问延迟高等问题。同时，数据安全也成为一个越来越重要的议题。目前的数据存储技术具有如下手段：

2、内容分发网络(cdn)：cdn通过在网络边缘部署节点，将内容缓存在离用户较近的位置，提高访问速度；

3、分布式存储系统：如hadoop hdfs，通过将数据分布存储在多个节点上，提高数据的可用性和读写性能；

4、云存储加速：如阿里云的oss加速服务，通过在不同地域部署节点，优化数据传输路径。

5、但是，上述的数据存储技术仍然存在以下问题：

6、安全性不足：传统cdn和分布式存储系统在安全性方面考虑不够全面，特别是在多网络环境下；

7、灵活性不够：现有系统往往是固定部署，难以根据实时网络状况和用户需求动态调整；

8、效率不高：在跨网络、跨地域的数据传输中，常常无法充分利用网络资源，导致传输效率低下；

9、成本高：部署和维护大规模的分布式节点需要较高的硬件和运维成本。

10、需要说明的是，在上述背景技术部分公开的信息仅用于加强对本发明的背景的理解，因此可以包括不构成本领域普通技术人员已知的现有技术的信息。

技术实现思路

1、本发明的目的是为了解决背景技术存在的技术问题，为此，提供了基于零信任的异地多网络存储调度方法和基于零信任的异地多网络存储调度系统。

2、为了实现上述目的，本发明所采用的技术方案如下：

3、基于零信任的异地多网络存储调度方法，包括以下步骤：

4、步骤s1：客户端向中心服务器发送文件上传或下载请求，若客户端向中心服务器发送文件上传请求，则跳转至步骤s21-s27，若客户端向中心服务器发送文件下载请求，则跳转至步骤s31-s36；

5、步骤s21：中心服务器根据客户端的上传请求信息以及边缘节点持续上报的心跳内容，选择最优边缘节点，将选择结果缓存；

6、步骤s22：中心服务器返回选定边缘节点的上传链接给客户端，并在上传链接加上token，token由客户端的上传请求信息生成；

7、步骤s23：客户端通过接收的上传链接将文件上传到边缘节点；

8、步骤s24：边缘节点解析上传链接的token，若解析无效则拒绝接收客户端上传的文件，若解析有效则允许接收客户端上传的文件；

9、步骤s25：边缘节点接收文件完成后，进行文件的完整性检查；

10、步骤s26：文件的完整性检查通过后，边缘节点创建上传任务，将文件上传到oss源站进行归档持久化存储；

11、步骤s27：文件上传结束；

12、步骤s31：中心服务器根据客户端的下载请求信息，检查对应的文件是否有对应的边缘节点缓存结果；

13、步骤s32：若有，则中心服务器直接返回缓存结果的边缘节点的下载链接给客户端，并在下载链接加上token，token由客户端的下载请求信息生成；

14、若没有，则中心服务器根据客户端的下载请求信息以及边缘节点持续上报的心跳内容，选择最优边缘节点，将选择结果缓存，中心服务器返回选定边缘节点的下载链接给客户端，并在下载链接加上token，token由客户端的下载请求信息生成；

15、步骤s33：客户端通过接收的下载链接从边缘节点下载文件；

16、步骤s34：边缘节点解析下载链接的token，若解析无效则拒绝客户端从边缘节点下载文件，若解析有效则允许客户端从边缘节点下载文件；

17、步骤s35：解析有效后，边缘节点查找本地缓存中，是否有对应的文件id；

18、若有，则边缘节点直接向客户端返回文件内容；

19、若没有，则边缘节点向oss源站请求下载，oss源站向边缘节点返回文件内容，随后，边缘节点向客户端返回文件内容；

20、步骤s36：文件下载结束。

21、以下为本发明中方法进一步限定的技术方案，中心服务器和边缘节点之间建立零信任安全通道，包括步骤有：

22、边缘节点携带自身公钥请求中心服务器；

23、中心服务器接收到边缘节点的公钥后，给边缘节点返回服务器公钥；

24、边缘节点将服务器公钥与本地的服务器公钥进行对比检查；

25、若检查一致，则完成安全通道的建立，进行数据传输；

26、若检查不一致，说明存在中间人攻击：中间人拦截接收边缘节点的公钥和服务器公钥，并向中心服务器和边缘节点发送中间人的公钥，则中心服务器和边缘节点记录并丢弃中间人的公钥。

27、以下为本发明中方法进一步限定的技术方案，在中心服务器和边缘节点之间完成安全通道建立后，进行数据传输，包括步骤有：

28、边缘节点使用自身私钥加密数据，进行心跳内容上报；

29、中心服务器使用边缘节点的公钥解密数据，再使用自身私钥加密数据，给边缘节点返回加密数据；

30、边缘节点使用接收到的服务器公钥解密数据。

31、以下为本发明中方法进一步限定的技术方案，边缘节点向中心服务器持续上报的心跳内容包括：服务区域、自身当前的cpu负载情况、自身当前的内存占用、自身的磁盘io情况；

32、客户端的上传请求信息包括：当前网络地区、目标归档存储类型、文件md5信息和文件名；

33、客户端的下载请求信息包括：当前网络地区和下载文件id。

34、以下为本发明中方法进一步限定的技术方案，中心服务器根据客户端的上传请求信息以及边缘节点持续上报的心跳内容，选择最优边缘节点，包括步骤有：

35、边缘节点持续向中心服务器发起心跳，中心服务器注册对应边缘节点的心跳内容到注册表；

36、中心服务器接收到客户端的上传请求后，检索注册表；

37、根据客户端请求的当前网络地区、目标归档存储类型，匹配边缘节点；

38、再基于边缘节点的cpu负载情况、内存占用、磁盘io情况进行评分处理，其中，边缘节点评分=cpu负载情况*1+内存占用*1.5+磁盘io情况*2；

39、选择评分最低的边缘节点作为最优边缘节点；

40、中心服务器根据客户端的下载请求信息以及边缘节点持续上报的心跳内容，选择最优边缘节点，包括步骤有：

41、边缘节点持续向中心服务器发起心跳，中心服务器注册对应边缘节点的心跳内容到注册表；

42、中心服务器接收到客户端的下载请求后，检索注册表；

43、根据客户端请求的当前网络地区、下载文件id的存储类型，匹配边缘节点；

44、再基于边缘节点的cpu负载情况、内存占用、磁盘io情况进行评分处理，其中，边缘节点评分=cpu负载情况*1+内存占用*1.5+磁盘io情况*2；

45、选择评分最低的边缘节点作为最优边缘节点。

46、以下为本发明中方法进一步限定的技术方案，上传链接的token包含有上传请求的md5信息、文件名和文件元数据；下载链接的token包含有下载请求的文件id和下载链接过期时间；

47、边缘节点接收文件完成后，根据上传链接的token中的md5信息检验文件md5确认文件完整，若文件不完整，则报错。

48、以下为本发明中方法进一步限定的技术方案，边缘节点将文件上传到oss源站，包括步骤有：

49、边缘节点创建上传任务；

50、将文件信息序列化，其中，文件信息包含md5信息、文件id、文件名、远端存储信息；

51、将文件存储进磁盘队列；

52、取出上传任务，根据远端存储信息上传文件到远端的oss源站，若上传失败，则将文件放回磁盘队列。

53、以下为本发明中方法进一步限定的技术方案，当边缘节点没有查找到对应的文件id后，边缘节点查询本地是否已经有正在请求源站下载；

54、若是，则等待；

55、若否，则创建下载任务，请求源站下载；

56、远端的oss源站校验文件md5信息；

57、若校验成功，远端的oss源站向边缘节点返回文件内容，随后，边缘节点向客户端返回文件内容；

58、若校验失败，则告警给边缘节点，随后，边缘节点告警给客户端。

59、以下为本发明中方法进一步限定的技术方案，当多个客户端向中心服务器发送文件下载请求，且边缘节点没有本地缓存，则多个边缘节点请求源站下载：当排在前面的请求过来时，请求源站，并标记正在请求，若后续请求与正在请求是相同的，则将源站的下载流量复制一份到后续请求。

60、基于零信任的异地多网络存储调度系统，用于实现上述的基于零信任的异地多网络存储调度方法，其特征在于，包括中心服务器、边缘节点、oss源站；

61、中心服务器，用于整体调度和控制；

62、边缘节点，部署在内网机房，作为数据传输的中转站；

63、oss源站，作为最终的数据存储位置；

64、在中心服务器和边缘节点之间设置零信任安全通道，确保通信安全。

65、相对于现有技术，本发明具有如下技术效果：

66、1、显著提高数据传输速度，特别是在跨地域、多网络环境下；

67、2、增强数据安全性通过零信任架构减少潜在的安全风险；

68、3、降低带宽成本，通过智能调度和归并回源机制提高带宽利用率；

69、4、提高系统可扩展性，易于部署新的边缘节点以应对业务增长；

70、5、改善用户体验，支持大文件的快速上传下载和断点续传。

71、下面结合附图与实施例，对本发明进一步说明。