一种基于存算分离的数据湖文件按时清理系统及方法与流程
技术特征：
1.一种基于存算分离的数据湖文件按时清理系统，其特征在于，包括：
2.根据权利要求1所述的基于存算分离的数据湖文件按时清理系统，其特征在于，所述识别模块包括扫描单元和判断单元；
3.根据权利要求2所述的基于存算分离的数据湖文件按时清理系统，其特征在于，所述识别模块还包括标记单元和划分单元；
4.根据权利要求3所述的基于存算分离的数据湖文件按时清理系统，其特征在于，所述识别模块还包括计数单元和第一确定单元；
5.根据权利要求4所述的基于存算分离的数据湖文件按时清理系统，其特征在于，所述预处理模块包括生成单元、计算单元和比较单元；
6.根据权利要求5所述的基于存算分离的数据湖文件按时清理系统，其特征在于，所述清理模块包括监测单元和第一判定单元；
7.根据权利要求6所述的基于存算分离的数据湖文件按时清理系统，其特征在于，所述清理模块还包括第二判定单元和第三判定单元；
8.根据权利要求7所述的基于存算分离的数据湖文件按时清理系统，其特征在于，所述清理模块还包括第二确定单元；
9.根据权利要求8所述的基于存算分离的数据湖文件按时清理系统，其特征在于，所述反馈修正模块包括获取单元、评估单元和调节单元；
10.一种基于存算分离的数据湖文件按时清理方法，采用权利要求1-9任一项所述的基于存算分离的数据湖文件按时清理系统，其特征在于，包括：
技术总结
本发明涉及文件清理技术领域，特别是指一种基于存算分离的数据湖文件按时清理系统及方法，该按时清理方法包括：扫描所述数据湖内各文件，根据扫描结果确定需进行清理的文件，以得到若干孤立文件；累计所述孤立文件以得到实际标记数量，根据所述实际标记数量或所述初始清理周期对所述数据湖进行批次清理；对于任一清理批次，将该批次清理对应的所述孤立文件生成清理集，对所述清理集内的各待清理文件进行清理顺序排列；基于清理顺序排列结果进行清理时，实时监控清理过程，依次判定清理目标数据、清理过程数据和清理操作的一致性，并根据判定结果确定相应的所述过程控制模式；周期性获取清理结果，根据清理结果对清理条件进行反馈调节。
技术研发人员：高经郡,高海玲,谢晋
受保护的技术使用者：北京科杰科技有限公司
技术研发日：
技术公布日：2024/11/18
文档序号 :
【 40048529 】
技术研发人员：高经郡,高海玲,谢晋
技术所有人：北京科杰科技有限公司
备 注：该技术已申请专利，仅供学习研究，如用于商业用途，请联系技术所有人。
声 明 ：此信息收集于网络，如果你是此专利的发明人不想本网站收录此信息请联系我们，我们会在第一时间删除
技术研发人员：高经郡,高海玲,谢晋
技术所有人：北京科杰科技有限公司
备 注：该技术已申请专利，仅供学习研究，如用于商业用途，请联系技术所有人。
声 明 ：此信息收集于网络，如果你是此专利的发明人不想本网站收录此信息请联系我们，我们会在第一时间删除