首页  专利技术  电子电路装置的制造及其应用技术

一种Hive小文件治理方法与流程

2025-07-13 11:00:01 689次浏览

技术特征:

1.一种hive小文件治理方法,其特征在于,包括:

2.根据权利要求1所述的hive小文件治理方法,其特征在于,所述实时监控hive小文件的产生情况,根据所述产生情况确定hive小文件是否存在异常的过程包括:

3.根据权利要求2所述的hive小文件治理方法,其特征在于,所述判定所述实际产生数量、所述实际产生来源和所述实际产生频率中符合单一判定条件的项目个数的过程包括:

4.根据权利要求3所述的hive小文件治理方法,其特征在于,所述判定所述实际产生数量、所述实际产生来源和所述实际产生频率中符合单一判定条件的项目个数的过程还包括:

5.根据权利要求4所述的hive小文件治理方法,其特征在于,所述根据所述项目个数确定所述hive小文件是否存在异常的过程包括:

6.根据权利要求5所述的hive小文件治理方法,其特征在于,所述基于hive小文件存在异常,确定hive小文件异常等级的过程包括:

7.根据权利要求6所述的hive小文件治理方法,其特征在于,所述根据所述异常等级确定hive小文件治理策略的过程包括:

8.根据权利要求7所述的hive小文件治理方法,其特征在于,所述合并hive小文件的过程包括:

9.根据权利要求8所述的hive小文件治理方法,其特征在于,所述基于运行所述hive小文件治理策略以确定治理评分的过程包括:

10.根据权利要求9所述的hive小文件治理方法,其特征在于,所述根据所述定期清理结果结合所述治理评分计算整体性能评分的过程包括:


技术总结
本发明涉及文件治理技术领域,特别是指一种Hive小文件治理方法,该方法包括:设置初始清理周期,对产生的小文件进行定期清理,以获得定期清理结果;实时监控小文件的产生情况,根据所述产生情况确定小文件是否存在异常;基于小文件存在异常,确定小文件异常等级;根据所述异常等级确定小文件治理策略,基于运行所述小文件治理策略以确定治理评分;根据所述定期清理结果结合所述治理评分计算整体性能评分;基于所述整体性能评分调整所述初始清理周期,或,优化所述治理策略。本发明通过定期清理到性能评分再到策略优化的全面管理,减少了人工干预的需求,提高了效率,避免小文件堆积和性能下降,保证治理过程的高效运行。

技术研发人员:高经郡,高海玲,李钦
受保护的技术使用者:北京科杰科技有限公司
技术研发日:
技术公布日:2024/11/18
文档序号 : 【 40050429 】

技术研发人员:高经郡,高海玲,李钦
技术所有人:北京科杰科技有限公司

备 注:该技术已申请专利,仅供学习研究,如用于商业用途,请联系技术所有人。
声 明此信息收集于网络,如果你是此专利的发明人不想本网站收录此信息请联系我们,我们会在第一时间删除
高经郡高海玲李钦北京科杰科技有限公司
将shell脚本转换为C代码的方法、装置、设备及存储介质与流程 一种用于钢板弹簧生产的卷制不良自动排除装置的制作方法
相关内容