一种多源数据资源目录管理方法、系统、电子设备及介质与流程

本申请涉及数据处理,具体涉及一种多源数据资源目录管理方法、系统、电子设备及介质。
背景技术:
1、随着信息技术的飞速发展,数据已成为现代社会的一种重要资源。在多种业务场景中,例如互联网服务以及军民融合等领域,均需要处理和分析来自不同数据源的庞大数据集。为了有效管理这些数据,数据资源目录的建立和维护变得尤为重要。
2、目前,现有数据资源目录管理方法通常针对特定类型的数据进行识别以生成数据资源目录。但是在实际应用中,在处理多种数据源的数据时,仅针对特定类型的数据进行识别的方式,难以对不同类型的数据进行准确识别,识别的数据内容存在误差,从而导致识别多源数据时,多源数据资源目录管理的准确性较低。
技术实现思路
1、本申请提供了一种多源数据资源目录管理方法、系统、电子设备及介质,具有提高多源数据资源目录管理的准确性的效果。
2、第一方面,本申请提供了一种多源数据资源目录管理方法,包括:
3、获取多个数据源中采集的待管理数据;
4、根据各所述待管理数据的数据类型,将各所述待管理数据划分为多个不同数据类型对应的数据样本集;
5、基于预设数据格式,对各所述数据样本集中的待管理数据进行格式转换处理,得到各所述数据样本集对应的目标数据样本集;
6、将各所述目标数据样本集分别输入至对应的数据标签生成模型,得到各所述目标数据样本集的数据标签;
7、结合各所述数据标签,生成数据资源目录。
8、在本申请的第二方面提供了一种多源数据资源目录管理方法的系统。
9、数据获取模块,用于获取多个数据源中采集的待管理数据;
10、数据样本集确定模块,用于确定各所述待管理数据的数据类型,将各所述待管理数据划分为多个不同数据类型对应的数据样本集;
11、数据标签确定模块,用于基于预设数据格式,对各所述数据样本集中的待管理数据进行格式转换处理,得到各所述数据样本集对应的目标数据样本集;将各所述目标数据样本集输入至对应的数据标签生成模型,得到各所述目标数据样本集的数据标签;
12、目录生成模块,用于结合各所述数据标签,生成数据资源目录。
13、在本申请的第三方面提供了一种电子设备,包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的程序,该程序能够被处理器加载执行时实现一种多源数据资源目录管理方法。
14、在本申请的第四方面提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时使所述处理器实现一种多源数据资源目录管理方法。
15、综上所述,本申请实施例中提供的一个或多个技术方案,至少具有如下技术效果或优点:
16、通过采用上述技术方案,获取多个数据源中采集的待管理数据,并根据数据类型将其划分为不同的数据样本集,实现了对多源异构数据的有效组织和分类。基于预设数据格式对各数据样本集进行格式转换处理,得到目标数据样本集,这一步骤统一了不同来源数据的格式,提高了后续处理的一致性和效率。将目标数据样本集输入对应的数据标签生成模型,生成精确的数据标签,这种针对不同数据类型使用模型的方法提高了标签的准确性和相关性。最后通过结合各数据标签生成数据资源目录,能够更好地适应不同类型的数据,实现了对多源数据的整合,从而提高了多源数据资源目录管理的准确性。
技术特征:
1.一种多源数据资源目录管理方法,其特征在于,包括:
2.根据权利要求1所述的多源数据资源目录管理方法,其特征在于,所述确定各所述待管理数据的数据类型,将各所述待管理数据划分为多个不同数据类型对应的数据样本集,包括:
3.根据权利要求1所述的多源数据资源目录管理方法,其特征在于,所述基于预设数据格式,对各所述数据样本集中的待管理数据进行格式转换处理,得到各所述数据样本集对应的目标数据样本集,包括:
4.根据权利要求3所述的多源数据资源目录管理方法,其特征在于,所述根据预设格式转换规则,将所述格式不符的数据转换为符合所述预设数据格式的数据,包括:
5.根据权利要求1所述的多源数据资源目录管理方法,其特征在于,所述将各所述目标数据样本集输入至对应的数据标签生成模型之前,还包括:
6.根据权利要求1所述的多源数据资源目录管理方法,其特征在于,所述结合各所述数据标签,生成数据资源目录,包括:
7.根据权利要求6所述的多源数据资源目录管理方法,其特征在于,所述对各所述数据标签进行格式化处理,得到各所述数据标签对应的目标数据标签,包括:
8.一种多源数据资源目录管理系统,其特征在于,所述系统包括:
9.一种电子设备,其特征在于,包括处理器、存储器、用户接口及网络接口,所述存储器用于存储指令,所述用户接口和所述网络接口用于给其他设备通信,所述处理器用于执行所述存储器中存储的指令,以使所述电子设备执行如权利要求1-7任意一项所述的多源数据资源目录管理方法。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有指令,当所述指令被执行时,执行如权利要求1-7任意一项所述的多源数据资源目录管理方法。
技术总结
一种多源数据资源目录管理方法、系统、电子设备及介质,涉及数据处理技术领域。该方法包括:获取多个数据源中采集的待管理数据;确定各所述待管理数据的数据类型,将各所述待管理数据划分为多个不同数据类型对应的数据样本集;基于预设数据格式,对各所述数据样本集中的待管理数据进行格式转换处理,得到各所述数据样本集对应的目标数据样本集;将各所述目标数据样本集输入至对应的数据标签生成模型,得到各所述目标数据样本集的数据标签;结合各所述数据标签,生成数据资源目录。实施本申请提供的技术方案,达到了提高多源数据资源目录管理的准确性的效果。
技术研发人员:曹韫
受保护的技术使用者:北京昌东科技有限公司
技术研发日:
技术公布日:2024/11/28
技术研发人员:曹韫
技术所有人:北京昌东科技有限公司
备 注:该技术已申请专利,仅供学习研究,如用于商业用途,请联系技术所有人。
声 明 :此信息收集于网络,如果你是此专利的发明人不想本网站收录此信息请联系我们,我们会在第一时间删除
