一种数据质量评估方法、装置、电子设备和计算机可读存储介质与流程

本申请涉及智慧交通，尤其涉及一种数据质量评估方法、装置、电子设备和计算机可读存储介质。

背景技术：

1、随着数字化转型的加速，数据已成为企业不可或缺的战略资产。在数据驱动的决策制定过程中，数据质量直接影响分析结果的准确性和可靠性。大量数据在进入企业数据仓库前，往往面临数据不一致、缺失、错误和冗余等问题，不仅增加了数据管理的复杂度，还可能导致业务决策失误，影响企业的运营效率和竞争力。

2、传统的数据质量评测方法大多依赖人工审核或简单的自动化工具，缺乏系统性、智能化的数据质量评分机制，难以高效、准确地评估数据资产的整体健康状况和价值。

技术实现思路

1、本申请实施例提供了一种数据质量评估方法、装置、电子设备和计算机可读存储介质，以提升数据质量评估效率和评估精度。

2、本申请实施例采用下述技术方案：

3、第一方面，本申请实施例提供了一种数据质量评估方法，所述方法包括：

4、获取数据质量评估模板，所述数据质量评估模板包括质量评估策略和基于待评估数据信息配置的规则关联配置信息，所述规则关联配置信息用于从预先配置的规则集合中匹配目标规则，所述规则集合包括不同数据质量指标对应的规则，每条规则包括基于规则描述信息构建的质量检测策略；

5、根据所述规则关联配置信息从所述规则集合中获取所述待评估数据信息对应的目标规则；

6、根据所述目标规则对应的质量检测策略，获取待评估数据的每种数据质量指标对应的质量检测结果；

7、根据所述质量评估策略和所述待评估数据的每种数据质量指标对应的质量检测结果，获取所述待评估数据信息对应的多维度数据质量评估结果。

8、可选地，所述待评估数据信息包括待评估数据对应的数据表信息和字段信息，所述规则关联配置信息用于指示待评估数据信息与规则集合中的规则的对应关系，所述规则关联配置信息至少包括表级配置信息和字段级配置信息；

9、所述表级配置信息至少包括数据表信息和规则信息概览；

10、所述字段级配置信息至少包括数据表信息、字段信息、每个字段信息对应的规则信息。

11、可选地，所述质量检测策略包括数据库查询语句表达式，每条规则还包括指标分级信息和规则描述信息。

12、可选地，所述根据所述规则关联配置信息从所述规则集合中获取所述待评估数据信息对应的目标规则，包括：

13、根据所述表级配置信息中的规则信息概览获取所述目标规则；

14、根据所述字段级配置信息中每项字段信息对应的规则信息，获取所述目标规则对应的字段信息。

15、可选地，所述根据所述目标规则对应的质量检测策略，获取待评估数据的每种数据质量指标对应的质量检测结果，包括：

16、根据所述待评估数据信息的数据表信息和字段信息以及所述数据库查询语句表达式，生成数据库查询语句；

17、根据所述待评估数据信息的数据表信息和所述数据库查询语句，获取每种数据质量指标对应的质量检测结果。

18、所述数据表信息包括表查询条件，所述根据所述待评估数据信息的数据表信息和所述数据库查询语句，获取每种数据质量指标对应的质量检测结果，包括：

19、根据所述表查询条件确定是否建立数据库链接；

20、在数据库链接建立成功时，通过所述数据库查询语句的返回结果获取符合相应规则的数据量；

21、根据符合相应规则的数据量和所述数据表的数据总量，获取每种数据质量指标对应的质量检测结果。

22、可选地，所述质量评估策略包括单项指标评估策略和综合指标评估策略，所述根据所述质量评估策略和所述待评估数据的每种数据质量指标对应的质量检测结果，获取所述待评估数据信息对应的多维度数据质量评估结果，包括：

23、根据所述单项指标评估策略对每种数据质量指标对应的质量检测结果进行标准化计算，获取每种数据质量指标对应的单项评估结果；

24、根据所述综合指标评估策略对每种数据质量指标对应的单项评估结果进行加权计算，获取所有数据质量指标对应的综合评估结果；

25、通过所述单项评估结果和所述综合评估结果获取所述待评估数据信息对应的多维度数据质量评估结果。

26、第二方面，本申请实施例还提供一种数据质量评估装置，所述装置包括：

27、评估模板获取单元，用于获取数据质量评估模板，所述数据质量评估模板包括质量评估策略和基于待评估数据信息配置的规则关联配置信息，所述规则关联配置信息用于从预先配置的规则集合中匹配目标规则，所述规则集合包括不同数据质量指标对应的规则，每条规则包括基于规则描述信息构建的质量检测策略；

28、规则获取单元，用于根据所述规则关联配置信息从所述规则集合中获取所述待评估数据信息对应的目标规则；

29、检测结果获取单元，用于根据所述目标规则对应的质量检测策略，获取待评估数据的每种数据质量指标对应的质量检测结果；

30、评估结果获取单元，用于根据所述质量评估策略和所述待评估数据的每种数据质量指标对应的质量检测结果，获取所述待评估数据信息对应的多维度数据质量评估结果。

31、第三方面，本申请实施例还提供一种电子设备，包括：

32、处理器；以及被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行前述数据质量评估方法。

33、第四方面，本申请实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储一个或多个程序，所述一个或多个程序当被包括多个应用程序的电子设备执行时，使得所述电子设备执行前述数据质量评估方法。

34、本申请实施例采用的上述至少一个技术方案能够达到以下有益效果：

35、本申请实施例预先配置数据质量评估模板和规则集合，通过规则集合中的每项规则配置相应的质量检测策略，通过数据质量评估模板的规则关联配置信息和质量评估策略分别配置待评估数据与规则的对应关系和待评估数据的数据质量评估算法；如此，在需要进行数据质量评估时，可以根据获取到的数据质量评估模板得到待评估数据信息对应的目标规则，根据目标规则对应的质量检测策略得到待评估数据关于每种数据质量指标的质量检测结果，基于质量评估策略对每种数据质量指标对应的质量检测结果进行评估计算，能够获得待评估数据的多维度数据质量评估结果。

36、本申请实施例通过简单的规则配置即可构建一套全面覆盖各种数据质量指标的评估体系，不需要人工编写或修改sql语句，能够减少人工干预，极大地提高评估效率，且通过设置合理的质量评估策略可以确保质量评估的客观性和综合性。

1.一种数据质量评估方法，其特征在于，所述数据质量评估方法包括：

2.根据权利要求1所述的数据质量评估方法，其特征在于，所述待评估数据信息包括待评估数据对应的数据表信息和字段信息，所述规则关联配置信息用于指示待评估数据信息与规则集合中的规则的对应关系，所述规则关联配置信息至少包括表级配置信息和字段级配置信息；

3.根据权利要求2所述的数据质量评估方法，其特征在于，所述质量检测策略包括数据库查询语句表达式，每条规则还包括指标分级信息和规则描述信息。

4.根据权利要求3所述的数据质量评估方法，其特征在于，所述根据所述规则关联配置信息从所述规则集合中获取所述待评估数据信息对应的目标规则，包括：

5.根据权利要求3所述的数据质量评估方法，其特征在于，所述根据所述目标规则对应的质量检测策略，获取待评估数据的每种数据质量指标对应的质量检测结果，包括：

6.根据权利要求5所述的数据质量评估方法，其特征在于，所述数据表信息包括表查询条件，所述根据所述待评估数据信息的数据表信息和所述数据库查询语句，获取每种数据质量指标对应的质量检测结果，包括：

7.根据权利要求1所述的数据质量评估方法，其特征在于，所述质量评估策略包括单项指标评估策略和综合指标评估策略，所述根据所述质量评估策略和所述待评估数据的每种数据质量指标对应的质量检测结果，获取所述待评估数据信息对应的多维度数据质量评估结果，包括：

8.一种数据质量评估装置，其特征在于，所述数据质量评估装置包括：

9.一种电子设备，包括：

10.一种计算机可读存储介质，所述计算机可读存储介质存储一个或多个程序，所述一个或多个程序当被包括多个应用程序的电子设备执行时，使得所述电子设备执行权利要求1～7之任一项所述的数据质量评估方法。