多源异构数据质量提升方法及其系统

本发明涉及数据处理，具体为多源异构数据质量提升方法及其系统。

背景技术：

1、随着信息技术、物联网、云计算和大数据技术的飞速发展，数据的产生速度、种类和规模都达到了前所未有的高度。数据不仅来源于传统的数据库和信息系统，还广泛分布于社交媒体、移动应用、传感器网络、视频监控等多个领域和渠道。这种数据的爆炸性增长和多样性导致了多源异构数据的出现，多源异构数据中存在大量的不确定性、冗余和噪声等问题，使得数据在后续的分析和挖掘中难以发挥应有的价值。

2、例如公告号为：cn116703228b的发明专利，为一种大数据质量评价方法及系统，方法包括，构建细粒度的质量评价指标模型，构建常用质量约束规则描述模板，构建基本质量评价对象模型，构建基本质量评价对象指标模型，构建多任务的指标计算机制，构建多策略的任务调度执行机制，构建指标计算任务执行结果维度模型，构建数据质量报告自动聚合机制。

3、例如公告号为：cn114782027b的发明专利，为一种柔性产线的多源异构视频数据交互处理方法及系统，涉及数据处理领域，其中，方法包括：确定产线供应链信息；获得供应链节点，划分供应链数据阶段；针对各供应链数据阶段设置容器引擎；对各供应链数据阶段进行多源数据采集；获得数据交互请求，确定数据要求、交互要求；根据所述数据要求确定匹配供应链数据，并根据其确定所述供应链数据阶段对应的所述容器引擎；根据所述交互要求对所述容器引擎进行数据格式标准化预处理，并按照所述交互要求对预处理后的产线数据进行交互。

4、但本技术在实现本技术实施例中发明技术方案的过程中，发现上述技术至少存在如下技术问题：目前的数据质量提升方法往往缺乏灵活性和可扩展性，无法适应不断变化的数据源和数据需求。

技术实现思路

1、针对现有技术的不足，本发明提供了多源异构数据质量提升方法及其系统，能够有效解决上述背景技术中涉及的问题。

2、为实现以上目的，本发明通过以下技术方案予以实现：本发明第一方面提供了多源异构数据质量提升方法，包括：获取目标区域和目标区域的各相关区域，采集地理信息数据，建立关联区域筛选模型，分析得到各相关区域的相关程度评估值，根据各相关区域的相关程度评估值筛选得到各关联区域。

3、采集目标区域和各关联区域的气候遥感数据，并提取各关联区域的相关程度评估值，综合分析得到目标区域空间动态评估值。

4、采集气候条件数据，建立气候变化速率模型，得到气候变化速率评估值，根据气候变化速率评估值和目标区域空间动态评估值，综合分析得到目标区域时间动态评估值，并根据目标区域时间动态评估值匹配得到目标区域的气候遥感数据更新频率。

5、作为进一步的方法，所述地理信息数据，具体包括：目标区域与各相关区域的相对距离、目标区域和各相关区域的平均海拔高度以及目标区域和各相关区域的各土地利用类型占比。

6、作为进一步的方法，所述分析得到各相关区域的相关程度评估值，具体分析过程为：根据目标区域与各相关区域的相对距离、平均海拔高度和各土地利用类型占比，从系统数据库提取得到临界距离、允许偏差平均海拔高度和允许偏差土地利用类型占比，建立关联区域筛选模型，得到各相关区域的相关程度评估值，所述各相关区域的相关程度评估值用于量化评估各相关区域与目标区域之间的相关程度，为筛选关联区域提供依据。

7、作为进一步的方法，所述筛选得到各关联区域，具体筛选过程为：从系统数据库提取得到区域相关程度评估阈值，将各相关区域的相关程度评估值与区域相关程度评估阈值进行比对，若某相关区域的相关程度评估值高于或等于区域相关程度评估阈值，则将该相关区域标记为关联区域，若某相关区域的相关程度评估值低于区域相关程度评估阈值，则不对该相关区域进行标记，统计得到各关联区域。

8、作为进一步的方法，所述目标区域和各关联区域的气候遥感数据，具体包括：预设监测周期内目标区域和各关联区域的降水量、预设监测周期内目标区域和各关联区域的平均温度以及预设监测周期内目标区域和各关联区域的地表蒸发量。

9、作为进一步的方法，所述综合分析得到目标区域空间动态评估值，具体分析过程为：从系统数据库提取得到允许偏差降雨量、允许偏差平均温度和允许偏差地表蒸发量，并根据目标区域和各关联区域的气候遥感数据以及各关联区域的相关程度评估值，综合分析得到目标区域空间动态评估值，所述目标区域空间动态评估值用于量化评估各关联区域的气候遥感数据对目标地区的气候遥感数据的综合影响程度。

10、作为进一步的方法，所述建立气候变化速率模型，得到气候变化速率评估值，具体过程为：所述气候条件数据，包括：各历史监测时间段的目标区域和各关联区域的平均温度和各历史监测时间段的目标区域和各关联区域的地表蒸发量，根据气候条件数据建立气候变化速率模型，得到气候变化速率评估值。

11、作为进一步的方法，所述综合分析得到目标区域时间动态评估值，具体分析过程为：根据气候变化速率评估值和目标区域空间动态评估值，综合分析得到目标区域时间动态评估值，所述目标区域时间动态评估值用于量化评估各关联区域的历史气候遥感数据对目标地区的气候遥感数据的影响程度。

12、作为进一步的方法，所述匹配得到目标区域的气候遥感数据更新频率,具体匹配过程为：从系统数据库中提取得到目标区域时间动态评估值区间与目标区域的气候遥感数据更新频率之间的映射集，输入目标区域时间动态评估值，匹配得到目标区域时间动态评估值所处区间，通过映射集得到目标区域的气候遥感数据更新频率。

13、本发明第二方面提供了多源异构数据质量提升系统，包括：区域相关程度评估模块、区域空间动态评估模块、数据更新频率评估模块和系统数据库。

14、区域相关程度评估模块，用于获取目标区域和目标区域的各相关区域，采集地理信息数据，建立关联区域筛选模型，分析得到各相关区域的相关程度评估值，根据各相关区域的相关程度评估值筛选得到各关联区域。

15、区域空间动态评估模块，用于采集目标区域和各关联区域的气候遥感数据，并提取各关联区域的相关程度评估值，综合分析得到目标区域空间动态评估值。

16、数据更新频率评估模块，用于采集气候条件数据，建立气候变化速率模型，得到气候变化速率评估值，根据气候变化速率评估值和目标区域空间动态评估值，综合分析得到目标区域时间动态评估值，并根据目标区域时间动态评估值匹配得到目标区域的气候遥感数据更新频率。

17、相对于现有技术，本发明的实施例至少具有如下优点或有益效果：

18、（1）本发明通过提供多源异构数据质量提升方法及系统，综合分析了目标区域和关联区域数据的变化趋势，从而预测目标地区数据的变化情况。根据预测结果，可以动态调整目标地区数据的更新频率，确保数据的及时性和有效性。合理的更新频率有助于优化数据收集和处理资源的使用，提高资源利用效率。

19、（2）本发明通过分析关联区域的长时间序列气候信息，可以了解目标地区气候的长期变化趋势，增强数据的一致性和连贯性。关联区域的数据可以反映不同区域的气候特征，通过对比不同区域的数据，可以了解目标地区气候的空间分布特征，为数据插值和空间分析提供基础。

20、（3）本发明通过分析区域间的关联性，可以筛选出与目标区域具有显著相关性的关联区域。这些关联区域的数据与目标区域的数据之间存在一定的联系或规律，从而提高了数据的相关性。在筛选关联区域的过程中，通过进一步验证和校准数据，还可以确保数据的准确性和一致性。

21、（4）本发明通过多源数据的对比和验证，可以减少数据误差和偏差，提高数据的整体质量。筛选得到的关联区域数据可以填补目标区域数据的空白或缺失，从而增强数据的完整性。完整的数据集有助于更全面地了解目标区域的情况，为决策提供更全面的支持，提高数据分析的效率。