一种基于大数据的环境治理监测数据传输验证方法与流程

本发明涉及环境监测，特别是涉及一种基于大数据的环境治理监测数据传输验证方法。

背景技术：

1、随着环境问题的日益突出，环境治理监测数据的准确性和可靠性变得至关重要。然而，在数据传输过程中，由于网络故障、恶意攻击等原因，数据可能会出现丢失、篡改等问题，严重影响环境治理决策的科学性和有效性。目前，现有的数据传输验证方法存在效率低下、准确性不高、安全性不足等问题，难以满足环境治理监测数据传输的严格要求。

2、由此可见，如何能创设一种新的环境治理监测数据传输验证方法，成为当前业界急需改进的目标。

技术实现思路

1、有鉴于此，本公开实施例提供一种基于大数据的环境治理监测数据传输验证方法，至少部分解决现有技术中存在的问题。

2、第一方面，本公开实施例提供了一种基于大数据的环境治理监测数据传输验证方法，所述方法包括以下步骤：

3、将检测到的环境监测数据进行预处理；

4、将预处理后的所述环境监测数据加密处理后传输至数据中心；

5、所述数据中心基于数据验证模型对接收到的所述环境监测数据进行传输验证；其中，当验证通过时，认为数据传输验证成功，并将数据存储至分布式数据库；

6、当验证失败时，触发告警机制，并对错误数据进行修复和矫正。

7、根据本公开实施例的一种具体实现方式，所述将检测到的环境监测数据进行预处理，包括：

8、将所述环境监测数据划分为多个数据子集；

9、对所述数据子集并行处理，分别进行去噪、异常值筛选以及对缺失值填补操作，同时依据预设的重要性权重对不同类型的数据进行分类标记；

10、其中，所述环境监测数据包括大气环境数据、水环境数据、土壤环境数据、噪声环境数据、生态环境数据、辐射环境数据和污染环境数据。

11、根据本公开实施例的一种具体实现方式，所述环境监测数据，还包括：

12、采集设备标识符、地理位置坐标和采集时间。

13、根据本公开实施例的一种具体实现方式，所述加密处理，包括：

14、基于伪随机数生成算法动态生成第一密钥；

15、基于对称加密算法和所述第一密钥分别对数据子集进行加密，得到第一密文；

16、基于数据中心生成的公钥对第一密文和第一密钥进行加密，得到第二密文。

17、根据本公开实施例的一种具体实现方式，所述方法还包括解密处理，具体包括以下步骤：

18、基于数据中心生成的私钥对第二密文进行解密，得到第一密文和第一密钥；

19、基于对称加密算法和所述第一密钥对第一密文进行解密，得到数据子集。

20、根据本公开实施例的一种具体实现方式，所述数据中心基于数据验证模型对接收到的所述环境监测数据进行传输验证，包括：

21、将接收到的所述环境监测数据依据预设规则划分为多个数据子集；

22、将所述数据子集分配至对应的验证节点；

23、基于所述验证节点中的数据验证模型对所述数据子集进行并行验证；其中，所述数据验证模型为预训练的多层卷积神经网络。

24、根据本公开实施例的一种具体实现方式，验证内容包括对所述数据子集的准确性、完整性、合理性和逻辑一致性进行验证，具体包括以下步骤：

25、当数据子集的验证结果处于置信区间内时，初步验证通过；当数据子集的验证结果超出置信区间时，对所述数据子集进行二次验证；其中，当二次验证的验证结果仍超出置信区间时，验证失败。

26、根据本公开实施例的一种具体实现方式，训练多层卷积神经网络，包括以下步骤：

27、收集历史监测数据样本；

28、对所述历史监测数据样本数据进行处理，所述处理包括清洗、处理缺失值、异常值和噪声；

29、对所述处理后的历史监测数据进行归一化；

30、基于归一化的历史监测数据对多层卷积神经网络进行训练。

31、根据本公开实施例的一种具体实现方式，所述基于归一化的历史监测数据对多层卷积神经网络进行训练，包括：

32、将所述归一化的历史监测数据分为训练集、验证集和测试集；

33、基于所述训练集以预设的学习率对多层卷积神经网络进行训练；

34、基于验证集周期性地评估多层卷积神经网络的性能，当多层卷积神经网络在验证集上的性能在预设数量连续的训练周期内没有提升时，提前停止训练；

35、使用测试集数据评估训练好的多层卷积神经网络的准确性和泛化能力；其中，当多层卷积神经网络的准确性和泛化能力不满足要求时，重新训练和评估多层卷积神经网络。

36、根据本公开实施例的一种具体实现方式，所述对错误数据进行修复和矫正，包括：

37、通过回溯数据传输路径、重新采集相关数据和/或采用数据修复算法对错误数据进行修复和矫正。

38、本公开实施例中的基于大数据的环境治理监测数据传输验证方法，采用数据验证模型，能够更准确地捕捉数据的本质特征，提高数据验证的准确性；双重加密机制极大增强了数据传输的安全性，有效防止数据被窃取和篡改；通过特征标识对比进行数据验证，提高了验证效率，能够快速发现数据传输中的异常；完善的异常处理机制确保了在数据传输出现问题时能够及时采取措施，保证环境治理监测数据的可靠性。

1.一种基于大数据的环境治理监测数据传输验证方法，其特征在于，所述方法包括以下步骤：

2.根据权利要求1所述的基于大数据的环境治理监测数据传输验证方法，其特征在于，所述将检测到的环境监测数据进行预处理，包括：

3.根据权利要求2所述的基于大数据的环境治理监测数据传输验证方法，其特征在于，所述环境监测数据，还包括：

4.根据权利要求2所述的基于大数据的环境治理监测数据传输验证方法，其特征在于，所述加密处理，包括：

5.根据权利要求4所述的基于大数据的环境治理监测数据传输验证方法，其特征在于，所述方法还包括解密处理，具体包括以下步骤：

6.根据权利要求1所述的基于大数据的环境治理监测数据传输验证方法，其特征在于，所述数据中心基于数据验证模型对接收到的所述环境监测数据进行传输验证，包括：

7.根据权利要求6所述的基于大数据的环境治理监测数据传输验证方法，其特征在于，验证内容包括对所述数据子集的准确性、完整性、合理性和逻辑一致性进行验证，具体包括以下步骤：

8.根据权利要求6所述的基于大数据的环境治理监测数据传输验证方法，其特征在于，训练多层卷积神经网络，包括以下步骤：

9.根据权利要求8所述的基于大数据的环境治理监测数据传输验证方法，其特征在于，所述基于归一化的历史监测数据对多层卷积神经网络进行训练，包括：

10.根据权利要求1所述的基于大数据的环境治理监测数据传输验证方法，其特征在于，所述对错误数据进行修复和矫正，包括：