基于自编码神经网络的温室环境因子高维数据压缩方法及装置

本发明涉及温室环境数据处理，具体的说是一种基于自编码神经网络的温室环境因子高维数据压缩方法及装置。

背景技术：

1、在现代智慧农业中，温室环境因子的精确监控与调控对于提升作物生长条件、优化资源利用和提高农业产值至关重要。然而，随着物联网和传感器技术的快速发展，温室环境因子数据的采集量急剧增加，其维度高、数据量大、信息冗余等问题日益凸显。这些高维数据不仅给数据的存储、传输和处理带来了巨大挑战，同时也影响了后续数据分析的准确性和效率。因此，研究有效的高维数据压缩方法成为当前农业信息技术领域的迫切需求。通过数据压缩，可以降低数据的维度和冗余性，提高数据处理的速度和效率，为温室环境的精准调控提供有力支持。

2、高维数据压缩方法的国外与国内研究现状呈现出蓬勃发展的态势，各自具有独特的特点和优势。在国外，高维数据压缩的研究已经形成了较为完整的体系，众多研究机构和学者致力于探索更高效、更精确的数据压缩算法。

3、文献“dos s,giovanis d,et al.grassmannian diffusion maps-baseddimension reduction and classification for high-dimensional data[j].siamjournal on scientific computing,2022,44(2):b250-b274.”提出了一种新的非线性降维技术格拉斯曼扩散映射(gdmaps)。gdmaps由两个阶段组成，第一种是点向线性降维，其中每个高维对象被映射到代表其所在的低维子空间的格拉斯曼流形上。第二阶段是基于多点非线性核的降维，利用扩散映射来识别格拉斯曼流形上点的子空间结构。然而在基于多点非线性核的降维阶段，如果核函数的选择或参数设置不当，可能导致子空间结构的识别不准确，从而进一步降低压缩峰值信噪比。

4、文献“xing s,islam m.utilizing differential characteristics of highdimensional data as amechanism for dimensionality reduction[j].patternrecognition letters,2022,157:1-7.”提出了一种普遍适用的降维策略，通过利用相对于参考数据集的数据的差异特征来分析高维数据，通过相关变换和协方差矩阵的缩放来优化两组数据之间的区分特征。然而，相关变换和协方差矩阵缩放的操作可能受到噪声或异常值的影响，导致区分特征优化结果不够理想。

5、文献“邵政，曾理，等.高维图像压缩的小波方法[j].微机发展，2005,15(2):6-9.”提出一种高维图像压缩的小波方法，并通过四维心脏超声波图像验证了其压缩能力。然而，分解层数过多可能会导致过多的信息损失，而分解层数过少则可能无法充分去除数据中的冗余信息，从而影响压缩效果。

6、文献“袁修贵，张安.ridgelet变换在图像压缩中的应用[j].计算机工程与科学，2005,27(11):34-35.”提出一种基于正交有限ridgelet变换的方法，然而ridgelet变换的基函数选择对压缩效果具有重要影响，如果基函数与信号的特性不匹配，可能会导致信号的重要特征在变换过程中丢失，从而降低压缩后的峰值信噪比。

7、综上所述，现有技术中，对温室环境因子的数据处理方法普遍存在效果不佳的问题。

技术实现思路

1、为了解决现有技术中的不足，本发明提供一种基于自编码神经网络的温室环境因子高维数据压缩方法，能够实现对温室环境因子高维数据的高效压缩，并且具有更高的压缩比和更好的数据质量。

2、为了实现上述目的，本发明采用的具体方案为：

3、基于自编码神经网络的温室环境因子高维数据压缩方法，包括如下步骤：

4、对采集到的温室环境因子数据进行数据填补；

5、基于预先训练好的深度自适应平衡自编码神经网络对数据填补后的温室环境因子数据进行高阶特征提取，得到与温室环境因子数据对应的高阶特征，深度自适应平衡自编码神经网络包多个自适应平衡编码器，自适应平衡编码器包括输入层和自适应平衡层，输入层用于获取温室环境因子数据，自适应平衡层用于对温室环境因子数据进行归一化处理；

6、将高阶特征映射到预先训练好的码书中完成压缩。

7、优选的，对采集到的温室环境因子数据进行数据填补的具体方法包括：

8、按类别对温室环境因子数据进行分组；

9、利用引入随机误差因子的改进回归方程逐一对每一组温室环境因子数据进行填充，改进回归方程为：

10、

11、其中，βn为填补的温室环境因子数据，θ0为初始回归系数，θg为第g个类别的回归系数，g为缺失的温室环境因子数据的数量，λgn为缺失数据的第g个温室环境因子中第n个缺失值，ωn为随机误差因子。

12、优选的，所述深度自适应平衡自编码神经网络包括还隐含层和输出层，其中隐含层用于对经过归一化处理的温室环境因子数据进行特征提取和降维处理得到高阶特征，输出层用于输出高位特征。

13、优选的，深度自适应平衡自编码神经网络的训练方法包括：

14、基于已有的温室环境因子数据构建训练集；

15、构建多个按序排列的基本编码器，并且初始化网络参数，网络参数包括偏置参数和权值参数；

16、将训练集输入到基本编码器的输入层中，对基本编码器进行无监督训练，并且将上一个基本编码器输出层的输出结果输入到下一个基本编码器的输入层中；

17、当基本编码器的训练数量达到预设的阈值时，结束训练得到多个自适应平衡编码器，将所有的自适应平衡编码器按序排列得到深度自编码神经网络。

18、优选的，深度自适应平衡自编码神经网络的训练方法还包括：

19、在经过训练的每个自适应平衡编码器的输入层和隐含层之间添加自适应平衡层，得到深度自适应平衡自编码神经网络；

20、对深度自适应平衡自编码神经网络进行参数微调。

21、优选的，对深度自适应平衡自编码神经网络进行参数微调的具体方法包括：

22、对自适应平衡层中的两个仿射变换参数ψ和ζ的梯度进行求导，并且基于求导结果对ψ和ζ进行更新；

23、对ψ和ζ进行求导的具体方法为：

24、

25、其中，u(κ)为批次的重构误差，ui为第i个自适应平衡编码器中自适应平衡层的正则化数，n为样本数。

26、优选的，自适应平衡层对温室环境因子数据进行归一化处理的具体方法为：

27、

28、其中，xn归一化后的温室环境因子数据，x为经过数据填补后的温室环境因子数据，xmin为x的最小值，xmax为x的最大值。

29、优选的，高阶特征提取的具体方法包括：

30、基于均值期望与标准差期望对温室环境因子中的高维数据实施平衡正则化处理：

31、r[α]＝ra[χa]；

32、

33、其中，r[α]为高维数据的标准差期望，ra为正则化函数，χa为自适应平衡层每个小批量集合的数据均值，γa为自适应平衡层每个小批量集合的数据方差；

34、对处理后的温室环境因子中的高维数据x'实施映射，将其映射到非线性空间得到高阶特征：

35、

36、其中，为提取出的高阶特征，ν为常数，x'为处理后的高维数据。

37、优选的，将高阶特征映射到预先确定好的码书中时，将高阶特征转换为码书中码字的索引代码。

38、本发明进一步提供一种基于自编码神经网络的温室环境因子高维数据压缩装置，用于实现如上述的基于自编码神经网络的温室环境因子高维数据压缩方法，所述装置包括：

39、数据采集模块，用于获取所述温室环境因子；

40、第一数据处理模块，用于基于所述深度自适应平衡自编码神经网络从温室环境因子中提取高阶特征；

41、第二数据处理模块，用于对高阶特征进行压缩。

42、本发明通过构建dsbae模型，实现温室环境因子高阶特征的提取，通过基于矢量量化思想，设计了高维数据的压缩方法，实现温室环境因子的高维数据压缩，降低了数据的维度和冗余性，还具有更高的压缩比和更好的数据质量，保留了关键信息，降低数据维度，为后续的温室环境调控提供了有力支持。