一种基于云计算的动态数据采集与处理方法及系统与流程

本发明涉及动态数据处理领域，具体为一种基于云计算的动态数据采集与处理方法及系统。

背景技术：

1、动态数据是指在程序运行时随着用户输入或其他变化而实时更新的数据，可以实时反映系统状态或用户操作的变化，达到实时监控、实时数据分析等目的。目前的动态数据采集技术是由信源设备中的采样软件组成的，由采样软件采集设备数据后上传到数据处理设备中。

2、在大多数情况下，信源设备与处理设备相距较远，需要通过互联网、无线电等方式进行通信连接，采样数据量较大时传输缓慢，造成数据获取的高延时，不能很好的保证动态数据的实时更新，拥塞的信道也可能会造成较大的通信误差，影响数据质量。

3、此外，动态数据一般涉及较多变量，如不同传感器的反馈数据、测试日志的不同项目、设备工作状态的多个影响参数等，这些变量的更新周期各不相同，传输时需要增加来源标记才能判断变量类型，不仅增加了数据的传输量，也更容易在数据处理过程中出现问题。

技术实现思路

1、本发明的目的在于提供一种基于云计算的动态数据采集与处理方法及系统，以解决上述背景技术中提出的问题。

2、为了解决上述技术问题，本发明提供如下技术方案：一种基于云计算的动态数据采集与处理系统，包括：动态捕捉模块、信号调制模块、云端预载模块、脉冲更新模块和精度反馈模块；

3、所述动态捕捉模块由设置在信源设备中的调用监测芯片和解包程序构成，用于捕捉信源设备对各动态变量的调用结果，对动态变量的调用时间、调用次数和调用时动态变量的大小进行记录，构成调用链接；

4、所述信号调制模块用于根据动态变量的地址构建多维坐标空间，并按时间顺序排列所有指向同一动态变量的调用链接，以相邻链接中动态变量的大小之差为横坐标，调用间隔为纵坐标生成特征向量，将各动态变量对应的特征向量在多维坐标空间中合成，得到动态数据的多维特征向量；

5、所述云端预载模块用于在数据开始跟踪前，由信源设备向云端发送初始数据，在云端重构多维坐标空间，云端以初始数据值为中心，按照正态分布动态参数对应空间平面上生成单位点阵，将初始多维特征向量映射在虚拟坐标空间中，构成虚拟特征向量；

6、所述脉冲更新模块用于在信源设备的数据更新时，在信源设备中拟合更新后的多维特征向量，以数据更新前后多维特征向量的点积为脉冲信号高度，差向量的模长为脉冲宽度，调制脉冲信号发送到云端，云端对脉冲信号进行识别，对虚拟特征向量处理后，得到更新后各动态变量的映射向量，将与映射向量指向终点最接近的单位点作为动态变量采样结果输出；

7、所述精度反馈模块用于计算相邻脉冲信号的邻接信息熵，根据前序脉冲的邻接信息熵预测后序脉冲的数据变化率，将数据变化率与点阵的方差相乘作为新的方差，更新后的动态变量值作为新的均值，在云端重新生成单位点阵。

8、进一步的，所述动态捕捉模块包括：芯片调用单元和变量分析单元；

9、所述芯片调用单元用于检测信源设备对各动态参数的调用情况，记录每次调用时动态参数的大小；

10、所述变量分析单元用于在数据库中生成各动态参数的调用链接，其中调用链接记录的数据包括：对动态变量的调用时间、调用次数和调用时动态变量的大小。

11、进一步的，所述信号调制模块包括：虚拟空间单元、向量映射单元和脉冲发生单元；

12、所述虚拟空间单元用于在设备内存中划分虚拟运算空间，以每一种动态参数作为空间的一个维度，构建多维坐标空间；

13、所述向量映射单元用于分别以动态变量的大小和采样间隔作为向量的横纵坐标，生成特征向量；

14、所述脉冲发生单元用于将全部特征向量在多维坐标空间中合成，得到多维特征向量，并在信源设备上设置信号发生装置。

15、进一步的，所述云端预载模块包括：点阵堆积单元和云端计算单元；

16、所述点阵堆积单元用于接收信源设备当前的动态变量大小，以动态变量为均值，在平面上生成单位点阵；

17、所述云端计算单元用于划分云端运算资源，利用运算资源进行信号识别、虚拟空间构建以及向量分解运算，在云端输出运算结果。

18、进一步的，所述脉冲更新模块包括：脉冲解耦单元和变量输出单元；

19、所述脉冲解耦单元用于获取信源识别发来的脉冲信号，检测脉冲信号的高度和宽度；

20、所述变量输出单元用于按照脉冲信号对应的信息计算更新前后的动态参数，将更新后的各动态参数输出。

21、进一步的，所述精度反馈模块包括：资源记录单元、邻接信息单元和密度反馈单元；

22、所述资源记录单元用于记录脉冲信号的解耦合结果，按时间顺序记录在云数据库中；

23、所述邻接信息单元用于计算数据库中相邻脉冲信号的邻接信息熵，将邻接信息熵的变化率与预设系数相乘，得到数据变化率；

24、所述密度反馈单元用于以更新后的动态变量为均值，数据变化率为方差重构单位点阵分布函数，形成新的单位点阵。

25、一种基于云计算的动态数据采集与处理方法，包括以下步骤：

26、步骤s1.在信源设备中设置监管芯片，实时获取信源设备的调用地址，由各类动态参数的大小生成参数坐标轴，由全部参数坐标轴与时间轴构建多维坐标系；

27、步骤s2.以动态参数值为横坐标，当前时间为纵坐标，在参数轴和时间轴平面上生成特征向量，将当前各地址动态参数的特征向量映射到多维坐标系中求和，得到多维特征向量；

28、步骤s3.监管芯片把多维特征向量上传到云端，云端构建与多维坐标系相同的坐标空间，在坐标空间中获取多维特征向量的终点坐标，以向量模长为均值，预设参数为方差，在终点坐标周围生成正态分布的单位点阵；

29、步骤s4.信源设备开启数据跟踪后，每当动态参数被调用时，信源设备更新多维特征向量，以更新前后多维特征向量的点积为脉冲高度，差向量的模长为脉冲宽度，调制脉冲序列发送到云端，云端解析脉冲信号，按照向量还原方法对云端当前特征向量反运算，得到更新后的多维特征向量；

30、步骤s5.从单位点阵中选取与更新后多维特征向量的终点坐标最接近的单位点，单位点在空间各维度中的映射值输出为更新后的动态参数值，并更新单位点阵分布的均值和方差，以终点坐标为中心重新生成单位点阵。

31、进一步的，步骤s1包括：

32、步骤s11.在信源设备内安装监管芯片，所述监管芯片用于抓取信源设备的数据调用指针，检测信源设备对各动态参数的调用地址，并在调用地址处读取地址对应动态参数值；

33、步骤s12.在数据追踪前，监管芯片访问信源设备内所有动态参数地址，得到动态参数的初始值，记为{w1,w2,…,wn}，其中n代表动态参数地址的总数量，wn代表第n个地址中动态参数的初始值；

34、步骤s13.以动态参数初始值为零点，数值递增方向为正方向构建参数坐标轴，以当前时刻为零点，时间流动方向为正方向构建时间轴，由所有地址内动态参数的参数坐标轴以及时间轴构建n+1维坐标系，记为多维坐标系。

35、进一步的，步骤s2包括：

36、步骤s21.对于每一个动态参数，在参数坐标轴和时间轴构成平面上生成特征向量y，所述y=(c,t)，其中c为动态参数值，t为当前时间；

37、步骤s22.将各动态参数对应的特征向量映射到多维坐标系中，全部映射向量相加得到多维特征向量ys，所述ys=y1+y2+…+yn，其中y1、y2、…yn分别代表第1、2、…n个动态参数对应特征向量在多维坐标系中的映射向量。

38、进一步的，步骤s3包括：

39、步骤s31.在云端构建与多维坐标系维度相同的虚拟空间，所述虚拟空间包括可视化空间和封闭空间；

40、步骤s32.信源设备向云端发送多维特征向量ys的坐标表示，云端获取向量ys的坐标后，将向量ys投射到虚拟空间中，对向量ys在虚拟空间的各维度进行映射运算，得到各动态参数值和更新时间，把得到的全部动态参数值信和更新时间输出到信宿设备中；

41、步骤s33.以向量ys的终点坐标为中心生成m个单位点，其中m为预设值，代表数据精度，各单位点与终点坐标的距离和角度满足单位点阵分布方程：

42、；

43、其中，ai代表第i个单位点与终点坐标的距离，θi代表第i个单位点与终点坐标的连线相对于向量ys指向方向的角度，|ys|代表向量ys的模长，i为单位点序号，e为自然对数的底数；

44、步骤s34.云端将得到的所有单位点标注在虚拟空间中，得到单位点阵。

45、进一步的，步骤s4包括：

46、步骤s41.信源设备中的动态参数发生变化时，监管芯片获取各动态参数的变化量和变化时刻，以更新后的动态参数重新确定特征向量y，根据预设周期内所有动态参数变化后的特征向量重新执行步骤s22，得到更新后的多维特征向量yt；

47、步骤s42.信源设备生成脉冲信号，脉冲信号的高度h满足h=ys·yt，宽度e满足e=|ys-yt|，将脉冲信号发送到云端；

48、步骤s43.云端对脉冲信号进行检波，得到脉冲信号的高度和宽度，按照向量还原方法对云端当前特征向量反运算，得到更新后的多维特征向量，所述向量还原方法如下：列出第一方程组

49、；

50、其中，x1、x2、…xn分别代表向量yt的第1、2、…n个坐标值，r1、r2、…rn分别代表向量ys的第1、2、…n个坐标值；

51、云端遍历x1、x2、…xn的数据值，使x1、x2、…xn满足第一方程组，输出云端第一个计算出的x1、x2、…xn的值，作为更新后向量yt的坐标输出。

52、进一步的，步骤s5包括：

53、步骤s51.获取单位点阵中与点(x1,x2,…,xn)距离最近的单位点作为目标点，以各动态参数的参数坐标轴与时间轴组成的平面为映射平面，将目标点映射到云端虚拟空间的各映射平面中，得到映射坐标，映射坐标的横坐标值输出为动态参数的更新值，纵坐标值输出为动态参数的更新时间；

54、步骤s52.计算数据库中相邻脉冲信号的邻接信息熵，将邻接信息熵的变化率与预设系数相乘，得到数据变化率，以向量yt的模长为均值，数据变化率为方差重构单位点阵分布方程，更新单位点阵的分布。

55、与现有技术相比，本发明所达到的有益效果是：

56、本发明通过在信源设备中设置调用捕捉芯片，捕捉各调用信息对应的动态变量，根据动态变量生成特征向量，并构建多维映射空间，将动态转换为向量形式，建立前后数据的连续，有助于后序对数据进行更新，提高信号采样的实时性和响应速度。

57、本发明根据特征向量变化前后的特征向量变化生成脉冲信号，由云端生成单位点阵分析脉冲信号，对脉冲信号处理得到的向量校准后，反馈出动态数据的变化类型和变化量，使云端计算资源通过快速的连接实时处理数据，确保动态数据的及时更新与反馈，提高动态数据处理过程中的时效性和可靠性，减少信道资源开销。

58、本发明通过计算相邻脉冲信号的邻接信息熵，根据前序脉冲的邻接信息熵预测后序脉冲的数据变化率，从而调整点阵的生成密度，可以提前对动态数据的变化进行预测，根据预测结果调节采样精度，使采样系统适应不同数据类型，根据数据的特点变化模式，实现数据的智能化处理。