一种基于InfluxDB的高基数内存优化方法及改进InfluxDB

1.一种基于influxdb的高基数内存优化方法，其特征在于，包括：通过对compaction流程优化实现在高基数查询场景下减少必须驻留在内存中的时序数据量，并且基于时间线间的数据分布的偏斜性对数据块定位流程、迭代器读取数据的流程进行优化延迟非必要数据块的读取与解压。

2.根据权利要求1所述的一种基于influxdb的高基数内存优化方法，其特征在于，所述compaction流程优化包括：根据某一时刻写入缓存的时间线基数动态地控制influxdb落盘时的每条时间线对应的数据块大小。

3.根据权利要求2所述的一种基于influxdb的高基数内存优化方法，其特征在于，为influxdb中cache的落盘时机限定一个占用内存大小的阈值m，一旦cache中的各时间线的数据量之和达到这一阈值，便触发一次强制落盘。

4.根据权利要求1所述的一种基于influxdb的高基数内存优化方法，其特征在于，所述compaction流程优化还包括：在高基数场景下，在数据库对tsm文件进行compaction的过程中，取消tsm树在高层的compaction仅保留低层compaction。

5.根据权利要求1所述的一种基于influxdb的高基数内存优化方法，其特征在于，对数据块定位流程优化包括：在查询初始化阶段，时间线迭代器不再获取所有与待查时间范围重叠的数据块信息，而仅获取包含查询起始时刻时戳的数据块信息。

6.根据权利要求5所述的一种基于influxdb的高基数内存优化方法，其特征在于，将数据块分阶段读取，用于同步时间范围有重叠的数据块的读取进度；利用tsm文件中数据块有序的特性，读取包含当前时间范围的时间起点curts的数据块信息后，再读取后一个数据块的信息，将后一个数据块的起始时间戳，作为当前时间范围的时间终点nextts；在当前时间范围内的时序数据读取完毕后，需要启动新一轮的数据块定位流程，此时迭代器将原时间范围的时间终点nextts的值作为当前新时间范围的时间起点curts。

7.根据权利要求1所述的一种基于influxdb的高基数内存优化方法，其特征在于，对迭代器读取数据的流程优化包括：在上层迭代器完成构建后，发起一次预读，所述预读为比较迭代器树底层各时间线迭代器最近已读取或即将读取的时间戳，选择各迭代器间的最早时戳作为选择结果，在预读过程中，将选择结果送至底层时间线迭代器，以指导底层时间线迭代器触发i/o操作预取数据的时机。

8.根据权利要求7所述的一种基于influxdb的高基数内存优化方法，其特征在于，预读操作由merger迭代器发起，用于在查询准备阶段，嗅探待排序的时间线迭代器中的最早时戳值；merger迭代器以各时间线迭代器作为底层子迭代器输入，首先比较各子迭代器返回的时戳大小，保留最早的时戳，该时戳对应的数据条目作为merger迭代器的当前返回值；随后在调用merger迭代器的next方法时，继而级联调用子迭代器即时间线迭代器的next方法，获取下一条数据；调用子迭代器的next方法时附带merger迭代器的当前时戳信息；当底层迭代器的缓冲区中没有数据时，若发现merger迭代器传入的当前时戳与底层迭代器当前时间范围的起始时戳curts差距大于一个数据块的时间宽度时，则不会发起i/o操作来读取数据块；若merger迭代器传入的时戳与底层迭代器持有的当前时间范围的起始时戳curts的差距小于一个数据块的时间宽度，则该底层迭代器便发起i/o操作预取数据，预取回的数据块暂时不进行解压缩，当且仅当需要访问时，才对数据块进行解压。

9.一种改进influxdb，其特征在于，应用权利要求1-8任一项所述的一种基于influxdb的高基数内存优化方法，在数据块大小方面采用根据各个时刻的时间线基数大小动态调整数据块大小的方法进行优化，在数据块预取策略方面采用延迟当前查询阶段非必要数据的读取与解压进行优化，降低influxdb在高基数场景下的内存消耗。