一种数据写入缓存的方法、装置、电子设备和存储介质与流程

本申请涉及数据存储，尤其涉及一种数据写入缓存的方法、装置、电子设备和存储介质。

背景技术：

1、在数据库层面，对于每一次的读或写操作，计算机都需要对磁盘进行io(输入/输出)操作，这意味着qps(query per second，每秒查询率)过高，这会带来一系列的技术问题：1.io负载过高，严重时会使得计算机的响应速度变慢，甚至出现无法工作的情况。2.数据库连接资源耗尽：同一时间内需要建立的数据库连接数将变多，超过了数据库能够接受的连接数范围，可能导致新的请求无法被处理，甚至导致数据库的崩溃。3.cpu使用过高：大规模的读写操作会大量占用cpu资源，导致cpu过载，高cpu使用率会影响系统的稳定性，可能会导致服务器崩溃。4.数据库锁竞争：在高并发的读写操作中，数据库锁定竞争问题可能会变得严重，进一步降低系统性能。

2、也就是说，qps过高会给系统带来很大的压力，影响系统的性能表现甚至导致系统出现问题。

技术实现思路

1、为了解决上述技术问题或者至少部分地解决上述技术问题，本申请提供了一种数据写入缓存的方法、装置、电子设备和存储介质。

2、第一方面，本申请提供了一种据写入缓存的方法，所述方法包括：

3、在服务器的每秒查询率高于设定查询率的情况下，通过输入元素对应的哈希值中最长连续前导零的数量预估数据集中唯一数据的数量，所述输入元素包括多个输入数据，所述唯一数据为不重复的输入数据；

4、根据所述唯一数据的数量和缓存空间的大小，确定所述缓存空间是否充足；

5、若所述缓存空间不充足，则在缓存内采用稀疏矩阵存储所述哈希值；

6、若所述缓存空间充足，则在所述缓存内采用稠密矩阵存储所述哈希值。

7、可选地，通过输入元素对应的哈希值中最长连续前导零的数量预估数据集中唯一数据的数量包括：

8、通过哈希函数计算单个输入元素的哈希值，其中，所述哈希值为二进制串；

9、根据所述二进制串中最长连续前导零的数量count，计算整体输入元素的期望值；

10、对所述期望值取对数，预估数据集中唯一数据的数量。

11、可选地，根据所述二进制串中最长连续前导零的数量count，计算整体输入元素的期望值包括：

12、根据所述二进制串中最长连续前导零的数量count，计算所述二进制串对应的单个输入元素的推算值，其中，所述推算值为2^count；

13、根据每个所述单个输入元素的推算值的平均值，确定所述整体输入元素的期望值。

14、可选地，该方法还包括：

15、通过哈希函数计算单个输入元素的哈希值之前，所述方法还包括：将原始数据进行分桶清洗，得到每个桶对应的至少一个单个输入元素；

16、对所述期望值取对数，预估数据集中唯一数据的数量包括：对每个桶对应的期望值取对数，得到每个桶对应的唯一数据的数量；采用调和平均数对每个桶对应的唯一数据的数量进行处理，得到整个数据集中唯一数据的数量。

17、可选地，确定所述缓存空间是否充足之后，所述方法还包括：

18、在哈希值写入缓存的过程中，若所述缓存空间由不充足变为充足，则所述哈希值的存储方式由稀疏矩阵转换为稠密矩阵。

19、可选地，确定所述缓存空间是否充足之后，所述方法还包括：

20、在哈希值写入缓存的过程中，若所述缓存空间由充足变为不充足，则所述哈希值的存储方式由稠密矩阵转换为稀疏矩阵。

21、可选地，通过输入元素对应的哈希值中最长连续前导零的数量预估数据集中唯一数据的数量之后，所述方法还包括：

22、以所述哈希值和时间锚点为key，将多个哈希值批量写入redis缓存；

23、对所述redis缓存中的哈希值进行处理后，按照所述时间锚点将对应的哈希值异步写入tidb数据库中。

24、第二方面，本申请提供了一种数据写入缓存的装置，所述装置包括：

25、计算模块，用于在服务器的每秒查询率高于设定查询率的情况下，通过输入元素对应的哈希值中最长连续前导零的数量预估数据集中唯一数据的数量，所述输入元素包括多个输入数据，所述唯一数据为不重复的输入数据；

26、确定模块，用于根据所述唯一数据的数量和缓存空间的大小，确定所述缓存空间是否充足；

27、第一存储模块，用于若所述缓存空间不充足，则在缓存内采用稀疏矩阵存储所述哈希值；

28、第二存储模块，用于若所述缓存空间充足，则在所述缓存内采用稠密矩阵存储所述哈希值。

29、第三方面，提供了一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；

30、存储器，用于存放计算机程序；

31、处理器，用于执行存储器上所存放的程序时，实现任一所述的数据写入缓存的方法步骤。

32、第四方面，提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现任一所述的数据写入缓存的方法步骤。

33、本申请实施例提供的上述技术方案与现有技术相比具有如下优点：

34、本申请实施例提供的该方法，在qps量比较高时，采用一个哈希值代替多个输入数据写入缓存，即将一条条的数据变成模块化的数据，减少多个输入数据在缓存中的占据量，缓存空间占据量小，另外，根据唯一数据的数量确定缓存空间是否充足，从而采用相应的存储结构进行数据存储，具体是在缓存空间充足时采用稠密矩阵存储数据，在缓存空间紧张时采用稀疏矩阵存储数据，从而在减小缓存空间占据量的同时能够存入尽量多的数据，有效减轻服务器的负载，提升系统的稳定性。

1.一种数据写入缓存的方法，其特征在于，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，通过输入元素对应的哈希值中最长连续前导零的数量预估数据集中唯一数据的数量包括：

3.根据权利要求2所述的方法，其特征在于，根据所述二进制串中最长连续前导零的数量count，计算整体输入元素的期望值包括：

4.根据权利要求3所述的方法，其特征在于，

5.根据权利要求1所述的方法，其特征在于，确定所述缓存空间是否充足之后，所述方法还包括：

6.根据权利要求1所述的方法，其特征在于，确定所述缓存空间是否充足之后，所述方法还包括：

7.根据权利要求1所述的方法，其特征在于，通过输入元素对应的哈希值中最长连续前导零的数量预估数据集中唯一数据的数量之后，所述方法还包括：

8.一种数据写入缓存的装置，其特征在于，所述装置包括：

9.一种电子设备，其特征在于，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1-7任一所述的方法步骤。