一种基于关系型数据库的数据处理系统及方法与流程

本发明涉及数据库数据处理，尤其涉及一种基于关系型数据库的数据处理系统及方法。

背景技术：

1、在信息技术飞速发展的今天，数据已成为企业和社会运行的核心资产。随着大数据时代的到来，各行各业对于数据的收集、存储、处理和分析需求日益增长，尤其是在金融、医疗、电商、物流等领域，高效、准确地处理海量数据对于业务决策、服务优化及创新能力的提升至关重要。关系型数据库，作为数据存储与管理的主流技术之一，凭借其强大的数据一致性保障、事务处理能力和易于理解的数据模型（如表格结构），在众多应用场景中发挥着不可替代的作用。

2、但是，随着数据量的爆炸式增长，现有的关系型数据库的数据处理方法在面对庞大的数据请求量下难以高效响应，响应效率低。

技术实现思路

1、本发明提供一种基于关系型数据库的数据处理系统及方法，其主要目的在于解决现有的关系型数据库的数据处理方法在面对庞大的数据请求量响应效率低的问题。

2、为实现上述目的，本发明提供的一种基于关系型数据库的数据处理系统，其特征在于，所述系统包括数据计算模块、第一判断模块、数据获取模块以及第二判断模块，其中：

3、所述数据计算模块，用于接收到预设客户端的数据请求指令后，根据所述数据请求指令确认目标请求数据信息，根据所述目标请求数据信息计算数据请求期望时间；

4、所述第一判断模块，用于判断所述数据请求期望时间是否大于预设的时间阈值，若所述数据请求期望时间小于或等于预设的时间阈值，则根据所述数据请求指令从数据库中获取第一目标数据，将所述第一目标数据发送至预设客户端，若所述数据请求期望时间大于所述时间阈值，则将所述数据请求指令转化为并行请求指令集合；

5、所述数据获取模块，用于创建多线程，利用多线程根据所述并行请求指令集合从预先缓存的热门数据中获取第二目标数据；

6、所述第二判断模块，用于判断所述并行请求指令集合中所有请求指令是否均已执行成功，若所述并行请求指令集合中所有请求指令均已执行成功，则将所述第二目标数据发送至预设客户端，若所述并行请求指令集合中存在未执行成功的请求指令，则获取所述并行请求指令集合中所有未执行成功的请求指令，得到执行失败指令集合，利用多线程根据所述执行失败指令集合从数据库获取剩余目标数据，将所述第二目标数据与所述剩余目标数据融合得到第三目标数据，将所述第三目标数据发送至预设客户端。

7、可选地，所述数据计算模块在根据所述数据请求指令确认目标请求数据信息时，具体用于：

8、根据所述数据请求指令确认请求数据所处的数据表信息；

9、根据所述数据请求指令确认请求数据在每个数据表中的行信息；

10、根据所述数据请求指令确认请求数据在每个数据表中的列信息；

11、根据所述数据请求指令确认请求数据在每个数据表中的数据项信息；

12、汇总所述数据表信息、行信息、列信息以及数据项信息，得到目标请求数据信息。

13、可选地，所述数据计算模块在根据所述目标请求数据信息计算数据请求期望时间时，具体用于：

14、利用如下公式计算所述数据请求期望时间：；

15、其中，为所述数据请求期望时间，表示所述目标请求数据信息中所包含的数据表数量，表示所述目标请求数据信息中第个数据表中请求数据所包含的行数量，表示所述目标请求数据信息中第个数据表中请求数据所包含的列数量，表示所述目标请求数据信息中第个数据表中请求数据所包含的数据项数量，为预先确定的调整系数，为预先确定的响应时间偏置项，为预先确定的处理性能参数。

16、可选地，所述第一判断模块在将所述数据请求指令转化为并行请求指令集合时，具体用于包括：

17、识别所述数据请求指令中的数据表对象；

18、识别所述数据请求指令中的连接语句；

19、识别所述数据请求指令中的查询条件语句；

20、根据所述数据表对象，所述连接语句，所述查询条件语句将所述数据请求指令分解后重新组合为多个查询单一数据表的查询语句，得到并行请求指令集合。

21、可选地，所述数据获取模块在利用多线程根据所述并行请求指令集合从预先缓存的热门数据中获取第二目标数据时，具体用于：

22、以所述热门数据为查询范围并发执行所述并行请求指令中的查询语句，得到查询语句执行结果；

23、获取每一个查询语句的执行结果中所包含的查询反馈以及查询结果数据；

24、汇总每一个执行结果中所包含的查询反馈，得到查询反馈集合；

25、汇总每一个执行结果中所包含的查询结果数据，得到第二目标数据。

26、可选地，所述数据获取模块在利用多线程根据所述并行请求指令集合从预先缓存的热门数据中获取第二目标数据之前，还用于：

27、获取数据库中每个数据表的近期访问次数；

28、根据所述近期访问次数从大到小的顺序对数据库中所有数据表进行排序，得到数据表序列；

29、优选所述数据表序列中预设数量的数据表，得到热门数据。

30、可选地，所述第二判断模块在判断所述并行请求指令集合中所有请求指令是否均已执行成功时，具体用于：

31、判断所述查询反馈集合是否为空；

32、若所述查询反馈集合为空，则判定所示并行请求指令集合中所有请求指令均已执行成；

33、若所述查询反馈集合不为空，则判定所述并行请求指令集合中存在未执行成功的请求指令。

34、可选地，所述第二判断模块在获取所述并行请求指令集合中所有未执行成功的请求指令，得到执行失败指令集合时，具体用于：

35、获取所述查询反馈集合中所有的查询失败反馈，得到查询失败反馈集合；

36、根据所述查询失败反馈集合确认所述并行请求指令集合中所有执行失败指令，得到执行失败指令集合。

37、可选地，所述第二判断模块在利用多线程根据所述执行失败指令集合从数据库获取剩余目标数据，将所述第二目标数据与所述剩余目标数据融合得到第三目标数据时，具体用于：

38、利用多线程并发执行所述失败指令集合中的失败查询指令，得到每个失败查询指令的查询结果；

39、汇总每个失败查询指令的查询结果，得到剩余目标数据；

40、根据所述并行请求指令集合确认预设顺序，根据所述预设顺序融合所述第二目标数据以及所述剩余目标数据，得到第三目标数据。

41、为了解决上述问题，本发明还提供一种基于关系型数据库的数据处理方法，所述方法包括：

42、接收到预设客户端的数据请求指令后，根据所述数据请求指令确认目标请求数据信息；

43、根据所述目标请求数据信息计算数据请求期望时间；

44、判断所述数据请求期望时间是否大于预设的时间阈值；

45、若所述数据请求期望时间小于或等于预设的时间阈值，则根据所述数据请求指令从数据库中获取第一目标数据，将所述第一目标数据发送至预设客户端；

46、若所述数据请求期望时间大于所述时间阈值，则将所述数据请求指令转化为并行请求指令集合；

47、创建多线程，利用多线程根据所述并行请求指令集合从预先缓存的热门数据中获取第二目标数据；

48、判断所述并行请求指令集合中所有请求指令是否均已执行成功；

49、若所述并行请求指令集合中所有请求指令均已执行成功，则将所述第二目标数据发送至预设客户端；

50、若所述并行请求指令集合中存在未执行成功的请求指令，则获取所述并行请求指令集合中所有未执行成功的请求指令，得到执行失败指令集合，利用多线程根据所述执行失败指令集合从数据库获取剩余目标数据，将所述第二目标数据与所述剩余目标数据融合得到第三目标数据，将所述第三目标数据发送至预设客户端。

51、本发明实施例通过接收到预设客户端的数据请求指令后，根据所述数据请求指令确认目标请求数据信息，根据所述目标请求数据信息计算数据请求期望时间，判断所述数据请求期望时间是否大于预设的时间阈值，若所述数据请求期望时间小于或等于预设的时间阈值，则根据所述数据请求指令从数据库中获取第一目标数据，将所述第一目标数据发送至预设客户端，若所述数据请求期望时间大于所述时间阈值，则将所述数据请求指令转化为并行请求指令集合，创建多线程，利用多线程根据所述并行请求指令集合从预先缓存的热门数据中获取第二目标数据，判断所述并行请求指令集合中所有请求指令是否均已执行成功，若所述并行请求指令集合中所有请求指令均已执行成功，则将所述第二目标数据发送至预设客户端，若所述并行请求指令集合中存在未执行成功的请求指令，则获取所述并行请求指令集合中所有未执行成功的请求指令，得到执行失败指令集合，利用多线程根据所述执行失败指令集合从数据库获取剩余目标数据，将所述第二目标数据与所述剩余目标数据融合得到第三目标数据，将所述第三目标数据发送至预设客户端。因此本发明提出的基于关系型数据库的数据处理系统及方法，可以解决现有的关系型数据库的数据处理方法在面对庞大的数据请求量响应效率低的问题。