多源数据库之间的数据同步方法、装置、介质及设备与流程

本发明涉及数据同步处理，尤其涉及多源数据库之间的数据同步方法、装置、介质及设备。

背景技术：

1、大多数的sap系统(企业管理解决方案系统)都采用了db2数据库或其他诸如sqlserver、oracle和mysql数据库，但是目前没有成熟的工具以读取分析底层日志的形式去获取db2数据，而不会影响db2数据库的性能。且当下数据中台中数据仓库为经典离线数仓架构，数据集成周期为t+1(指次日，代指非实时，t+0代指实时)，无法满足业务需求。

2、现有的sap数据分析实现有两种方式：通过hana(内存数据库)实现；通过pi接口(sap系统的一种数据传输接口)同步数据到第三方数据库实现。而两种方式都存在资源及性能瓶颈、实时性不足和响应慢的问题。

技术实现思路

1、本发明要解决的技术问题在于，针对上述的至少一种缺陷，提供一种多源数据库之间的数据同步方法、装置、介质及设备。

2、本发明解决其技术问题所采用的技术方案是：一种多源数据库之间的数据同步方法，应用于多源数据同步装置，包括以下步骤：

3、s10、从多个源端数据库中实时捕获增量变更数据；

4、s20、将所述增量变更数据转换为预设标准数据格式并存入kalfa中，所述kalfa为分布式的基于发布订阅模式的消息队列；

5、s30、消费所述kalfa中的实时数据，并进行多路数据分发以实现统一入库处理。

6、在本发明所述的多源数据库之间的数据同步方法中，步骤s30还包括：

7、通过slipstream或第三方程序消费所述kalfa中的实时数据，并对所述kalfa中的实时数据进行计算，将其转换成标准sql或进行api调用，从而将所述kalfa中的实时数据多路分发至多个目标位置实现统一入库处理；所述slipstream为实时流计算引擎。

8、在本发明所述的多源数据库之间的数据同步方法中，在步骤s10之前，还包括：

9、所述源端数据库开启日志选项，并授予云链平台的数据同步用户权限，以使所述云链平台能够实时捕获对应源端数据库的增量变更数据。

10、在本发明所述的多源数据库之间的数据同步方法中，步骤s10包括：

11、接收用户从客户端提交的数据同步任务，并根据所述数据同步任务从对应的源端数据库中实时捕获增量变更数据。

12、在本发明所述的多源数据库之间的数据同步方法中，该方法还包括：

13、步骤s10至步骤s30遵循端到端严格一次处理原则。

14、在本发明所述的多源数据库之间的数据同步方法中，所述源端数据库包括db2数据库、mysql数据库、oracle数据库、sql server数据库中的至少一种。

15、在本发明所述的多源数据库之间的数据同步方法中，步骤s10包括：

16、当所述源端数据库为db2数据库或sql server数据库时，从db2数据库或sqlserver数据库用于存储数据变更的表中获取所述增量变更数据；

17、当所述源端数据库为mysql数据库时，从mysql数据库的二进制日志中获取所述增量变更数据；

18、当所述源端数据库为oracle数据库时，从oracle数据库的数据变更日志或内存中获取所述增量变更数据。

19、另外，本发明还提供一种多源数据同步装置，包括：

20、第一模块，用于从多个源端数据库中实时捕获增量变更数据；

21、第二模块，用于将所述增量变更数据转换为预设标准数据格式并存入kalfa中，所述kalfa为分布式的基于发布订阅模式的消息队列；

22、第三模块，用于消费所述kalfa中的实时数据，并进行多路数据分发以实现统一入库处理。

23、另外，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序适于处理器进行加载，以执行如上述的多源数据库之间的数据同步方法的步骤。

24、另外，本发明还提供一种计算机设备，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器通过调用所述存储器中存储的所述计算机程序，执行如上述的多源数据库之间的数据同步方法的步骤。

25、实施本发明的多源数据库之间的数据同步方法、装置、介质及设备，具有以下有益效果：本发明能够将多源数据实时准确同步到第三方数据库，实现统一数仓管理和亿级数据秒级计算和响应，进而提高系统检索分析能力。

1.一种多源数据库之间的数据同步方法，应用于多源数据同步装置，其特征在于，包括以下步骤：

2.根据权利要求1所述的多源数据库之间的数据同步方法，其特征在于，步骤s30还包括：

3.根据权利要求1所述的多源数据库之间的数据同步方法，其特征在于，在步骤s10之前，还包括：

4.根据权利要求1所述的多源数据库之间的数据同步方法，其特征在于，步骤s10包括：

5.根据权利要求1所述的多源数据库之间的数据同步方法，其特征在于，该方法还包括：

6.根据权利要求1所述的多源数据库之间的数据同步方法，其特征在于，所述源端数据库包括db2数据库、mysql数据库、oracle数据库、sql server数据库中的至少一种。

7.根据权利要求6所述的多源数据库之间的数据同步方法，其特征在于，步骤s10包括：

8.一种多源数据同步装置，其特征在于，包括：

9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序适于处理器进行加载，以执行如权利要求1至7任一项所述的多源数据库之间的数据同步方法的步骤。

10.一种计算机设备，其特征在于，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器通过调用所述存储器中存储的所述计算机程序，执行如权利要求1至7任一项所述的多源数据库之间的数据同步方法的步骤。