一种基于检查点机制的数据集成任务断点续跑方法与流程

1.一种基于检查点机制的数据集成任务断点续跑方法，其特征在于，所述方法包括：

2.根据权利要求1所述的基于检查点机制的数据集成任务断点续跑方法，其特征在于，步骤s1中所述的检查点策略包括以下三种类型：

3.根据权利要求1所述的基于检查点机制的数据集成任务断点续跑方法，其特征在于，步骤s2中所述的集成任务的参数包括：源表、目标表、并行参数、检查点策略、以及定时参数；

4.根据权利要求1所述的基于检查点机制的数据集成任务断点续跑方法，其特征在于，步骤s3中将集成任务拆分成多个子任务，所有子任务除了数据抽取范围不同外，其他的配置参数完全相同。

5.根据权利要求1所述的基于检查点机制的数据集成任务断点续跑方法，其特征在于，步骤s4中生成的检查点数据包括：所在执行器ip、子任务数据抽取范围、已经成功抽取的数据范围和正在抽取的数据范围。

6.根据权利要求1所述的基于检查点机制的数据集成任务断点续跑方法，其特征在于，步骤s4中发送到redis中的检查点数据按照时间戳的大小顺序存储，系统定时清理已经恢复成功或者执行成功的任务的检查点数据。

7.根据权利要求1所述的基于检查点机制的数据集成任务断点续跑方法，其特征在于，步骤s5中包括：

8.一种计算机可读存储介质，所述存储介质上存储有计算机程序，所述程序被处理器执行时实现权利要求1-7任一项所述的基于检查点机制的数据集成任务断点续跑方法的步骤。

9.一种基于检查点机制的数据集成任务断点续跑装置，其特征在于，所述装置运行时实现权利要求1-7任一项所述的基于检查点机制的数据集成任务断点续跑方法的步骤，所述装置包括：任务调度模块、数据集成模块、关系型数据库、数据仓库以及redis缓存模块，其中：

10.根据权利要求9所述的基于检查点机制的数据集成任务断点续跑装置，其特征在于，所述关系型数据库包括：mysql、oracle、postgresql。