数据处理方法、装置、计算机设备、介质和程序产品与流程
技术特征:
1.一种数据处理方法,其特征在于,所述方法包括:
2.根据权利要求1所述的方法,其特征在于,所述在所述待处理数据是所述实时触发数据的情况下,直接触发实时处理程序,对所述待处理数据进行处理之后,还包括:
3.根据权利要求2所述的方法,其特征在于,所述数据特征包括所述实时触发数据的处理结果;所述方法还包括:
4.根据权利要求2所述的方法,其特征在于,所述获取待处理数据集之后,还包括:
5.根据权利要求1至4任意一项所述的方法,其特征在于,所述离线批量数据包括离线初始化数据和离线修正数据;所述获取待处理数据集,包括:
6.根据权利要求5所述的方法,其特征在于,所述获取方式包括周期性获取方式;所述根据所述获取方式接收所述离线修正数据,包括:
7.一种数据处理装置,其特征在于,所述装置包括:
8.根据权利要求7所述的装置,其特征在于,所述装置还包括:
9.根据权利要求8所述的装置,其特征在于,所述数据特征包括所述实时触发数据的处理结果;所述装置还包括:
10.根据权利要求8所述的装置,其特征在于,所述装置还包括:
11.根据权利要求7至10任意一项所述的装置,其特征在于,所述离线批量数据包括离线初始化数据和离线修正数据;所述数据获取模块包括:
12.根据权利要求11所述的装置,其特征在于,所述获取方式包括周期性获取方式;所述数据读取单元具体用于:周期性触发所述实时处理程序,以获取所述离线修正数据。
13.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至6中任一项所述的方法的步骤。
14.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至6中任一项所述的方法的步骤。
15.一种计算机程序产品,包括计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至6中任一项所述的方法的步骤。
技术总结
本申请涉及大数据处理领域,具体公开了一种数据处理方法、装置、计算机设备、计算机可读存储介质和计算机程序产品。所述方法包括:获取待处理数据集,其中,所述待处理数据集包括至少一个待处理数据,所述待处理数据是实时触发数据或离线批量数据;在所述待处理数据是所述实时触发数据的情况下,直接触发实时处理程序,对所述待处理数据进行处理;在所述待处理数据是所述离线批量数据的情况下,将所述待处理数据存储至事件数据中心,并在所述待处理数据符合批量数据触发条件的情况下,触发所述实时处理程序,对所述待处理数据进行处理。采用本方法能够降低流式数据和批量数据同时存在的系统的数据处理成本。
技术研发人员:黄超,王伟,刘侃,梁栋
受保护的技术使用者:中国建设银行股份有限公司
技术研发日:
技术公布日:2024/12/2
技术研发人员:黄超,王伟,刘侃,梁栋
技术所有人:中国建设银行股份有限公司
备 注:该技术已申请专利,仅供学习研究,如用于商业用途,请联系技术所有人。
声 明 :此信息收集于网络,如果你是此专利的发明人不想本网站收录此信息请联系我们,我们会在第一时间删除
