一种征信数据一体化采集处理展示系统、方法及存储介质与流程

本发明涉及数据处理，尤其涉及一种征信数据一体化采集处理展示系统、方法及存储介质。

背景技术：

1、随着大数据时代的到来，数据的采集、处理、建模和共享变得尤为重要，传统的数据处理方法依赖于人工操作，效率低下且容易出错，对于政府部门或集团企业数据分散在各个数据站点，很难有效的整合数据，挖掘数据，开发数据；

2、由此，需要一种自动化的解决方案来提高数据归集、处理的效率和准确性，同时确保数据的安全性和可共享性，解决数据资源整合，通过数据开发和利用，挖掘更多的数据价值，协助政府或集团企业数字化转型，因此，本发明提出一种征信数据一体化采集处理展示系统、方法及存储介质以解决现有技术中存在的问题。

技术实现思路

1、针对上述问题，本发明提出一种征信数据一体化采集处理展示系统、方法及存储介质，该征信数据一体化采集处理展示系统、方法及存储介质能够有效地采集异构数据源的征信行业数据，处理成统一的征信数据标准，使征信数据得到有效的模型应用。

2、为实现本发明的目的，本发明通过以下技术方案实现：一种征信数据一体化采集处理展示系统，包括数据采集模块、数据处理模块、数据建模模块、数据共享模块和任务调度模块，所述数据采集模块用于根据预设的规则和数据源参数调整采集任务，来自动采集不同数据源的征信数据；所述数据处理模块用于对采集到的原始数据进行内存处理并转储，识别其中错误数据，将符合要求的数据整合形成标准化的数据；

3、所述数据建模模块根据数据处理后的结果，运用机器学习技术构建用于多种应用场景的征信数据模型；所述数据共享模块用于将流经上述模块后的数据通过数据共享平台对外提供展示服务和多元共享，并在数据传输和访问过程中进行安全化处理；所述任务调度模块用于对上述模块作业进行调度管理，通过触发器定时或手工执行调度完成上述模块作业自动化运行。

4、进一步改进在于：所述数据采集模块通过数据库、网络爬虫、api接口自动采集来自不同数据源的数据，其范围包括政数共享渠道的征信数据、政务网站公共的征信信息数据页面、共享文档、数据共享接口，采集任务根据预设的规则和数据源参数调整，自动完成数据采集。

5、进一步改进在于：所述数据采集模块的采集过程如下：确认数据采集方式，包括数据库、网站、数据文档、接口文档；配置数据源，根据确认的数据采集方式，配置相应的参数，包括数据库连接信息及账号密码，网站地址，数据文档，接口访问地址及账号密码；配置目标库的数据库连接信息及账号密码，根据需要的数据结构建立相应的采集数据存储表；创建采集信息，描述本次采集的内容概述，并选择配置的数据库信息作为目标库；配置采集源数据表与目标库数据表的映射关系，其参数包括字段名，赋值类型，赋值，处理脚本，字段安全等级划分；创建采集任务，填写触发类型，包括手工和自动两种，当自动时，配置任务调度时间参数，调度时间以cron表达式的方式进行表示；基于创建的采集任务，进行配置，同一任务添加多条采集信息，并配置其停止机制，其参数值包括全部执行失败、部分执行失败；手工执行任务进行测试或通过系统根据采集任务配置的cron表达式进行自动化的调度；查看采集日志，确认存储器采集结果。

6、进一步改进在于：所述数据处理模块使用数据清洗、转换、归一化技术对采集到的原始数据进行内存处理并转储，通过预设的规则自动识别其中错误数据，并通过治理程序将符合要求的数据整合到一起，形成标准化的数据。

7、进一步改进在于：所述数据处理模块的处理过程如下：创建数据校验作业，并指定数据采集模块指定的目标库作为数据校验作业的数据源；选择配置的数据源对应的源数据表作为校验表；对选择的校验表中的字段配置校验规则，其规则包括：日期校验，数值校验，非空校验，主键校验，特殊字符校验，身份证合规校验，统一社会信用代码合规性校验，双公示-行政许可校验，双公示-行政处罚校验；创建治理作业，并指定数据采集模块指定的目标库作为数据校验作业的数据源；配置治理作业，并指定配置的校验表作为治理表，配置参数包括表映射配置，如目标字段、字段取值、源表字段特殊处理、源表主表、关联表、排列序号、排序方式、是否主键、是否有效以及筛选条件配置，包括筛选类型，源表字段、比较操作、内容输入；创建治理任务，填写触发类型，包括手工和自动两种，当自动时，配置任务调度时间参数，调度时间以cron表达式的方式进行表示；基于创建的治理任务，进行配置，同一任务添加多条校验、治理作业信息，并配置其停止机制，其参数值包括全部执行失败、部分执行失败；手工执行任务进行测试或通过系统根据采集任务配置的cron表达式进行自动化的调度；查看调度日志，确认治理结果。

8、进一步改进在于：所述数据建模模块根据数据处理后的结果，运用机器学习技术构建征信数据模型，模型用于预测分析、分类、聚类多种应用场景，具体过程如下：创建模型，并从存储介质读取模型类型，包括评分卡、分类、回归、聚类、策略挖掘，以及填写模型名称、描述字段信息；进入模型数据集的读取和配置，从存储器中获取数据集所属的数据库和数据表格，并对模型y值进行选择配置；对选取的数据表格进行数据规则配置处理，数据处理规则组件包括缺失率清洗、编码、缺失值填充、去除重复值、异常值处理、删除特征，根据征信模型业务和选取的数据情况进行规则组件配置，不同组件对应不同的参数配置格式；进入征信模型特征工程组件，组件配置包括归一化、标准化、特征选择、特征交叉组合、特征分组聚合、特征分箱、woe编码、iv值筛选、相关性筛选、主成分分析、特征贡献度筛选，根据征信模型业务选择不同组件，配置不同的参数配置格式；对征信模型数据进行数据集划分，包括训练集和验证集的划分，对于样本不均衡的数据，进行上采样和下采样的方式，调整正负样本比例，依据设置的训练集占比，自动统计计算得出训练集和验证集的数据量大小；根据征信模型业务需求从存储器选择算法规则，算法规则包括逻辑回归、决策树、xgb分类、k均值聚类、线性回归、决策树、bp神经网络、dbscan聚类，不同类型的模型选取不同的算法组件；将模型的配置数据保存到存储器数据库中，通过程序触发器获取存储器模型信息，对模型进行训练，训练过程中，触发器根据程序运行情况，实时返回模型执行日志，显示到用户的显示器中，模型训练完成后，触发器返回准确率、混淆矩阵、auc和roc曲线、ks曲线数据到显示器中；在模型管理存储器中读取模型列表，在显示界面中选择其中一个模型进行数据预测和分析，并将结构数据保存到数据库存储器中。

9、进一步改进在于：所述数据共享模块用于将经过数据采集模块、数据处理模块、数据建模模块的数据通过数据共享平台对外提供展示服务，并提供api调用、数据导出、库表对接的共享方式，同步维持数据在传输和访问过程中的安全性。

10、进一步改进在于：所述数据共享模块的具体操作过程如下：创建共享展示作业，从存储器读取共享数据源，并选择共享类型和填写共享作业名称基本配置信息，其中共享类型包括数据文件导出、接口api调用、库表对接；当共享类型选择数据导出方式，根据安全规定，对表格数据进行加密和文件密码设定，加密方法包括sm4加密，对称和非对称加密，数据文件导出后，通过邮箱等方式发送给对方；当共享类型选择api调用，提供接口api服务，包括接口授权、接口数据格式编码，并根据安全规定，对接接口传输数据进行加密签名和验签，加密方式包括sm4加密、对称加密和非对称加密；当共享类型选择库表对接，先通过触发器对存储器的数据进行加密，然后再将数据推送到对方存储器中。

11、一种征信数据一体化采集处理展示方法，包括以下步骤：

12、s1：根据预设的规则和数据源参数调整，设定采集任务，通过数据库、网络爬虫、api接口自动采集来自不同数据源的数据，其范围包括政数共享渠道的征信数据、政务网站公共的征信信息数据页面、共享文档、数据共享接口；

13、s2：使用数据清洗、转换、归一化技术对采集到的原始数据进行内存处理并转储，通过预设的规则自动识别其中错误数据，并通过治理程序将符合要求的数据整合形成标准化的数据；

14、s3：根据数据处理后的结果，运用机器学习技术构建征信数据模型，将该模型应用至多种场景，包括预测分析、分类、聚类；

15、s4：基于api调用、数据导出、库表对接的共享方式，将流经过上述步骤的数据通过数据共享平台对外提供展示服务，在数据传输和访问过程中进行安全加密；

16、s5：设定触发器，通过触发器定时或手工执行调度完成上述作业的自动化运行。

17、一种存储介质，该存储介质存储的计算机程序，在被一个或多个处理器执行时，实现所述的一种征信数据一体化采集处理展示方法。

18、本发明的有益效果为：

19、1、本发明提供了数据源、数据处理、数据建模、数据应用的集中管理和自动化实现，具备多源数据采集的自适应调整机制，能够根据不同数据源的特点自动优化采集策略，具备数据处理过程中的智能错误识别与修正机制，减少人工干预，提高数据处理的准确性，具备灵活的数据建模工具，支持多种机器学习算法，可根据需求快速构建和调整数据模型，具备安全的数据共享机制，确保数据在共享过程中的完整性和隐私保护，具备流程可视化展示，解决数据实施过程出现的问题，避免自动化过程无监督情况。

20、2、本发明提供数据源统一管理，支持多数据源整合技术、对数据根据服务需求统一处理、对数据挖掘进行深度分析和建模训练应用、对数据应用统一授权分发服务的自动化管理，另外提供了在线展示技术，监控数据流程和运算，解决数据实施过程黑箱子问题。

21、3、本发明提高数据归集、处理的效率和质量，以及通过数据挖掘和机器学习分析等，对数据进行开发利用，实现数据价值最大化，同时保证数据的安全和便捷共享，提供在线实时监控数据采集、处理情况的功能。