一种征信数据一体化采集处理展示系统、方法及存储介质与流程

1.一种征信数据一体化采集处理展示系统，包括数据采集模块、数据处理模块、数据建模模块、数据共享模块和任务调度模块，其特征在于：所述数据采集模块用于根据预设的规则和数据源参数调整采集任务，来自动采集不同数据源的征信数据；所述数据处理模块用于对采集到的原始数据进行内存处理并转储，识别其中错误数据，将符合要求的数据整合形成标准化的数据；

2.根据权利要求1所述的一种征信数据一体化采集处理展示系统，其特征在于：所述数据采集模块通过数据库、网络爬虫、api接口自动采集来自不同数据源的数据，其范围包括政数共享渠道的征信数据、政务网站公共的征信信息数据页面、共享文档、数据共享接口，采集任务根据预设的规则和数据源参数调整，自动完成数据采集。

3.根据权利要求2所述的一种征信数据一体化采集处理展示系统，其特征在于：所述数据采集模块的采集过程如下：确认数据采集方式，包括数据库、网站、数据文档、接口文档；配置数据源，根据确认的数据采集方式，配置相应的参数，包括数据库连接信息及账号密码，网站地址，数据文档，接口访问地址及账号密码；配置目标库的数据库连接信息及账号密码，根据需要的数据结构建立相应的采集数据存储表；创建采集信息，描述本次采集的内容概述，并选择配置的数据库信息作为目标库；配置采集源数据表与目标库数据表的映射关系，其参数包括字段名，赋值类型，赋值，处理脚本，字段安全等级划分；创建采集任务，填写触发类型，包括手工和自动两种，当自动时，配置任务调度时间参数，调度时间以cron表达式的方式进行表示；基于创建的采集任务，进行配置，同一任务添加多条采集信息，并配置其停止机制，其参数值包括全部执行失败、部分执行失败；手工执行任务进行测试或通过系统根据采集任务配置的cron表达式进行自动化的调度；查看采集日志，确认存储器采集结果。

4.根据权利要求1所述的一种征信数据一体化采集处理展示系统，其特征在于：所述数据处理模块使用数据清洗、转换、归一化技术对采集到的原始数据进行内存处理并转储，通过预设的规则自动识别其中错误数据，并通过治理程序将符合要求的数据整合到一起，形成标准化的数据。

5.根据权利要求4所述的一种征信数据一体化采集处理展示系统，其特征在于：所述数据处理模块的处理过程如下：创建数据校验作业，并指定数据采集模块指定的目标库作为数据校验作业的数据源；选择配置的数据源对应的源数据表作为校验表；对选择的校验表中的字段配置校验规则，其规则包括：日期校验，数值校验，非空校验，主键校验，特殊字符校验，身份证合规校验，统一社会信用代码合规性校验，双公示-行政许可校验，双公示-行政处罚校验；创建治理作业，并指定数据采集模块指定的目标库作为数据校验作业的数据源；配置治理作业，并指定配置的校验表作为治理表，配置参数包括表映射配置，如目标字段、字段取值、源表字段特殊处理、源表主表、关联表、排列序号、排序方式、是否主键、是否有效以及筛选条件配置，包括筛选类型，源表字段、比较操作、内容输入；创建治理任务，填写触发类型，包括手工和自动两种，当自动时，配置任务调度时间参数，调度时间以cron表达式的方式进行表示；基于创建的治理任务，进行配置，同一任务添加多条校验、治理作业信息，并配置其停止机制，其参数值包括全部执行失败、部分执行失败；手工执行任务进行测试或通过系统根据采集任务配置的cron表达式进行自动化的调度；查看调度日志，确认治理结果。

6.根据权利要求1所述的一种征信数据一体化采集处理展示系统，其特征在于：所述数据建模模块根据数据处理后的结果，运用机器学习技术构建征信数据模型，模型用于预测分析、分类、聚类多种应用场景，具体过程如下：创建模型，并从存储介质读取模型类型，包括评分卡、分类、回归、聚类、策略挖掘，以及填写模型名称、描述字段信息；进入模型数据集的读取和配置，从存储器中获取数据集所属的数据库和数据表格，并对模型y值进行选择配置；对选取的数据表格进行数据规则配置处理，数据处理规则组件包括缺失率清洗、编码、缺失值填充、去除重复值、异常值处理、删除特征，根据征信模型业务和选取的数据情况进行规则组件配置，不同组件对应不同的参数配置格式；进入征信模型特征工程组件，组件配置包括归一化、标准化、特征选择、特征交叉组合、特征分组聚合、特征分箱、woe编码、iv值筛选、相关性筛选、主成分分析、特征贡献度筛选，根据征信模型业务选择不同组件，配置不同的参数配置格式；对征信模型数据进行数据集划分，包括训练集和验证集的划分，对于样本不均衡的数据，进行上采样和下采样的方式，调整正负样本比例，依据设置的训练集占比，自动统计计算得出训练集和验证集的数据量大小；根据征信模型业务需求从存储器选择算法规则，算法规则包括逻辑回归、决策树、xgb分类、k均值聚类、线性回归、决策树、bp神经网络、dbscan聚类，不同类型的模型选取不同的算法组件；将模型的配置数据保存到存储器数据库中，通过程序触发器获取存储器模型信息，对模型进行训练，训练过程中，触发器根据程序运行情况，实时返回模型执行日志，显示到用户的显示器中，模型训练完成后，触发器返回准确率、混淆矩阵、auc和roc曲线、ks曲线数据到显示器中；在模型管理存储器中读取模型列表，在显示界面中选择其中一个模型进行数据预测和分析，并将结构数据保存到数据库存储器中。

7.根据权利要求1所述的一种征信数据一体化采集处理展示系统，其特征在于：所述数据共享模块用于将经过数据采集模块、数据处理模块、数据建模模块的数据通过数据共享平台对外提供展示服务，并提供api调用、数据导出、库表对接的共享方式，同步维持数据在传输和访问过程中的安全性。

8.根据权利要求7所述的一种征信数据一体化采集处理展示系统，其特征在于：所述数据共享模块的具体操作过程如下：创建共享展示作业，从存储器读取共享数据源，并选择共享类型和填写共享作业名称基本配置信息，其中共享类型包括数据文件导出、接口api调用、库表对接；当共享类型选择数据导出方式，根据安全规定，对表格数据进行加密和文件密码设定，加密方法包括sm4加密，对称和非对称加密，数据文件导出后，通过邮箱等方式发送给对方；当共享类型选择api调用，提供接口api服务，包括接口授权、接口数据格式编码，并根据安全规定，对接接口传输数据进行加密签名和验签，加密方式包括sm4加密、对称加密和非对称加密；当共享类型选择库表对接，先通过触发器对存储器的数据进行加密，然后再将数据推送到对方存储器中。

9.一种征信数据一体化采集处理展示方法，应用上述权利1-8中任意一项所述的一种征信数据一体化采集处理展示系统，其特征在于，包括以下步骤：

10.一种存储介质，其特征在于：该存储介质存储的计算机程序，在被一个或多个处理器执行时，实现如权利要求9所述的一种征信数据一体化采集处理展示方法。