一种面向大数据流式机器学习的吞吐率优化方法及系统与流程

1.一种面向大数据流式机器学习的吞吐率优化方法，其步骤包括：

2.根据权利要求1所述的方法，其特征在于，所述采样控制模块获取模型训练吞吐率t和数据源的流速s，计算出新的采样率r＝t/s*alpha；然后向数据采样模块发送新的采样率r，所述数据采样模块根据新的采样率r对当前接收的数据源产生的每批流式数据进行采样；

3.根据权利要求2所述的方法，其特征在于，选取alpha＝0.95。

4.根据权利要求1或2或3所述的方法，其特征在于，所述数据采样策略库中包含随机采样策略，其采样方法为：对于流式数据中的每一数据样本，生成一个在[0,1]间均匀分布的随机数n；如果随机数n小于设定的最大采样比例e，则选中该数据样本；如果随机数n大于或等于设定的最大采样比例e，则丢弃该数据样本。

5.根据权利要求1或2或3所述的方法，其特征在于，所述数据采样策略库中包含基于距离的核心集采样策略，其采样方法为：

6.根据权利要求1所述的方法，其特征在于，对所述数据采样策略库中的采样策略进行扩展，其方法为：生成新采样策略，包含采样逻辑和参数、采样模式、可接受数据类型；其中，采样逻辑为具体应用到数据上的采样策略，参数为采样逻辑中的具体控制参数，采样模式包含流式和微批式。

7.一种面向大数据流式机器学习的吞吐率优化系统，其特征在于，包括部署于计算节点上的数据采样策略库、流速监测模块和采样控制模块，以及部署于管理节点上的参数优化模块和数据采样模块；