多层次恶意HTTP流量的检测方法、装置和存储介质与流程

本技术涉及网络安全领域，具体而言，涉及一种多层次恶意http流量的检测方法、多层次恶意http流量的检测装置、计算机可读存储介质和电子设备。

背景技术：

1、随着互联网技术的飞速发展，网络攻击手段也日益多样化和复杂化，其中恶意http流量的检测与防御成为网络安全领域的关键问题。http作为web应用中最为常见的协议，其安全性直接关系到网络服务的可靠性和用户数据的安全性。然而，传统的基于签名匹配的检测方法在面对新型攻击手段时显得力不从心，难以有效识别和防御。

技术实现思路

1、本技术的主要目的在于提供一种多层次恶意http流量的检测方法、多层次恶意http流量的检测装置、计算机可读存储介质和电子设备，以至少解决现有技术中的http流量的检测方法难以有效识别新型网络攻击手段，且防御力较弱的问题。

2、为了实现上述目的，根据本技术的一个方面，提供了一种多层次恶意http流量的检测方法，包括：读取http协议数据，并采用多层transformer模型对所述http协议数据进行初步过滤，得到初始异常数据；采用nlp模型和/或异常值检测模型对所述初始异常数据进行特征提取，得到各所述初始异常数据的特征数据，所述特征数据包括文本特征和/或参数特征，所述nlp模型为对所述初始异常数据中的文本特征进行提取的模型，所述异常值检测模型为对所述初始异常数据中的参数特征进行提取的模型；将所述特征数据输入至attack模型中，得到所述初始异常数据对应的恶意预测值；根据所述初始异常数据的恶意预测值与预设阈值之间的大小关系，确定所述初始异常数据是否为恶意http流量，所述恶意http流量为恶意攻击的http数据流量。

3、可选地，在采用多层transformer模型对所述http协议数据进行初步过滤，得到初始异常数据之前，所述方法还包括：获取历史正常流量和历史恶意流量；将所述历史正常流量和所述历史恶意流量进行结构化，得到格式为tokens的初始正常流量和初始恶意流量；基于输入嵌入机制、多层transformer编码器和分类输出层，构建初始transformer模型；将所述初始正常流量和所述初始恶意流量转换为高维向量空间中的稠密向量，输入至所述初始transformer模型中；控制所述初始transformer模型通过自注意力机制和多层前馈网络进行深度特征学习，并利用全连接层将所述transformer编码器的高层次特征映射至预定义的正常类别标签和恶意类别标签上，以对所述初始transformer模型进行训练，得到预训练transformer模型；基于交叉熵损失函数对所述预训练transformer模型进行优化，得到所述多层transformer模型。

4、可选地，在采用nlp模型和/或异常值检测模型对所述初始异常数据进行特征提取，得到各所述初始异常数据的特征数据之前，所述方法还包括：获取历史参数正常流量；获取历史参数恶意流量以及各所述历史参数恶意流量的攻击标签；基于所述历史参数正常流量、所述历史参数恶意流量以及各所述历史参数恶意流量的攻击标签，采用随机森林模型训练初始异常值检测模型，得到所述异常值检测模型。

5、可选地，在将所述特征数据输入至attack模型中，得到所述初始异常数据对应的恶意预测值之前，所述方法还包括：获取训练数据集，所述训练数据集包括第一历史异常数据的特征数据和所述第一历史异常数据的特征数据对应的恶意预测值；根据所述训练数据集中的数据，采用随机森林模型训练初始attack模型，得到预训练attack模型；获取测试数据集，并根据所述测试数据集对所述预训练attack模型进行参数调优，得到所述attack模型，所述测试数据集包括第二历史异常数据的特征数据和所述第二历史异常数据的特征数据对应的恶意预测值。

6、可选地，根据所述初始异常数据的恶意预测值与预设阈值之间的大小关系，确定所述初始异常数据是否为恶意http流量，包括：在所述初始异常数据的恶意预测值大于所述预设阈值的情况下，确定所述初始异常数据为所述恶意http流量；在所述初始异常数据的恶意预测值小于或者等于所述预设阈值的情况下，确定所述初始异常数据为非恶意http流量。

7、可选地，在根据所述初始异常数据的恶意预测值与预设阈值之间的大小关系，确定所述初始异常数据是否为恶意http流量之后，所述方法还包括：在所述初始异常数据为所述恶意http流量的情况下，根据所述恶意http流量的特征，确定所述恶意http流量的恶意攻击类型；将所述恶意攻击类型确定为所述恶意http流量的攻击类型标签；根据sip进行预设时间段内的窗口聚合，得到聚合窗口，并检测在所述聚合窗口内所述攻击类型标签为预设标签的所述恶意http流量的数量；在所述聚合窗口内所述攻击类型标签为预设标签的所述恶意http流量的数量超过预设数量的情况下，将所述聚合窗口内的所有恶意http流量的攻击类型标签均设置为所述预设标签，得到检测结果；将所述检测结果输出至kafka中。

8、可选地，读取http协议数据，包括：从kafka的topic中读取初始http协议数据；采用pytorch深度学习框架，将所述初始http协议数据的数据格式转化为tokens格式，得到所述http协议数据。

9、根据本技术的另一方面，提供了一种多层次恶意http流量的检测装置，包括：第一处理单元，用于读取http协议数据，并采用多层transformer模型对所述http协议数据进行初步过滤，得到初始异常数据；提取单元，用于采用nlp模型和/或异常值检测模型对所述初始异常数据进行特征提取，得到各所述初始异常数据的特征数据，所述特征数据包括文本特征和/或参数特征，所述nlp模型为对所述初始异常数据中的文本特征进行提取的模型，所述异常值检测模型为对所述初始异常数据中的参数特征进行提取的模型；第二处理单元，用于将所述特征数据输入至attack模型中，得到所述初始异常数据对应的恶意预测值；确定单元，用于根据所述初始异常数据的恶意预测值与预设阈值之间的大小关系，确定所述初始异常数据是否为恶意http流量，所述恶意http流量为恶意攻击的http数据流量。

10、根据本技术的另一方面，提供了一种计算机可读存储介质，所述计算机可读存储介质包括存储的程序，其中，在所述程序运行时控制所述计算机可读存储介质所在设备执行任意一种所述的多层次恶意http流量的检测方法。

11、根据本技术的另一方面，提供了一种电子设备，包括：一个或多个处理器，存储器，以及一个或多个程序，其中，所述一个或多个程序被存储在所述存储器中，并且被配置为由所述一个或多个处理器执行，上述一个或多个程序包括用于执行任意一种上述的多层次恶意http流量的检测方法。

12、应用本技术的技术方案，上述多层次恶意http流量的检测方法，首先读取http协议数据，并采用多层transformer模型对http协议数据进行初步过滤，得到初始异常数据；之后采用nlp模型和/或异常值检测模型对初始异常数据进行特征提取，得到各初始异常数据的特征数据，特征数据包括文本特征和/或参数特征，nlp模型为对初始异常数据中的文本特征进行提取的模型，异常值检测模型为对初始异常数据中的参数特征进行提取的模型；然后将特征数据输入至attack模型中，得到初始异常数据对应的恶意预测值；最后根据初始异常数据的恶意预测值与预设阈值之间的大小关系，确定初始异常数据是否为恶意http流量，恶意http流量为恶意攻击的http数据流量。该方法通过构建先进的机器学习模型来识别和分类正常与恶意流量，综合运用了transformer模型、异常值检测模型以及攻击特征模型，实现对http流量的深度分析和精确分类，不仅提高了检测的准确性和效率，增强模型的适应性和可解释性，为网络安全领域提供了一个强大的工具，解决了现有技术中的http流量的检测方法难以有效识别新型网络攻击手段，且防御力较弱的问题。