首页  专利技术  电子电路装置的制造及其应用技术

一种基于注意力上下文映射和关系匹配的网络威胁情报关系抽取方法

2026-01-25 15:00:07 285次浏览

技术特征:

1.一种基于注意力上下文映射和关系匹配的网络威胁情报关系抽取方法,其特征在于,包括:

2.根据权利要求1所述的一种基于注意力上下文映射和关系匹配的网络威胁情报关系抽取方法,其特征在于,构建网络威胁情报关系抽取模型的编码层,包括:

3.根据权利要求2所述的一种基于注意力上下文映射和关系匹配的网络威胁情报关系抽取方法,其特征在于,构建网络威胁情报关系抽取模型的基于注意力的上下文映射层,包括:

4.根据权利要求3所述的一种基于注意力上下文映射和关系匹配的网络威胁情报关系抽取方法,其特征在于,利用预训练的bert模型对实体和关系标签进行深度编码,以获取富含语义信息的实体标签词嵌入矩阵pe和关系标签词嵌入矩阵pr,用于:获取实体和关系类型词嵌入,将实体标签集el和关系标签集rl输入预训练的bert模型中进行语义编码,得到所述实体标签词嵌入矩阵和所述关系标签词嵌入矩阵公式如下:

5.根据权利要求4所述的一种基于注意力上下文映射和关系匹配的网络威胁情报关系抽取方法,其特征在于,以需要识别关系的实体对为整体融合潜在的实体关联信息,增强实体对之间的差异性表示,得到一个新的实体对表示序列ef′,用于:通过随机初始化方法生成初始的头实体跨度尺寸嵌入向量s_h和尾实体跨度尺寸嵌入向量s_t,在多层感知机的多层非线性变换过程中,跨度尺寸信息得以与原始的跨度表示进行深度融合,从而为两个实体生成一个既包含原始文本信息又富含尺寸特征信息的增强型实体表示,其中头实体表示为eh,尾实体表示为et,公式如下:

6.根据权利要求5所述的一种基于注意力上下文映射和关系匹配的网络威胁情报关系抽取方法,其特征在于,将所述关系标签词嵌入矩阵pr与上下文特征向量ct结合得到一个新的关系上下文特征矩阵cr',用于:将所有的关系标签词嵌入矩阵分别与所述上下文特征向量相结合,通过多层感知机的多层非线性变换,实现两者之间的信息交互与融合,生成特定于关系的上下文表示矩阵cr′,公式如下:

7.根据权利要求6所述的一种基于注意力上下文映射和关系匹配的网络威胁情报关系抽取方法,其特征在于,利用注意力机制将所述实体对表示序列ef′与所述关系上下文特征矩阵cr′结合得到特定于实体对的关系上下文增强序列表示cp,用于:通过计算注意力权重来衡量每个上下文元素对于当前实体对关系识别的重要性,并据此对基于关系的上下文序列表示进行加权调整,经过注意力机制的增强,得到特定于实体对的关系上下文增强序列表示cp,公式如下:

8.根据权利要求7所述的一种基于注意力上下文映射和关系匹配的网络威胁情报关系抽取方法,其特征在于,构建网络威胁情报关系抽取模型的关系匹配层,包括:

9.根据权利要求8所述的一种基于注意力上下文映射和关系匹配的网络威胁情报关系抽取方法,其特征在于,使用hacker数据集训练模型,用于:将hacker数据集输入至网络威胁情报关系抽取模型进行50次迭代训练,选取最佳效果时的参数设定,得到最佳网络威胁情报关系抽取模型,选取labelsmoothing loss损失函数作为训练时所用的损失函数,公式如下:

10.根据权利要求9所述的一种基于注意力上下文映射和关系匹配的网络威胁情报关系抽取方法,其特征在于,将海量网络威胁情报输入模型,用于:将海量网络威胁情报以句子为单位进行划分,并在完成实体提取之后,输入网络威胁情报关系抽取模型以得到最终的关系三元组。


技术总结
本发明提出一种基于注意力上下文映射和关系匹配的网络威胁情报关系抽取方法,该方法基于深度神经网络,采用如下技术方案:(a)使用大规模通用文本数据预训练过的BERT模型对输入文本进行向量编码,得到初步的文本向量表示。通过大规模通用文本数据预训练过的BERT模型,已经获取到了文本的一些潜在语义信息,所以将其对威胁情报文本进行编码得到的向量表示已经包含了丰富的通用先验知识和潜在语义。(b)通过基于注意力的上下文映射方法,缓解了实体语义抽象和实体特征易混淆的问题。(c)通过关系匹配机制来缓解实体之间相关性弱的问题。

技术研发人员:尚文利,王博文,周正,时昊天,李淑琦,高晓斌,常志伟
受保护的技术使用者:广州大学
技术研发日:
技术公布日:2024/11/26
文档序号 : 【 40125644 】

技术研发人员:尚文利,王博文,周正,时昊天,李淑琦,高晓斌,常志伟
技术所有人:广州大学

备 注:该技术已申请专利,仅供学习研究,如用于商业用途,请联系技术所有人。
声 明此信息收集于网络,如果你是此专利的发明人不想本网站收录此信息请联系我们,我们会在第一时间删除
尚文利王博文周正时昊天李淑琦高晓斌常志伟广州大学
基于非线性超声零频波的埋地锚杆长度测量方法 一种基于BP神经网络的靶标测控布站方法与流程
相关内容