基于类增量学习的小样本命名实体识别方法及装置与流程
技术特征:
1.一种基于类增量学习的小样本命名实体识别方法,其特征在于,包括以下步骤:
2.根据权利要求1所述的基于类增量学习的小样本命名实体识别方法,其特征在于,所述通过调整已训练模型,将生成的数据用于模拟旧类别的特征,从而帮助模型在蒸馏过程中保留这些旧信息;采用对抗性学习,将合成数据的隐藏特征与真实的新类别数据对齐,使合成数据在语义上与真实样本更加相近,最终结合合成数据和对抗学习完成命名实体识别,具体包括子步骤:
3.根据权利要求2所述的基于类增量学习的小样本命名实体识别方法,其特征在于,在步骤s1中,所述基类学习包括以下子步骤:
4.根据权利要求3所述的基于类增量学习的小样本命名实体识别方法,其特征在于,在步骤s1中,所述ebp-uie模型包括输入层、特征提取层和输出层,还包括以下子步骤:
5.根据权利要求2所述的基于类增量学习的小样本命名实体识别方法,其特征在于,在步骤s2中,所述增量学习,包括以下步骤:
6.根据权利要求4所述的基于类增量学习的小样本命名实体识别方法,其特征在于,在步骤s12中,对于词向量etoken,将中文文本按字符切分,每个汉字独立成为一个词元,将句子进行分词后,每个词元对应到词汇表中的唯一标识符id,这些id被进一步转化为0-1编码,再通过与训练好的词嵌入矩阵相乘,产生最终的词向量etoken;
7.根据权利要求5所述的基于类增量学习的小样本命名实体识别方法,其特征在于,在步骤s21中,合成数据的构造过程包括如下步骤:
8.根据权利要求5所述的基于类增量学习的小样本命名实体识别方法,其特征在于,在步骤s22中,包括子步骤:在真实数据蒸馏中,引入一个温度参数t,通过调整t的值能够控制输出分布的平滑程度。
9.根据权利要求5所述的基于类增量学习的小样本命名实体识别方法,其特征在于,在步骤s23中,包括子步骤:采用基于梯度的方法确定更有效的对抗扰动方向,将梯度上升方向作为对抗扰动的方向,并据此引入对抗扰动以优化损失函数。
10.一种基于类增量学习的小样本命名实体识别装置,其特征在于,包括处理器和存储器,所述存储器中存储有计算机程序,当计算机程序被处理器加载时执行权利要求1~9中任一项所述的方法。
技术总结
本发明公开了一种基于类增量学习的小样本命名实体识别方法及装置,属于自然语言处理领域,包括步骤:通过调整已训练模型,将生成的数据用于模拟旧类别的特征,从而帮助模型在蒸馏过程中保留这些旧信息;采用对抗性学习,将合成数据的隐藏特征与真实的新类别数据对齐,使合成数据在语义上与真实样本更加相近,最终结合合成数据和对抗学习完成命名实体识别。本发明为在资源受限的环境中持续改进NER模型打开了新的可能性,展现了其在实际应用中处理动态变化数据流的巨大潜力。
技术研发人员:王侃,刘万里,陈俞舟,刘鑫,刘禄波,雍新有,蔡世民
受保护的技术使用者:中国电子科技集团公司第十研究所
技术研发日:
技术公布日:2024/11/18
技术研发人员:王侃,刘万里,陈俞舟,刘鑫,刘禄波,雍新有,蔡世民
技术所有人:中国电子科技集团公司第十研究所
备 注:该技术已申请专利,仅供学习研究,如用于商业用途,请联系技术所有人。
声 明 :此信息收集于网络,如果你是此专利的发明人不想本网站收录此信息请联系我们,我们会在第一时间删除
