一种基于知识蒸馏技术的中文事件抽取方法

本发明涉及事件抽取领域，具体涉及一种基于知识蒸馏技术的中文事件抽取方法。

背景技术：

1、随着中文互联网规模的迅速扩大，如何从海量数据中自动提取出有价值的信息成为了一个重要课题。事件抽取即为该课题的一个重要子领域，其旨在从海量文本数据中自动抽取出有价值的信息，并以结构化的形式呈现出来。当前，最优秀的事件抽取方法为基于深度学习的事件抽取方法，其中又以基于预训练语言模型(又被称为预训练语言编码器)的事件抽取方法为最前沿与最优秀的方法。但是，该方法具有一些显著的问题：

2、(1)预训练语言模型需要高质量、大规模的预训练数据进行预训练才能取得优秀表现，这些数据通常不对公众开放。就算能获取到这些数据，一般的机构也难以承担其的训练成本。

3、(2)所述的问题导致在基于预训练语言模型构建算法时，一般只能使用相关机构所公开的集中模型，这严重影响了相关算法在构建时的灵活性与针对性。

技术实现思路

1、本发明提供一种基于知识蒸馏技术的中文事件抽取方法。该方法是针对现有前沿领域的中文事件抽取方法所存在的不足而设计的一种事件抽取方法，能够有效地在中文数据上进行事件抽取，并且可以通过知识蒸馏的方式将优质算法的性能蒸馏到未预训练的模型中，以大幅提升其预测表现、降低参数数量并且提供灵活构建算法的能力。为了实现上述目的，现提出方案如下：

2、(1)基于高质量预训练语言模型构建事件抽取算法作为教师模型，教师模型的参数量较多且具有完整、高质量的预训练阶段，其在中文事件抽取任务上的表现较好；

3、(2)基于轻量级预训练语言模型构建事件抽取算法作为学生模型，学生模型的层数较低、参数量较少且不具有预训练过程，如果直接应用到中文事件抽取任务上，其表现较差；

4、(3)基于离线蒸馏的方式，使用所述教师模型对所述学生模型进行知识蒸馏训练，提升学生模型的预测表现。

5、第一方面，本发明提供一种基于知识蒸馏技术的中文事件抽取算法的构建方式，具体包括：

6、(1)基于高质量预训练语言模型构建事件抽取算法作为教师模型，由于事件抽取算法通常包含事件检测与事件参数抽取两个子任务，因此所构建的算法也包括事件检测子模型与事件参数抽取子模型；

7、(2)获取目标数据集并对分别所述事件检测子模型进行事件检测任务训练、对所述事件参数抽取子模型进行事件参数抽取任务训练。保存训练过程中得到的两个最优子模型；

8、(3)基于轻量级预训练语言模型构建事件抽取算法作为学生模型。与所述教师模型相同，学生模型也包括事件检测子模型与事件参数抽取子模型；

9、(4)基于离线蒸馏的方式，在目标数据集上使用所述教师模型对所述学生模型进行知识蒸馏训练。保存训练过程中得到的两个最优子模型，其共同组成了目标中文事件抽取算法模型。

10、第二方面，本发明提供一种基于所述算法的中文事件抽取方法，具体包括：

11、(1)将需要进行事件抽取的数据文本拆分为字符序列；

12、(2)将所述字符序列输入到事件检测子模型中，得到对应的触发词与事件类别(0到多个)；

13、(3)将所述事件类别按顺序与所述字符序列连接并分别输入到事件参数抽取子模型中，得到对应的事件参数与事件参数角色。

1.一种基于知识蒸馏技术的中文事件抽取方法，其特征在于，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，所述事件抽取教师模型构建的步骤如下：

3.根据权利要求1所述的方法，其特征在于，所述事件抽取学生模型构建的步骤如下：

4.根据权利要求1所述的方法，其特征在于，所述教师模型事件抽取训练的具体步骤包括：

5.根据权利要求1所述的方法，其特征在于，所述基于知识蒸馏技术的学生模型事件抽取训练的具体步骤包括：

6.一种基于所述模型的中文事件抽取算法执行方法，所述方法用于执行如权利要求1所构建的中文事件抽取模型，其特征在于，所述方法包括：

7.根据权利要求5所述的方法，其特征在于，所述的事件检测流程包括如下步骤：

8.根据权利要求5所述的方法，其特征在于，所述事件参数抽取流程包括如下步骤：