一种文本知识库内知识点消歧的方法与流程

本发明属于文本消歧，具体涉及一种文本知识库内知识点消歧的方法。

背景技术：

1、随着互联网和数字化技术的飞速发展，人们可以轻松地获取大量的文本信息，这些信息包括但不限于新闻文章、学术论文、社交媒体内容等。然而，这些文本信息通常具有高度的歧义性和复杂性，使得从中准确提取知识点成为一项具有挑战性的任务。

2、在自然语言处理(nlp)领域，知识点的歧义消除是一个长期存在的问题。例如，在一篇文章中提到“苹果”时，它可能指的是水果，也可能指的是科技公司，甚至可能指的是某种品牌的笔记本电脑。因此，为了准确理解和利用文本信息，有必要对知识点进行消歧，即确定特定上下文中知识点的确切含义。

3、传统的知识点消歧方法主要基于词语频率、词性标注等浅层特征，存在着对上下文语境理解不足、歧义判断不准确等问题。随着深度学习和语义表示技术的发展，基于神经网络的方法开始受到关注，它们能够利用丰富的语义信息进行知识点消歧，但仍然存在训练数据需求大、计算资源消耗高等挑战。

4、因此，有必要提出一种结合传统方法和深度学习技术的文本知识库内知识点消歧方法，以提高消歧准确性和效率，满足现代信息处理的需求。这种方法应该能够充分利用文本知识库中丰富的语义信息，并结合上下文语境进行准确的知识点消歧，为各种nlp应用提供可靠的知识服务。

技术实现思路

1、本发明的目的是提供一种文本知识库内知识点消歧的方法，通过获取待消歧知识点，利用社区检测和深度学习获取候选知识点集合，从语义、语境等多维度计算相似度评分，确定最佳消歧结果。相较于传统方法，避免了语义理解不足导致的消歧不准确问题，提高了准确性、可靠性、完整性和效率。

2、本发明采取的技术方案具体如下：

3、一种文本知识库内知识点消歧的方法，包括以下步骤：

4、获取文本内容，通过知识库对文本内容提取待消歧知识点，并对文本内容进行预处理；

5、对待消歧知识点进行全局统计，将待消歧知识点转换为待校验向量并存入向量数据库；

6、根据待消歧知识点生成若干候选知识点；

7、通过消歧模型计算待消歧知识点和候选知识点的相似度，获取每个候选知识点的相似度综合评分；

8、根据相似度评分确定消歧结果，将消歧结果响应至前端。

9、在一种优选方案中，所述对文本内容进行预处理，包括以下步骤：

10、对文本内容进行数据清洗，并标准化数据格式，获得清洗数据；

11、对清洗数据进行分词处理，将文本内容拆分成若干个词汇单元；

12、对词汇单元进行词性标注，识别出每个词汇单元的词性；

13、根据词性标注结果，对词汇单元进行过滤和筛选，去除停用词，获得预处理数据。

14、在一种优选方案中，所述将待消歧知识点转换为待校验向量并存入向量数据库，包括以下步骤：

15、构建映射规则；

16、从预处理数据提取关键特征，所述关键特征包括：实体特征和概念特征；

17、根据映射规则对关键特征进行量化映射，并将其映射结果输出为待消歧向量数据并存入向量数据库。

18、在一种优选方案中，所述根据待消歧知识点生成若干候选知识点，包括以下步骤：

19、根据预处理数据提取关键特征之间的关系，并构建包含有多个网络节点和边的关系网络，其中，每个网络节点代表一个关键特征，每个边表示相邻的关键特征之间的关系；

20、识别关系网络的社区，其中，每个社区均由多个紧密相连的节点组成，且位于同一个社区中的多个节点具有相似的特性或属性；

21、将知识库中具有相似语义关系的关键特征聚类到同一个社区中，获得第一集合；

22、根据待消歧知识点的上下文对第一候选集合中的元素进行分析和筛除，获得候选知识点集合。

23、在一种优选方案中，通过消歧模型计算待消歧知识点和候选知识点的相似度，获取每个候选知识点的相似度综合评分，包括以下步骤：

24、构建消歧模型，消歧模型至少包括：语义计算模型、语境计算模型、余弦相似度计算模型；

25、构建多个评分表，多个评分表和多个计算模型一一对应，每个评分表设置有多个评分区间，每个评分区间对应一个评分；

26、将候选知识点集合中的每个元素依次输入至多个计算模型中，通过多个计算模型获取每个候选知识点的多个评分；

27、将每个候选知识点的多个评分输入相似度计算公式中，计算每个候选支点的相似度综合评分，相似度计算公式为：f＝f1+f2+f3，其中，f表示相似度综合评分，f1表示语义评分，f2表示语境评分，f3表示余弦相似度计算模型评分。

28、在一种优选方案中，所述将消歧结果响应至前端，包括以下步骤：

29、将相似度综合评分最高的候选知识点标记为消歧结果，对消歧结果进行格式处理，以适应前端显示需求；

30、与文本内容原文一起封装成响应数据；

31、将响应数据发送至前端。

32、在一种优选方案中，将候选集合中的每个元素依次输入至多个计算模型中之前的步骤还包括：通过知识库将候选知识点转换为候选向量数据。

33、一种文本知识库内知识点消歧系统，适用于上述任一项所述的一种文本知识库内知识点消歧的方法，包括：

34、获取模块，所述获取模块用于获取文本内容并提取待消歧知识点；

35、处理模块，所述处理模块用于对文本内容进行预处理并将待消歧知识点转换为向量数据；

36、评估模块，所述评估模块用于计算候选知识点的相似度评分；

37、反馈收集模块，所述反馈收集模块用于输出消歧结果并收集用户的反馈意见，并将反馈意见传输给处理模块；

38、存储模块，所述存储模块用于存储数据和相关信息。

39、本发明取得的技术效果为：

40、本发明通过获取文本内容中的待消歧知识点，并根据社区检测技术和深度学习的方法获取候选知识点集合，并通过从语义、语境等多个维度，计算每个候选知识点的相似度综合评分，判定最佳消歧结果，相对于传统消歧方法，避免了语义信息理解不足，难以准确捕捉知识点的含义，导致消歧结果不够准确的情况，提高了知识点消歧的准确性、可靠性、完整性以及消歧效率。

1.一种文本知识库内知识点消歧的方法，其特征在于：包括以下步骤：

2.根据权利要求1所述的一种文本知识库内知识点消歧的方法，其特征在于：所述对文本内容进行预处理，包括以下步骤：

3.根据权利要求1所述的一种文本知识库内知识点消歧的方法，其特征在于：所述将待消歧知识点转换为待校验向量并存入向量数据库，包括以下步骤：

4.根据权利要求1所述的一种文本知识库内知识点消歧的方法，其特征在于：所述根据待消歧知识点生成若干候选知识点，包括以下步骤：

5.根据权利要求1所述的一种文本知识库内知识点消歧的方法，其特征在于：通过消歧模型计算待消歧知识点和候选知识点的相似度，获取每个候选知识点的相似度综合评分，包括以下步骤：

6.根据权利要求1所述的一种文本知识库内知识点消歧的方法，其特征在于：所述将消歧结果响应至前端，包括以下步骤：

7.根据权利要求1所述的一种文本知识库内知识点消歧的方法，其特征在于：将候选集合中的每个元素依次输入至多个计算模型中之前的步骤还包括：通过知识库将候选知识点转换为候选向量数据。

8.一种文本知识库内知识点消歧系统，适用于权利要求1至7中任一项所述的一种文本知识库内知识点消歧的方法，包括：