一种基于标签感知全局一致性的单正多标签分类方法

本发明属于多标签分类领域，具体涉及一种基于标签感知全局一致性的单正多标签分类方法。

背景技术：

1、机器学习是推动各个领域智能化的重要技术之一。标注数据是大多数机器学习模型训练的基础，但获取标注数据通常耗时耗力，成为限制机器学习技术广泛应用的主要障碍之一。标注数据获取过程通常包括数据采集、数据清洗、数据标注和人工审查等步骤，其中数据标注尤为重要和复杂。例如，在医学影像分析领域，训练一个多标签分类模型需要对大量医学图像进行精确标注，这通常需要专业医生耗费大量时间和精力。

2、在实际应用中，数据往往是不完整的，通常只能获取每个样本的部分标签，而不是完整的多标签标注数据。这种情况同样出现在自然语言处理中的文本分类和推荐系统中的用户兴趣标签预测等领域。传统的多标签分类方法通常假设每个样本都有多个正标签，这些方法在标签信息充足的情况下表现良好，但在标注信息缺乏时性能显著下降。根据研究表明，现有的多标签学习方法在处理仅有单一正标签的情况下表现不佳，无法充分利用标签之间的关联信息，从而导致分类性能下降。

3、为了应对这些挑战，本发明提出了一种基于单一正标签数据的训练方法，通过构建标签感知矩阵和应用全局一致性准则，有效利用样本之间的标签相关性，提高分类准确性，减少对全面标注数据的依赖。这种方法在医学影像分析、自然语言处理和推荐系统等领域具有广泛的应用前景和实际价值。

技术实现思路

1、发明目的：为了降低数据标注代价，提高不完全标注数据的利用率，本发明提供一种基于标签感知全局一致性的单正多标签分类方法。

2、技术方案：本发明所述的一种基于标签感知全局一致性的单正多标签分类方法，具体包括以下步骤：

3、(1)给定一个带有n个样本的训练数据集合并初始化模型组件；

4、(2)从训练数据集合中随机挑选b个样本，将每个样本的未知标签全部假设为负标签，计算损失函数

5、(3)利用正、负伪标签阈值δ和对每个样本的分类预测值p进行划分，得到可信的正、负伪标签，计算伪标签一致性正则损失

6、(4)结合每个样本的单一正标签与步骤(3)中得到的伪标签，将预测为正标签的低维特征z归纳到每个类簇中，利用标签感知矩阵计算标签感知一致性正则损失

7、(5)以最小化总损失函数为目标，更新模型参数并返回步骤(2)迭代优化模型，直至模型收敛。

8、进一步地，所述步骤(1)实现过程如下：

9、训练数据集合其中，xn为样本，为单一正标签；初始化模型组件包括：特征编码器e(·)，分类器f(·)和非线性映射器g(·)，其中f(·)和g(·)处理e(·)提取的样本特征，输出分类预测值p和低维特征嵌入z；预设正、负伪标签阈值δ和用于划分样本的可信标签；所述分类器f(·)采用一层全连接层作为例子，非线性映射器g(·)采用两层全连接层和一层激活层。

10、进一步地，步骤(2)所述损失函数为：

11、使用bce损失，并引入了弱增强技术增加模型可见样本数，同时保证增强后语义信息的完整性，为：

12、

13、其中，为分类器f(·)预测输入augw(xn)的类概率向量，augw(·)表示弱增强方法，为单一正标签；l是类别总数，下标i为类别索引，即表示在第i个类别上的值，为在第i个类别上的值；所述弱增强方法包括图像的水平、垂直翻转，及文本的同义词替换。

14、进一步地，所述步骤(3)实现过程如下：

15、引入强增强augs(·)强化一致性，鼓励同一样本的强、弱增强版本的预测结果一致；将弱增强方法的预测值通过正、负伪标签阈值δ和筛选出高质量的伪标签，作为一致性正则的对象，即丢弃掉的部分标签；由如下公式计算：

16、

17、其中，为分类器f(·)预测输入augs(xn)的类概率向量，augs(·)表示强增强方法，为分类器f(·)预测输入augw(xn)的类概率向量，为单一正标签，l是类别总数，下标i为类别索引，即表示在第i个类别上的值；当弱增强样本augw(xn)的预测值大于等于阈值δ或原本标签为正时，则将样本xn的第i个类标记为正，对应式中的第一项；当预测值小于阈值时，则将样本xn的第i个类标记为负，对应式中的第二项；若预测值则丢弃该部分缺失标签；所述强增强方法包括图像的随机裁剪、翻转，及文本的随机删除。

18、进一步地，所述步骤(4)实现过程如下：

19、根据得到的伪标签，给预测为正标签的低维特征嵌入z分类，当或有c(zni)＝i，即只有样本在第i个类别上预测值大于等于阈值δ或单一正标签就是第i个类别时，才将该样本在第i个类别上的特征嵌入zni归为类别i；因此特征嵌入所属类别函数c(·)定义为：

20、

21、对于b个样本而言，有b'＝b×l个特征嵌入(每个样本有l个类别)；将满足的zni挑选出来，构成个特征嵌入作为的算子，即每个样本的低维特征嵌入根据类别维度被拆分成l份并筛选出伪标签为正的部分，用来作为后续计算的算子；筛选后的特征嵌入构成一个新的集合，定义为

22、定义标签感知矩阵i如下：

23、

24、最终，由如下公式计算：

25、

26、其中，exp(zj·zj'/τ)的作用是聚合相同类别的特征嵌入，的作用拉远不同类别的特征嵌入，τ为温度系数。

27、进一步地，步骤(5)所述总损失函数为：

28、

29、其中，λplc和λlac为权重超参数，用于调整各项损失的权重，为伪标签一致性正则损失，为标签感知一致性正则损失；所述λplc和λlac取值都为1。

30、有益效果：与现有技术相比，本发明的有益效果：本发明通过构建标签感知矩阵并应用全局一致性准则，能够充分利用样本之间的标签相关性，从而显著提高多标签分类的准确性；传统的多标签分类方法通常需要每个样本都有多个正标签，而本发明的方法能够在每个样本仅有单一正标签的情况下，依然保持较高的分类性能，减少了对全面标注数据的依赖；本发明在处理不完整标注数据时表现优异，能够有效利用有限的标注信息进行训练，适用于标注成本高、标注信息不完整的实际应用场景；本发明在医学影像分析、自然语言处理和推荐系统等领域均表现出显著的优越性，能够广泛应用于这些需要多标签分类的实际应用中，具有重要的实用价值；本发明采用迭代优化算法，通过计算优化目标函数的梯度并更新模型参数，实现最大化全局一致性准则，优化过程简单且高效，易于实现和应用；本发明能够通过动态更新标签感知矩阵，适应新数据的加入，提升模型的泛化能力和适应性，从而在不断变化的数据环境中保持高性能；本发明通过有效利用单一正标签的数据，本发明的方法显著减少了数据标注的成本和时间，提高了模型训练的效率，使其更适合资源受限的应用场景。

1.一种基于标签感知全局一致性的单正多标签分类方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的一种基于标签感知全局一致性的单正多标签分类方法，其特征在于，所述步骤(1)实现过程如下：

3.根据权利要求1所述的一种基于标签感知全局一致性的单正多标签分类方法，其特征在于，步骤(2)所述损失函数为：

4.根据权利要求1所述的一种基于标签感知全局一致性的单正多标签分类方法，其特征在于，所述步骤(3)实现过程如下：

5.根据权利要求1所述的一种基于标签感知全局一致性的单正多标签分类方法，其特征在于，所述步骤(4)实现过程如下：

6.根据权利要求1所述的一种基于标签感知全局一致性的单正多标签分类方法，其特征在于，步骤(5)所述总损失函数为：

7.根据权利要求2所述的一种基于标签感知全局一致性的单正多标签分类方法，其特征在于，所述分类器f(·)采用一层全连接层作为例子，非线性映射器g(·)采用两层全连接层和一层激活层。

8.根据权利要求3所述的一种基于标签感知全局一致性的单正多标签分类方法，其特征在于，所述弱增强方法包括图像的水平、垂直翻转，及文本的同义词替换。

9.根据权利要求4所述的一种基于标签感知全局一致性的单正多标签分类方法，其特征在于，所述强增强方法包括图像的随机裁剪、翻转，及文本的随机删除。

10.根据权利要求6所述的一种基于标签感知全局一致性的单正多标签分类方法，其特征在于，所述λplc和λlac取值都为1。