【技术指南】弱监督多标签分类(WSML)方法

前言 本文提出了一种新颖的弱监督多标签分类 (WSML) 方法,该方法拒绝或纠正大量损失样本,以防止模型记住噪声标签。由于没有繁重和复杂的组件,所提出的方法在几个部分标记设置上优于以前最先进的 WSML 方法,包括 Pascal VOC 2012、MS COCO、NUSWIDE、CUB 和 OpenImages V3 数据集各种分析也表明该方法在实践中效果很好,验证了正确处理弱监督多标签分类中的损失很重要。

欢迎关注公众号CV技术指南,重点关注计算机视觉技术总结、最新技术跟踪、经典论文解读、CV招聘信息。

论文:弱监督多标签分类中的大损失问题

论文:

代码:

背景

利用每张图像的部分观察标签来学习多标签分类的弱监督多标签分类 (WSML) 任务由于其巨大的标注成本而变得越来越重要。

目前,有两种简单的方法可以使用部分标签来训练模型。一种是只使用观察到的标签来训练模型,而忽略未观察到的标签。另一种是假设所有未观察到的标签都是负的,并将它们纳入训练,因为在多标签设置中,大多数标签都是负的。

但第二种方法有一个局限性,即这种假设会在标签中产生一些噪声,从而阻碍模型学习,因此之前的大部分工作都遵循第一种方法,并尝试使用各种技术(例如自举或正则化)进行探索未观察到的标签的线索。然而,这些方法涉及密集的计算或复杂的优化管道。

基于上述思路,作者假设如果标签噪声可以得到妥善处理,第二种方法可能是一个很好的起点,因为它的优点是可以将许多真正的否定标签纳入模型训练。因此,作者从噪声标签学习的角度来看待WSML问题。

众所周知,在训练带有噪声标签的模型时,模型首先适应干净的标签,然后开始记忆噪声标签。虽然之前的研究表明,记忆效应仅存在于嘈杂的多类分类场景中,但作者发现同样的效果存在于嘈杂的多标签分类场景中。如图 1 所示,在训练过程中,干净标签(真阴性)的损失值从一开始就减小,而噪声标签(假阴性)的损失值从中间减小。

图1 WSML中的记忆效应

基于这一发现,作者开发了三种不同的方案,通过在训练期间拒绝或纠正大量损失样本来防止误报标签被记忆到多标签分类模型中。

贡献

1) 首次通过实验证明在嘈杂的多标签分类过程中会出现记忆效应。

2) 提出了一种新的弱监督多标签分类方案,该方案明确利用了带有噪声标签的学习技术。

3) 所提出的方法轻量级和简单,在各种部分标记的数据集上实现了最先进的分类性能。

方法

在本文中,作者提出了新的 WSML 方法,其灵感来自嘈杂的多类学习的思想,忽略了模型训练过程中的巨大损失。通过在损失函数中进一步引入权重项λi:

作者提出了三种不同的方案来提供权重λi,示意图描述如图2所示。

图2所提出方法的整体流程

1.损失被拒绝

处理大量损失样本的一种方法是通过设置 λi=0 来拒绝它。在嘈杂的多类任务中,B. Han 等人。提出了一种在训练过程中逐渐增加拒绝率的方法。作者还设置了函数λi,

由于模型在初始阶段学习了清晰的模式,因此它不会拒绝 t=1 时的任何损失值。在每次迭代中使用小批量而不是全批量 D’ 来构成损失集。作者将此方法称为 LL-R。

2. 损坏修正(临时)

处理大量损失样本的另一种方法是纠正而不是拒绝它。在多标签设置中,这可以通过将相应的注释从负值切换为正值来轻松实现。 “临时”一词的意思是它不改变实际的标签,而只使用从修改后的标签计算的损失,将函数 λi 定义为

作者将此方法命名为 LL-Ct。这种方法的优点是它增加了未观察到的标签中真正的正标签的数量。

3. 损坏修正(永久)

通过永久更正标签更积极地处理更大的损失值。直接将标签从负数改为正数,并在接下来的训练过程中使用修改后的标签。为此,为每种情况定义 λi=1,并按如下方式修改标签:

作者将此方法命名为 LL-Cp。

实验

表 2 部分人工标注数据集的定量结果

表 3 OpenImages V3 数据集中的定量结果

图3人工生成的COCO部分标签数据集的定性结果

图4 COCO数据集上所提方法的精度分析

图5 LL-Ct对COCO数据集的超参数影响

图 6 使用较少数量的图像进行训练

Table 4 指点游戏

结论

在本文中,作者提出了一种损失修正方案,该方案拒绝或纠正在训练具有部分标记注释的多标签分类模型时出现的大量损失样本。这源于经验观察,即在嘈杂的多标签分类场景中也会发生记忆效应。

虽然不包括繁重和复杂的组件,但我们的方案成功地防止了多标签分类模型记忆嘈杂的假阴性标签,在各种部分标记的多标签数据集上实现了最先进的性能。

———————————– ———- ———————————-

CV技术指南创建了计算机视觉技术交流群和知识星球免费版。目前,地球人数已达700+,话题数已达200+。

知识星球每天都会发布一些作业,指导大家学习一些东西。可以根据功课继续打卡学习。在CV技术群里,每天都会发布最近几天出来的顶级会议论文。您可以选择自己感兴趣的论文阅读,继续关注最新技术。如果您在阅读后撰写解释并提交给我们,您还可以获得稿费。此外,各种期刊和会议的论文征集也会在技术群和朋友圈发布。如有需要,请扫码加好友,及时关注。

© 版权声明
THE END
喜欢就支持一下吧
点赞40赞赏 分享
评论 抢沙发
头像
欢迎您留下宝贵的见解!
提交
头像

昵称

取消
昵称表情代码图片

    暂无评论内容