2021 ICCV (2021icpc沈阳)

ICCV 2021 | 半监督二维人体姿态估计中的模型坍塌问题研究(代码已开源)

本文是计算机视觉领域顶级会议ICCV2021入选论文《An Empirical Study of the Collapsing Problem in Semi-Supervised 2D Human Pose Estimation(半监督二维人体姿态估计中的模型坍塌问题研究)》的解读。 该论文由北京大学王亦洲课题组与微软亚洲研究院合作完成,研究了一致性学习算法在二维人体姿态估计中的模型坍塌问题,并提出了构建预测难度存在差异的样本对来解决该问题。本文提出的算法可以有效地利用无标记数据中的信息,显著提高了姿态估计模型的泛化能力。

ICCV 2021 | 半监督二维人体姿态估计中的模型坍塌问题研究(代码已开源)

论文地址:

研究背景

二维人体姿态估计在公开数据集上的精度不断获得提升,但因为部署场景和训练数据的差异,绝大多数模型在实际使用时都会面临泛化性能降低这一挑战。半监督学习为解决这一问题提供了可能,它利用少量标注数据和大量无标注数据(比如来自实际部署场景)进行共同训练,期望提升模型在目标场景下的泛化能力。

目前半监督学习的方法中,结果最好的方法大多基于一致性训练(Consistency-based)[1][2]。也就是要求模型在一张图像的不同扰动(PerturBATion)上产生一致的输出,从而去探索无标签图像中存在的特征。一致性损失如公式所示,代表模型输出,表示扰动参数。但是,目前绝大多数工作都只在分类任务上进行了算法有效性的验证。

ICCV 2021 | 半监督二维人体姿态估计中的模型坍塌问题研究(代码已开源)

但当我们把这些方法应用到二维人体姿态估计时,我们发现大部分的一致性训练方法都遇到了模型坍塌的问题(MODEL Collapsing)—— 模型在有标注的图像上能够预测出正确的heatmap,但在无标注的图像上对每个像素的预测都是0。 注意在这种情况下,虽然一致性损失是最小的,但模型在无标签数据上却没有学到任何有意义的信息。

ICCV 2021 | 半监督二维人体姿态估计中的模型坍塌问题研究(代码已开源)

图1. 经典的一致性训练方法在二维人体姿态估计任务上的表现。(a) 预测 Heatmap 响应的变化。(b) 平均精确率的变化。

具体情况如图1 (a) 所示,随着训练次数的增加,模型在无标注数据上产生退化的输出(整张图像被预测成背景)。有意思的是模型在标注数据上依然能够产生正确的输出,这个观察意味着网络能够区分训练图像来自于无标注/有标注数据集。在图1 (b) 中,模型在验证数据集上的精度逐渐接近于0,可确认此时发生了退化。

问题分析

在文章里,我们通过实验对这个现象进行了深入分析,发现可能是类别不均衡问题导致的。在人体姿态估计任务中,一张图像中绝大部分像素属于背景,只有一小部分属于前景(对应关节点附近的高斯区域)。因此该任务中存在非常严重的类别不均衡问题。

对应 的像素(来自于两个 Perturbations)产生不一致的预测时 经典的一致性训练方法中,试图 同时更新两个预测值 ,从而移动决策边界,使得两者位于边界的同一侧。 而因为类别不均衡问题的存在,决策边界倾向于移动到全局来看样本数目更稀疏的少数类别区域(也就是前景)。 因此,随着训练的进行,我们发现越来越多的像素被预测成背景。

ICCV 2021 | 半监督二维人体姿态估计中的模型坍塌问题研究(代码已开源)
图2. (A) 进行无监督训练前的决策边界。(B) 经典的一致性训练方法试图让同一图像在不同扰动下的预测保持一致,因此该损失函数倾向于驱动决策平面移动到样本数量较少的前景区域,从而导致越来越多的像素被预测成背景。(C) 本文提出的方法,具体介绍见下文。
本文方法
面的分析促使我们在计算一致性损失的时候,应该考虑两个输出的准确性,从而用 相对准确的预测去监督另外一个预测 我们在统计中发现,对图像进行简单的图像增强后得到的结果要比进行困难的图像增强更准确。 基于此,我们提出了一个非常简单的训练方式。
ICCV 2021 | 半监督二维人体姿态估计中的模型坍塌问题研究(代码已开源)
图3. 本文提出的 Easy-Hard 数据增强方法
如上图所示,针对一张无标签图像,我们分别进行一次“Easy”和“Hard”的图像增强,并将其分别输入姿态估计模型预测 Heatmap。当网络接收来自于简单增强的图像时,得到的预测值被当作 Teacher,用于监督对应的接收困难增强的图像的预测。
值得注意的是,这里的 梯度传播是单向的 ,也就是说困难增强的图像的结果并不会去指导对应的简单增强的图像,从而尽可能降低因为错误的监督而导致模型退化的可能性。这种方法可以成功避免退化的问题,其训练过程和结果可参考图4。
ICCV 2021 | 半监督二维人体姿态估计中的模型坍塌问题研究(代码已开源)
图4. 本文方法成功解决了模型退化的问题
双重网络
在 Easy-Hard 增强方法解决了模型退化问题的基础上,本文中进一步提出了双重网络的训练方式。双重网络通过增加 Teacher 和 Student 预测间的差异,来避免一致性训练过早收敛,从而提高了半监督学习的效果。
如图5所示,该方法同时训练两个参数独立且初始化不同的网络,并且在它们之间通过无标记样本来交换信息。该方法同样使用了 Easy-Hard 增强方法来避免模型退化。具体来说,模型一在简单样本下得到的预测,将用于监督模型二在困难样本下的预测。反之亦然,模型二的预测值也同样用于指导模型一的训练,两者互为教师和学生模型。
ICCV 2021 | 半监督二维人体姿态估计中的模型坍塌问题研究(代码已开源)
图5. 本文提出的双重网络模型
实验结果
我们在多个数据集和多个基线方法上进行了大量的实验,验证了本文提出的训练方式可以取得非常好的效果。
ICCV 2021 | 半监督二维人体姿态估计中的模型坍塌问题研究(代码已开源)
表1. COCO 数据集中半监督学习设置下的结果
ICCV 2021 | 半监督二维人体姿态估计中的模型坍塌问题研究(代码已开源)
表2. COCO 数据集中使用全量标记样本,在验证集的结果
ICCV 2021 | 半监督二维人体姿态估计中的模型坍塌问题研究(代码已开源)
表3.COCO 数据集中使用全量标记样本,在测试集的结果
在 COCO 数据集上,当只使用少量标签数据时(表1),本文的方法大约能提升8%-13%的平均精确率。如表2、表3所示,在使用训练集的全量数据时,本文方法仍然能够增加2%-3%的平均精确率。这些结果都验证了本文方法的有效性和实用性。此外,论文中还汇报了本文方法在领域自适应,模型预训练等任务中的应用结果,也取得了较显著的改善。

参考文献

ICCV 2021 | 半监督二维人体姿态估计中的模型坍塌问题研究(代码已开源)

版权文章,未经授权禁止转载。详情见 转载须知 。

ICCV 2021 | 半监督二维人体姿态估计中的模型坍塌问题研究(代码已开源)


本文地址: https://www.gpxz.com/article/817c1fab643bf02bd66d.html
全局中部横幅
全局中部横幅
机械刀片,机械模具,机械刀模

杭州擎昊机械刀模有限公司是杭州地区唯一一家专业研制、开发、设计、生产销售各类机械刀片、机械模具、配件等产品的多元化企业。联系电话:0571-86392179,13065715650

电脑软件下载

电脑软件下载,电脑软件大全,PC软件官方下载,Windows软件下载

电力监控系统

电力监控系统、录波型多功能表、直流故障录波器、远程监测软件与设备供应厂商,推荐【泰科电气】,专注电力监控、智能监测、数据在线采集、大数据分析术10年+,电力数据监测精度高,采样频率高,通信稳定可靠。各工矿企业、变电站、基站、数据中心、中心机房客户认可度高,拥有强大的技术团队,支持免费咨询,服务优质,可为广大客户提供解决方案、产品开发定制服务,欢迎咨询!

康明斯发电机组

康明斯电力可提供高端用户订制预集成系统解决方案和机房环保交钥匙工程,用户可从各种经过现场验证的机型中进行选择适合功率,所有产品提供机载和远程诊断和控制、低振动和低噪音以及高质量的输出。特别处于上海市、安徽合肥及江苏南京等周边省市用户,还可以通过庞大的全球支持网络高枕无忧。作为全球十大耐用性品牌排行榜前十名厂家,无论您在哪里使用,您都可以信赖康明斯。

玻璃钢鳞片防腐

山东星辰环保科技有限公司是玻璃钢鳞片防腐,电除雾器,湿式静电除尘器,玻璃钢电除雾器,电除雾器导电管,湿式静电除尘器,玻璃钢烟囱,玻璃钢脱硫管,玻璃钢脱硫塔,玻璃钢容器,玻璃钢冷却塔生产厂家。  山东星辰环保科技有限公司全体员工愿以“合格的工艺设备、雄厚的技术力量、优良的产品质量、完善的售后服务”竭诚与您合作。

锐奇应用

【锐奇应用】是国内领先的微信小程序开发工具,制作过程无需代码,拖拽可视化组件即可完成,拥有海量小程序行业模板,帮助千万商户一键生成微信小程序。

吸塑包装厂家

山东恒硕塑业有限公司主营:玉米淀粉可降解餐盒,汽车配件托盘,电子托盘,礼盒内托,鸡蛋托,酒托等多种吸塑包装产品,咨询电话:15554988730(郑经理)13305499949(宋总)

CMMS

领值信息-专业设备维护管理系统.提供CMMS,EAM资产设备管理系统,设备管理软件,设备巡检管理系统,设备设施管理系统,智能巡检,点巡检管理系统实施服务。EAM/CMMS设备管理系统咨询热线:021-69580696

订货系统

「安菲科技」订货商城系统,为企业打通上下游订货渠道,实现手机/微信/小程序/电脑便捷下单订货,适用于连锁加盟、工厂、经销批发等行业作为在线订货商城、微信小程序订货商城、客户订货管理系统,帮助企业拓展销售渠道提升销量,全面管控采购、销售、仓库、对账和内部协同工作,实现“采购+销售+仓库+财务”的数据化管理!

北京网站建设公司

酷软科技为企业提供北京网站模板,家居网站建设,家具网站建设,装饰网站建设等解决方案的杭州网络公司。做网站电话:0571-87209595。专业致力于为企业及个人提供优质的互联网服务,项目包括北京网站设计,北京网站制作、程序开发、平面设计、域名注册、虚拟主机、网站推广、网站优化等。

山东净化工程设备,10万级净化车间,山东风淋室,不锈钢风淋室规格,多人风淋室尺寸,单人风淋门生产厂家,货淋室通道价格,青岛华创环保科技有限公司

青岛华创环保科技有限公司是专业从事山东净化工程设备,10万级净化车间,山东风淋室,不锈钢风淋室规格,多人风淋室尺寸,单人风淋门生产厂家,货淋室通道价格,风淋设备,单人风淋室、双人双吹风淋室、彩钢板风淋室、不锈钢风淋室、防爆风淋室、自动感应门风淋室、快速卷帘门货淋室、风淋通道、货淋室等,从事净化工程、净化厂房等业务的设计、生产、销售、服务为一体的综合型净化公司。

全局底部横幅