ICCV2021 (iccv2024)

文章编号:44336 最新资讯 2024-12-09 ICCV2021 变化检测器 武汉大学
ICCV2021 |大学提出“变化无处不在”单时相监督的变化检测器

ICCV2021 |大学提出“变化无处不在”单时相监督的变化检测器

武汉大学测绘遥感信息工程国家重点实验室RSIDEA团队 在变化检测方面的工作,已被ICCV 2021接收。
针对成对双时相变化检测训练样本标注耗时、收集困难的问题,提出了一种新颖的 ,其利用非成对单时相遥感影像构造伪双时相监督信号,以学习变化表征;同时提出了一种 ,其通过核心模块ChangeMixin,可将任意语义分割模型转化为变化检测器,从而复用现有的优秀架构,揭示了语义分割与变化检测之间的内在联系。
实验表明,单时相监督下的ChangeStar较Baseline取得显著提升, 在Zero-Shot验证条件下,与强监督模型精度差距缩小到10%以内;在强监督(双时相监督)的设定下,基于FarSeg的ChangeStar在LEVIR-CD数据集上实现了state-of-the-art的精度。



变化无处不在

我们观察到,成对标记的位时图像的重要性在于, 变化检测器需要成对的语义信息来定义对象变化检测的正负样本。 这些正、负样本通常是由两个不同时间的像素在同一地理区域是否具有不同的语义来决定的。位时像素的语义控制着标签分配,而位置一致性条件(两个时相的像素应处于相同的地理位置)仅用于保证独立同分布的训练和推理。可以想象,如果我们松弛位置一致性条件来定义正负样本,那么变化是无处不在的,尤其是在未配对的图像之间。



方法简介
STAR旨在通过带有语义像素标签的任意图像对学习一个可泛化的变化检测器。 为了实现这一点,我们构造了伪双时相图像对,松弛了传统的双时相监督的变化检测学习问题,如下式:

ICCV2021 |大学提出“变化无处不在”单时相监督的变化检测器

其中Xi, Xj为真实双时相图像对,对应的Y是其语义像素标签,F ICCV2021 |大学提出“变化无处不在”单时相监督的变化检测器 为变化检测器参数。将伪双时相图像对(Xt1, ICCV2021 |大学提出“变化无处不在”单时相监督的变化检测器 Xt1)替换为真实双时相图像对,并重新利用逻辑异或运算分配伪双时相图像对的变化标签,从而将原学习问题松弛为下式的仅利用单时相图像即可完成的学习问题:

ICCV2021 |大学提出“变化无处不在”单时相监督的变化检测器

为了利用单时相图像提供监督信号,我们提出了一种伪双时相图像对构建技术,其通过对一个训练批次中的图像Xt1进行随机排列得到伪第二时相图像 ICCV2021 |大学提出“变化无处不在”单时相监督的变化检测器 Xt1,并且保证每个伪图像对中的图像各不相同。通过观察可以发现,伪双时相图像对的变化标签可用两张图像的语义像素标签(one-hot为二值标签)的逻辑异或表示,这样即可完成伪双时相图像对的正负样本定义。

ICCV2021 |大学提出“变化无处不在”单时相监督的变化检测器

图1:模型训练与推理流程

ChangeStar是一个简单而统一的网络,由一个深度语义分割模型和ChangeMixin模块组成。 这种设计的核心思想在于 重用现代语义分割架构 ,因为语义分割和物体变化检测都是密集的预测任务。为此,我们设计了ChangeMixin模块,使任何现成的深度语义分割模型能够检测物体变化。ChangeMixixin模块由若干卷积层和一个时序交换模块组成,其输入由分割模型计算得到的高分辨率语义特征,输出双向的变化检测图用于后续的学习与推理。我们在实验中发现,一个收敛的模型,双向变化检测图相似度极高,因此在推理阶段我们选择其中一个方向的变化检测图作为最终预测值。


主要实验结果

这部分展示了所提出方法在不同训练数据与测试数据下的泛化性实验结果。对比方法采用基于深度语义分割模型的分类后比较法,作为单时相监督的基线。实验结果表明,所提出的方法可有效提升单时相监督下的变化检测性能,具有很好的泛化性能。

ICCV2021 |大学提出“变化无处不在”单时相监督的变化检测器

同时为了验证所提出架构的有效性,我们在双时相监督下训练了ChangeStar模型的各种变体。实验结果(表4)表明 ChangeStar架构对已有的分割模型具有良好的兼容性,在相同骨干网络的情况下可取得更加优异的性能。

ICCV2021 |大学提出“变化无处不在”单时相监督的变化检测器

为了了解单时相、双时相监督之间的实际差距,我们利用相同模型开展了多组对照实验,从实验结果中可以发现,单时相监督作为一种弱监督信号,与双时相监督这种强监督信号相比仍有一定差距,但差距随着骨干网络容量的提升而减小, 目前F1精度差距最小可缩小到10%以内。 然而本文提出的方法仅仅是在单时相监督上的初步探索,未来还有更大的改进空间,例如使用模型容量更大的transfomer模型作为基础模型、更大的单时相监督数据、更好的单时相监督学习策略都是值得未来探索的研究话题。

ICCV2021 |大学提出“变化无处不在”单时相监督的变化检测器

更多的消融实验与讨论可见原文。



总结

在这项工作中,我们提出了 巧妙绕过了传统的双时相监督学习中收集成对标记数据成本高的问题。 STAR提供了一个利用任意图像对中的物体变化作为监督信号的新视角。为了证明STAR的有效性,我们设计了一个简单而有效的多任务架构,称为 用于联合语义分割和变化检测,它可以通过进一步提出的ChangeMixin模块重新使用任何深度语义分割架构。

大量的实验分析表明,提出的方法可以以较弱监督信息学习一个鲁棒的变化检测器;同样双时相监督条件下,超越了目前的state-of-the-art方法。我们希望STAR将作为一个坚实的基线,在未来服务于弱监督变化检测研究。

ICCV2021 |大学提出“变化无处不在”单时相监督的变化检测器

版权文章,未经授权禁止转载。详情见 转载须知 。

ICCV2021 |大学提出“变化无处不在”单时相监督的变化检测器


本文地址: /article/afb7b004f45023e7d9c1.html
全局中部横幅
全局中部横幅
股吧_东方财富网旗下股票社区_东方财富网股吧

股吧--东方财富网旗下股票主题社区,实时行情评论和个股交流让你感受到证券经济的力量。

决斗西游游戏在线玩-决斗西游在线玩游戏-PC6小游戏

手机决斗西游在线玩,决斗西游在线玩是一款以西游记为题材,以回合制战斗RPG为主要玩法的h5游戏,在熟悉的西游背景之下,加入原创主角和流行的穿越元素,打造出一个西游的平行世界。;您可以免费在线玩。

电影_优酷 - 为好内容全力以赴 - 海量正版高清视频在线观看

视频服务平台,提供视频播放,视频发布,视频搜索,视频分享

4399网页游戏 - 网页游戏开服表,游戏大厅,专注精品页游的一线游戏平台

4399网页游戏是专注精品页游的一线游戏平台,为广大玩家提供弹弹堂、传奇霸主、九天传、凡人修真2、村长征战团、梦幻飞仙、神魔遮天等精品好玩的网页游戏

上海格林东方酒店 - 上海写字楼信息网

上海格林东方酒店咨询电话(写字楼顾问):18472191250,地址上海市长宁区虹桥路2451号,距离地铁10号线上海动物园站897米。本站实时更新包括大厦的出租面积、出售面积、简介、交通位置、入驻企业、照片、日租金、售价、地图、楼盘参数和物业等相关信息。

现代金控金大宝|现代支付|金大宝pos机运营

免费领取现代金控-金大宝pos机,多元化消费场景可选,笔笔带积分,365天每日结算,实时不加任何手续费,现代支付,现代金控金大宝pos机专营,金大宝pos机代理,金小宝

群助手

{{lay.base.description}}

石头破碎机_石头破碎机价格-上海山美石头破碎机生产厂家

上海山美石头破碎机厂家专业生产中大型石头破碎机设备,有固定式和移动式,可破碎各种大小石头,价格优惠。

进出口许可证办理-代理出口退税-正穗广州进出口权代办网

正穗进出口权代办网专业为大家提供广州进出口权代办、出口退税办理等业务,同时还为大家解答一系列在进口和出口过程中遇见的问题,如有疑问可以前来咨询欢迎你的到来!

上海运城制版有限公司

运城制版是一家专业生产各类凹印版辊的企业,多年来致力于为凹印印刷厂家提供高质量的版辊和完善的服务。上海运城制版有限公司隶属于山西运城制版集团股份有限公司,是旗下六大总公司之一。自1994年公司成立至今,经过二十多年的健康发展,产品从单一的包装版到多元化产品:包装版、烟包版、壁纸版、木纹版、花布版、皮革版、陶瓷版、激光柔版,数字印刷、数码印花等。市场从国内到海外,二十年间实现了跨越式发展,目前已成为华东地区凹版印刷行业的优秀供货商之一,在华东地区享有很高声誉,成为众多国际国内品牌首选的制版合作伙伴。公司总部位于中国上海国际汽车城—嘉定区安亭镇,地处沪宁高速,312国道的交汇处,地理位置优越,交通便利。

超视_亚洲网视_企业电视台_中国可视化电子商务领导者

超视亚洲网视企业电视台_中国可视化电子商务领导者超视亚洲网视作为中国可视化电子商务先行者和领导者,是中国最早一批进入企业视频云计算领域的企业之一。亚洲网视为用户提供操作简单、功能强大、高效实用的,能够满足客户个性化需求的视频云计算服务平台,亚洲网视首创的在线主持人,在线交流大厅的模式,已经成为事实上的行业标准。亚洲网视开创的可视化电子商务模式,以网络视频技术为基础,以宽带提速和移动5G应用为契机,切入企业最核心的电子商务需求,为广大企事业单位搭建在线商务视频云计算平台

石家庄广告牌制作,河北广告字,广告标识,地产广告牌,广告牌厂家-石家庄佳恒广告有限公司

石家庄佳恒广告有限公司是一家专业的石家庄标识标牌制作,广告牌制作,河北广告字,广告标识,地产广告牌的厂家,本公司在行业内经过多年发展,在河北地区拥有较高的知名度。

全局底部横幅