2019 用图神经网络改善视频的多标签分类 ICCV 论文解读 (2019一2020图)
语音播放文章内容
由深声科技提供技术支持
作者 | 王磊
本文介绍了汽车之家团队在ICCV 2019一篇关于视频理解论文相关的工作。针对视频多标签分类的问题，论文提出了将视频多标签之间相关性特征加入到网络之中，结果证明该方法可以显著的提高视频多标签分类效果。
一、背景介绍
随着视频应用的不断普及，视频内容理解与分析成为计算机视觉领域的一个热门研究方向。2017年，Google开源了其大规模视频内容数据集Youtube8M，鼓励研究者通过该数据集利用深度学习技术进行视频理解的研究。
最新的Youtube-8M数据集包括两部分，第一部分为video-level（视频层级）的标注，该部分总计包含610万个已标注的视频，3862个分类，平均每个视频标注了3个标签；第二部分为segment-level（视频片段标注），该部分挑选了1000个分类，对视频中随机抽取的5秒片段进行标注，该部分总共有23.7万个标注数据；值得注意的是，segment-level的数据标注仅标注了抽取的5秒视频片段是否属于某一特定标签，并没有标识该视频片段的所有标签。
二、标签相关性
近年来，视频理解成为计算机视觉领域的一个热点方向。相比较图像内容，视频内容更为复杂多样，因此对于视频内容而言，单个标签很难完整的表征视频的内容，对于视频内容理解分析大多为多标签的分类问题。
在视频标签中，很多标签之间会有一定的相关性并成对出现；如图一所示（标签从Youtube8M数据集中选取），当宝马（BMW）、发动机（Engine）的标签出现时，汽车（Car）的标签大概率也会出现；但是当汽车的标签出现时，宝马标签出现的可能性则非常低。
通过对Youtube8M数据集的部分标签数据进行分析，可以得到一个图来表征各个标签之间的关系，如图二所示。图二中每个不同颜色的节点代表一个独立的标签类别，不同节点之间的连线代表着两个节点之间是否有相关性，节点之间连线上的数值则代表了不同的标签之间联系的紧密程度，数值越大，则联系越高；没有联系的节点之间则不会有线连接。
通过对视频的多标签之间的相关性进行建模分析，并通过图神经网络将标签类别映射为对应类别分类器加入到最终的视频多标签分类网络之中，可以提升整体模型的学习分类能力。
三、图卷积神经网络
如何有效获取目标标签之间的相关性？如何利用这些标签相关性提升网络的特征学习以及分类表现？这是视频多标签分类的两个重要问题。由于图的特点可以很好的表征各个标签之间的相互依赖性，因此我们选择基于图神经网络进行建模学习，并用于最终视频分类网络中。一个图神经网络的基本结构如图三所示：
图3.图神经网络基本结构
Input输入有两个，一个为特征描述矩阵H（n*d），另一个为相关系数矩阵A（n*n），其中n为节点个数，即所有标签的个数，d为特征的维度，特征维度根据采用的CNN结构决定。
相关系数矩阵是GCN网络中表征标签关系的一个矩阵，因此如何构建相关系数矩阵 A 就成了GCN模型中一个非常重要的问题。由于Youtube8M数据集有超过600万的video-level的视频标注数据，因此我们可以通过挖掘标签在数据集中的共现情况来初始化相关系数矩阵A。 为标签i在数据中出现的次数， 为标签i和标签j两个标签一起出现的概率，两者相除便可以得到不同标签之间的条件概率矩阵P。
考虑到标注数据中可能存在不准确的情况以及标签在训练和测试集中共现的次数可能会相差比较大，因此我们设置了一个阈值剔除相关性比较弱的噪声的影响。对于上面得到的矩阵P，只有其值大于某特定值（论文中为0.5）的时候才会考虑，否则矩阵中这两个标签的相关度会设置为0,因此优化后的条件概率矩阵如下所示：
Hidden Layer用来学习节点之间的相关信息并更新节点表示，每一个Hidden Layer都可以用一个非线性函数表示：
Hidden Layer可以有多层，堆叠多个 GCN 层来对节点之间交织的复杂关系进行建模。在本论文中Hidden Layer为两层，通过训练学习便可以得到优化后的表征标签相关性的矩阵Output，并用于帮助视频标签分类。
四、整体网络
最终的完整网络结构如图四所示，我们使用InceptionV3来提取输入视频的特征；NeXtVLAD网络是第二届Youtube8M比赛单模型冠军网络，该网络可以很好的视频的多维度特征进行聚合，并且在降低特征维度的同时还能很好的保证模型性能；在网络的下半部分，我们用一个双层的GCN网络来帮助进行最后的视频标签分类。最终的对比实验中，加入GCN后的视频多标签分类网络MAP（Mean-Average-Precision）提高了接近一个百分点，GCN网络的加入显著性显著的提高了视频多标签的分类能力；也证明了对于多标签分类任务，通过研究多标签之间的相关依赖关系提升网络分类能力是一个很好的方向。
五、结论
视频理解与分析是计算机视觉领域的一个热门问题，针对视频的特征提取以及特征聚合全世界的研究已经做了大量的工作。本文提出了从多标签相关性的视角来提升视频的多标签分类能力并进行了有效的实验验证。通过对视频的图像特征、时序特征、标签相关性特征进行融合的分类网络可以很好的增强神经网络的视频理解能力。
原创文章，未经授权禁止转载。详情见 转载须知 。
本文地址： /article/c0c3a0769ee043534ee0.html
学月嫂,请月嫂,找家政公司,推荐北京十月阳光-一体化母婴产业服务平台,全国300+月嫂加盟连锁店,18年专业月嫂培训机构,靠谱月嫂服务中心,正规月嫂公司!免费试听报名考证,找高端月嫂、金牌育儿嫂、高级住家保姆、附近催乳师上门等家政母婴服务,价格合理,联系电话400-100-5931
中文网站地区排行榜单,地区网站上升排行榜。根据过去一周中文网站各地区网站总积分排名得出,反应了各地区中文网站热度。
可以查询特定页面是否存在死链接，帮助用户快速排查死链接更利于SEO优化。
法大大是专业的电子合同平台,为企业提供电子签章、电子签约等在线合同签署服务;法大大电子合同还为大中型企业提供一站式智能合同管理,实现线上合同起草,合同比对,合同审查,合同归档提醒,帮助企业实现数智化办公.
碧桂园服务创立于1992年，2018年6月19日在香港交易所主板上市，2020年全面升级品牌。秉承“服务成就美好生活”的品牌使命，碧桂园服务为住宅、商业物业、写字楼、产业园、政府大楼医院、学校及其他公共设施(如机场航站楼、高速公路服务站、文旅景区)等多种业态提供专业服务。
智能化制造工厂解决方案供应商
北京安觅致力于为企业提供保密资格认证咨询、保密培训、军工资质办理、商业秘密保护方案等服务。咨询热线：010-86487432
四川菲普特新材料科技有限公司
杭州宝盈净化高效送风口生产厂家，可根据客户需求定制，多样材质选择，来图来样定制。订购电话：176-8230-0861~
满分作文网整理了中小学教学作文，包括教材单元作文，考试作文，竞赛作文，获奖作文、优秀作文、英语作文，为你在作文写作的时候提供全方位参考，轻松应付中考作文，高考作文，争取重要考试的时候拿满分作文。
成都英智达科技有限公司是一家专业从事桩基检测,地基基础,传感器的研发与制造、销售为一体的公司。
河南新乡帕菲特，位于新乡是过跨车,电动地平车,地爬车,液压升降电动平车,轨道牵引车生产制造商。研发定做电动平车,轨道平车,过跨车,蓄电池电动平车等产品.电动平车厂家销售热线:19337383020
今天小编就来为大家整理出来了2022野外求生游戏有哪些，在陌生的荒野环境下，一个人独自求生，听上去就非常带感，小伙伴们是不是也想亲自尝试一番，接下来就给小伙伴们整理带来了耐玩的荒野求生类手游推荐，要是有感兴趣的朋友就快来看看这其中有没有你所喜欢的游戏吧！1、，荒野日记，孤岛，同样是孤岛求生，这部作品呈现了一种不同的文本生存之旅，在游戏...。
教育行业在市场上属于朝阳行业，越来越多的人都从事此行业，因此很多人都想要知道私人办辅导班需要什么手续，针对这一问题，小编就为大家简单的介绍一下，希望以下的信息对大家能有一定的参考价值，私人办辅导班需要什么手续，1、校外培训机构必须经县级教育部门审批取得办学许可证，2、登记取得营业执照后，才能开展培训，3、未经教育部门批准，任何校外培训...。
发表在专业问答2024，9，2910，22展示机型信息，品牌型号，当贝X5SPro系统版本，当贝OS4.2当贝投影仪手机遥控可以通过手机上的当贝家APP进行操控，总共可以分为三步，下面为当贝投影仪怎么手机遥控的详细步骤做具体说明，当贝投影仪怎么手机遥控1.打开当贝家在手机上安装当贝家APP并点击打开；2.选择遥控器在当贝家APP界面找...。
国家医疗保障局，医保局全名为国家医疗保障局，其是根据第十三届全国人民代表大会第一次会议批准的国务院机构改革方案而组建的一个国务院直属机构，负责贯彻落实党中央关于医疗保障工作的方针政策和决策部署，在履行职责过程中坚持和加强党对医疗保障工作的集中统一领导，医保局归哪个部门管医保局归当地人力资源和社会保障局管理，医保局，国家医疗保障局，国家...。
海南国际旅游岛建设系列活动之2010海南特许连锁加盟暨智慧之选创业展览会邀请函时间，2010年4月2日－4日地点，海口会展中心，组织机构，●主办单位，国际连锁经营行业协会海南日报报业集团国际贸易促进委员会海南省分会●协办单位，海南省智慧之选促进会海口会展中心海口市贸促会●承办单位，海口九愚会展有限公司海南日报文化发展有限公司●媒体推广...。
Comehere，please，新视野大学英语第1册Unit7课后答案和翻译第3版新视野大学英语第1册Unit7课后答案和翻译，第3版，新视野大学英语，系列教材是普通高等教育，十一五，国家级规划教材，下面我分享新视野大学英语第1册Unit7课后答案和翻译，第3版，，欢迎参考！新视野大学英语第1册Unit7课后答案和翻译第3版篇1Vo...。
华晨宝马5系是一款奢侈商务车型，自推出以来深受消费者喜欢，其精深的技术、出色的温馨性和奢侈的性能成为了该系列车型的一大长处，不过，关于很多消费者来说，最关心的还是华晨宝马5系的多少钱，那么，宝马5系终究要多少钱一辆呢，接上去咱们将为您逐一揭晓，首先，大家须要了解的是，华晨宝马5系车型一共有7种，蕴含5系轿车和5系游览车，型号区分是51...。
在螺丝拆掉以后，微微的把cd机拿进去，前面有两个插头，掰开卡子，把线束和cd机分退进去瑞风商务车引见1江淮瑞风推出三款十分具备冲击力的车型组合其中包含向上流MPV加长的瑞风系列的旗舰性新产品瑞风祥和带来公，江淮的车，无论是卡车还是商务车，还是轿车，质量都值得信任，经得住折腾其底盘技术是国际第一，中国大半的客车底盘都出自江淮这个企业比拟...。
据央视资讯5月31日信息，外地时期5月30日，纽约一家法院陪审团裁定，美国前总统特朗普在，封口费，案中有罪，被控的34项罪名所有成立，对特朗普的量刑将在7月11日、也就是共和党人将正式发表他为2024年共和党总统候选人的几天前发布，特朗普成为美国第一位被判有罪的前总统，此前纽约州检察官指控，特朗普2016年竞选美国总统时期，委托其时任...。
有的，2012年奇瑞新推出的一款上流轻卡——开瑞绿卡，集5项中国轻卡独创技术、40多个产品长处于一身，婚配康明斯ISF2.8发起机，驳回独立悬挂、四轮碟刹、ABS，EBD，独创轻卡CAN总线管理技术开瑞绿卡有哪些车型，开瑞汽车车型，优派优胜优劲优胜II代优雅优优优翼，停售，开瑞绿卡费油吗，不费油，开瑞绿卡整个车身采用轻量化设计，所以耗...。
新斯大nx-510k打印机驱动是一款专门针对新斯大旗下的同款打印机产品推出的官方驱动程序，能够帮助用户轻松地完成日常工作和学习中的打印需求
电脑能上qq但是浏览器无法上网解决方法如下：1、网络连接问题，重新连接网络，或者检查网络线是否松动；2、浏览器设置问题，检查浏览器设置，确保没有禁用JavaScript、Cookie等与网络访问相关的功能；3、网络驱动问题，检查电脑是否有安装最新的网络驱动程序；4、DNS解析问题，更改DNS服务器地址；5、系统问题，更新操作系统；6、硬件问题，更换硬件设备等等。
12306bypass分流抢票,12306Bypass是中铁火车票分流抢票软件，12306Bypass可全程自动抢票智能化选票，即使你没有时间上12306官网刷票抢票，也能抢到你中意的车票，堪称捡漏高手,您可以免费下载。
幽灵线东京是一款备受期待的动作类游戏？那么幽灵线东京是单机游戏吗？幽灵线东京能够多人联机吗，下面小编带大家详细了解一下,幽灵线东京是单机吗幽灵线东京能多人联机吗
PPSiPhone版是PPS网络电视一款专门为IOS系统开发的在线视频播放软件，PPSiPhone版具有丰富的UGC视频资源，为用户提供在线收看原创、纪录片、母婴、生活、时尚、游戏、科技、汽车、美食等丰富节目;您可以免费下载。
4399游戏盒,4399游戏盒是最大最全的单机游戏仓库，内含数千款经典绿色单机游戏，数万款热门在线小游戏，每日更新最新的好玩游戏，让您享受丰富多彩的游戏世界,您可以免费下载。
狗头大作战兑换码2022让你可以在游戏中领取超多的福利，相信不少的小伙伴已经开始畅快把玩这款游戏，今天的礼包码也是可以帮助你来解锁超多的豪礼哦！各种狗头数不胜收，还不快来输入你的专属礼包码吧！ 西瓜狗头兑换码EGAJMMV1 兑换码大全VQ95XV8F gtdzz
