2019 用图神经网络改善视频的多标签分类 ICCV 论文解读 (2019一2020图)
语音播放文章内容
由深声科技提供技术支持
作者 | 王磊
本文介绍了汽车之家团队在ICCV 2019一篇关于视频理解论文相关的工作。针对视频多标签分类的问题，论文提出了将视频多标签之间相关性特征加入到网络之中，结果证明该方法可以显著的提高视频多标签分类效果。
一、背景介绍
随着视频应用的不断普及，视频内容理解与分析成为计算机视觉领域的一个热门研究方向。2017年，Google开源了其大规模视频内容数据集Youtube8M，鼓励研究者通过该数据集利用深度学习技术进行视频理解的研究。
最新的Youtube-8M数据集包括两部分，第一部分为video-level（视频层级）的标注，该部分总计包含610万个已标注的视频，3862个分类，平均每个视频标注了3个标签；第二部分为segment-level（视频片段标注），该部分挑选了1000个分类，对视频中随机抽取的5秒片段进行标注，该部分总共有23.7万个标注数据；值得注意的是，segment-level的数据标注仅标注了抽取的5秒视频片段是否属于某一特定标签，并没有标识该视频片段的所有标签。
二、标签相关性
近年来，视频理解成为计算机视觉领域的一个热点方向。相比较图像内容，视频内容更为复杂多样，因此对于视频内容而言，单个标签很难完整的表征视频的内容，对于视频内容理解分析大多为多标签的分类问题。
在视频标签中，很多标签之间会有一定的相关性并成对出现；如图一所示（标签从Youtube8M数据集中选取），当宝马（BMW）、发动机（Engine）的标签出现时，汽车（Car）的标签大概率也会出现；但是当汽车的标签出现时，宝马标签出现的可能性则非常低。
通过对Youtube8M数据集的部分标签数据进行分析，可以得到一个图来表征各个标签之间的关系，如图二所示。图二中每个不同颜色的节点代表一个独立的标签类别，不同节点之间的连线代表着两个节点之间是否有相关性，节点之间连线上的数值则代表了不同的标签之间联系的紧密程度，数值越大，则联系越高；没有联系的节点之间则不会有线连接。
通过对视频的多标签之间的相关性进行建模分析，并通过图神经网络将标签类别映射为对应类别分类器加入到最终的视频多标签分类网络之中，可以提升整体模型的学习分类能力。
三、图卷积神经网络
如何有效获取目标标签之间的相关性？如何利用这些标签相关性提升网络的特征学习以及分类表现？这是视频多标签分类的两个重要问题。由于图的特点可以很好的表征各个标签之间的相互依赖性，因此我们选择基于图神经网络进行建模学习，并用于最终视频分类网络中。一个图神经网络的基本结构如图三所示：
图3.图神经网络基本结构
Input输入有两个，一个为特征描述矩阵H（n*d），另一个为相关系数矩阵A（n*n），其中n为节点个数，即所有标签的个数，d为特征的维度，特征维度根据采用的CNN结构决定。
相关系数矩阵是GCN网络中表征标签关系的一个矩阵，因此如何构建相关系数矩阵 A 就成了GCN模型中一个非常重要的问题。由于Youtube8M数据集有超过600万的video-level的视频标注数据，因此我们可以通过挖掘标签在数据集中的共现情况来初始化相关系数矩阵A。 为标签i在数据中出现的次数， 为标签i和标签j两个标签一起出现的概率，两者相除便可以得到不同标签之间的条件概率矩阵P。
考虑到标注数据中可能存在不准确的情况以及标签在训练和测试集中共现的次数可能会相差比较大，因此我们设置了一个阈值剔除相关性比较弱的噪声的影响。对于上面得到的矩阵P，只有其值大于某特定值（论文中为0.5）的时候才会考虑，否则矩阵中这两个标签的相关度会设置为0,因此优化后的条件概率矩阵如下所示：
Hidden Layer用来学习节点之间的相关信息并更新节点表示，每一个Hidden Layer都可以用一个非线性函数表示：
Hidden Layer可以有多层，堆叠多个 GCN 层来对节点之间交织的复杂关系进行建模。在本论文中Hidden Layer为两层，通过训练学习便可以得到优化后的表征标签相关性的矩阵Output，并用于帮助视频标签分类。
四、整体网络
最终的完整网络结构如图四所示，我们使用InceptionV3来提取输入视频的特征；NeXtVLAD网络是第二届Youtube8M比赛单模型冠军网络，该网络可以很好的视频的多维度特征进行聚合，并且在降低特征维度的同时还能很好的保证模型性能；在网络的下半部分，我们用一个双层的GCN网络来帮助进行最后的视频标签分类。最终的对比实验中，加入GCN后的视频多标签分类网络MAP（Mean-Average-Precision）提高了接近一个百分点，GCN网络的加入显著性显著的提高了视频多标签的分类能力；也证明了对于多标签分类任务，通过研究多标签之间的相关依赖关系提升网络分类能力是一个很好的方向。
五、结论
视频理解与分析是计算机视觉领域的一个热门问题，针对视频的特征提取以及特征聚合全世界的研究已经做了大量的工作。本文提出了从多标签相关性的视角来提升视频的多标签分类能力并进行了有效的实验验证。通过对视频的图像特征、时序特征、标签相关性特征进行融合的分类网络可以很好的增强神经网络的视频理解能力。
原创文章，未经授权禁止转载。详情见 转载须知 。
本文地址： https://www.gpxz.com/article/c0c3a0769ee043534ee0.html
本站提供市面上最新最全的微信音乐小程序资源，您可以免费获取这些应用资源。
思特克是国内超高压泵阀行业的领导品牌，专业生产氢气增压泵,超高压气动泵,超高压针阀,超高压阀门,液驱气体增压系统,气动增压泵
联诚科技集团股份有限公司是一家专业从事国产PLC控制器生产的厂家,专注高品质PLC控制器研发生产销售。作为国产PLC品牌之一，我们提供全面的自动化控制解决方案，助力工业智能化升级。
艾普生环境科技,提供环境空气温湿度解决方案及配套设备。产品有除湿器,除湿机,工业除湿机,调温除湿机,防爆除湿机,防腐除湿机,,热泵烘干机,烘干设备,高温热泵烘干机,转轮除湿机,低露点转轮除湿机组,恒温恒湿机,精密净化空调,人防空调,超声波加湿机,湿膜加湿器,除湿加湿一体机等。欢迎来电咨询除湿机价格,除湿机厂家,工业除湿机价格,热泵烘干机价格,风冷恒温恒湿机等。热线电话：400-158-5890.
德州六和电力工程有限公司
乐从速通物流是一家从事乐从到全国的陆运、空运、海运物流服务的物流公司。乐从物流公司以快捷、准时、安全、优惠的服务宗旨为广大客户服务！
成都金蝶软件|金蝶云星辰|四川金蝶财务软件|金蝶云星空|金蝶财务软件免费版|财务软件新手入门|云星辰试用|金蝶软件四川成都公司|四川成都金蝶软件售后服务中心|金蝶软件维护服务|金蝶软件成都分公司|金蝶软件营销服务中心|金蝶软件维护电话|金蝶云星辰试用|云星辰售后服务
人力资源总监网是我国发布人力资源管理体系、HRSSC人力资源共享服务中心、HRBP人力资源业务合作伙伴、HRCOE人力资源管理专家、eHR人力资源管理信息化等内容的门户网站。
ETAGEAR是一款专业的齿轮设计软件。它能计算平行轴圆柱齿轮、NGW行星轮系、齿轮齿条、蜗杆、蜗杆配斜齿轮、蜗杆蜗轮、直齿锥齿轮、斜齿锥齿轮、格里森弧齿锥齿轮、等距螺旋锥齿轮、渐开线花键和一齿差摆线针轮。在常用工具里面可以实现变位系数与公法线和跨棒距的相互换算。自带的3D模块能方便的进行齿轮3D造型和动画仿真，支持导出STEP和DXF文件。锥齿轮3D模块还支持修形参数。
沃江南，养花不难。沃江南是一个专注于提供高品质园艺植物肥料的品牌，沃江南致力于为花草爱好者创造绿色、健康、美丽的生活空间。沃野千里，只爱江南这一春。
海安旺成科技有限公司主营生产干式变压器横流式冷却风机|离心式冷却风机|干式变压器冷却风机等，咨询热线：13806277288。欢迎惠顾。
热门的数学游戏下载大全有哪些，数学这门学科不仅是知识殿堂的基石，更是连接各学科的纽带，在数学的奇妙世界里，玩家们将探索几何与数列的奥秘，那么，哪些数学游戏能够吸引众多玩家的目光呢，下面就一起跟着小编来看下有哪些适合玩家自己玩的数学手游吧！1、，不服2048，在4x4方格战场上，你将操控一群活泼的数字方块，引导它们相互吸引、融合，诞生出...。
写得一手好字是一种文化和修养的体现，广大家长从小对孩子进行专业的练字培训，对于练字机构的需求越来越高，锋格练字是市场上大名鼎鼎的品牌，在教材方面比较完善，在经验方面比较丰富，为消费者带来专业的练字培训课程，在成果方面比较显著，符合当下消费者的练字标准，是很有发展潜力的加盟项目，下面和小编一起来看看加盟锋格练字有哪些流程，加盟锋格练字有...。
寒武纪元，泡沫后的百废待兴还记得，2019年，阿里迎来了第一个二十周年庆，马老师身着朋克装，眼含热泪，唱起了怒放的生命，二十个春去秋来，经过PC互联网向移动互联网变迁、行业与经济周期的交替，时代车轮的碾压下，有的企业默默耕耘，有的艰难前行，更多的则在周期中销声匿迹，即便是杰克马，也感慨互联网并非坦途，时间轴拨回1988，犹记得那年经济...。
依靠信息差年入x万，学会信息差，少走3年弯路，，相信很多人看到过类似的文章或者视频，作者都会大吹特吹信息差最近几年的大环境比较浮躁，信息差成为了各行各业喜欢的对象，信息差无成本、见效快、利润高等等无论是技术类教程还是操作类项目，只要加上，信息差，三个字播放量都会往上猛涨至于这些文章、教程是不是真的信息差无从得知，但是相信很多读者哪...。
8月29日，没有一点点防备，华为Mate60Pro突然发布，并在线上线下同时开售，这一代的标语是，同心聚力，奔腾不息，Mate60Pro在中午突然发布，下午就一直驻留热搜，这就是，我也想低调，但实力不允许，吧，同期发布的友商新品也直接被淹没了，华为Mate60Pro外观就是大家已经知道的，3打孔四曲屏，下半部金属的后盖，大弧度中框，...。
你的企业还在被Excel折磨吗，如何让纷乱复杂的数据为企业数字化之路服务，近日，前喜茶CIO、vika维格创始人陈霈霖在雷锋网主办的，鲸犀产业数字峰会，上，就如何从0到1打造企业数字化做了分享，鲸犀产业数字峰会，是一场由业内最顶尖的企业家、工程领袖、CIO、解决方案专家、投资家，联合发起的数字化系列论坛，作为喜茶前CIO，陈霈霖一手打...。
发表在投影仪维修2018，10，214，36一台EPSONEMP，820投影仪，RGB口连接计算机，视频输入口连接着VCD机，开机后发现颜色严重偏冷，于是调整色温，但即使调到最大也不见颜色变暖，再分别调节R，红色，、G，绿色，、B，蓝色，各色强度，发现在调节G和B时，屏幕颜色都有变化，而调节R时没有变化，怀疑是投影仪调节控制电路或解码...。
△俄罗斯总统资讯秘书佩斯科夫，资料图，外地期间7月11日，就德国总理朔尔茨今日示意五角大楼发表的在德国部署远程武器系统的方案是一个，十分好的选择，，俄罗斯总统资讯秘书佩斯科夫示意，德国、美国、法国和英国间接卷入乌克兰抵触，热战期间的反抗和抵触等一切表征正在，回流，一切这一切都是为了打压俄罗斯，让俄罗斯战场上遭逢策略失败，佩斯科夫强调...。
白色警戒2尤里的复仇黑屏处置方法，1、首先找到游戏装置主目录2、把三个文件用XPPACK3兼容，简化色彩16位，再用治理员运转程序3、创立一个的快捷形式，样启动上述兼容性设置，4、而后在快捷形式栏，指标后加加，win即用窗口运转即可，例如，D，\danjiGAME\\yuri2\，speedcontrol，win裁减资料，白色警戒2尤...。
字体有，1、宋体，特点是横比竖粗，且笔画止境有三角，宋体还含有标宋和防宋，标宋比宋体的比例大，适宜做题目，仿宋体横竖粗细简直相反，2、楷体，关键特色是起笔顿落笔有笔锋，3、黑体，关键特色是横竖的粗细比例相似，都像由矩形构成，横平竖直，可做题目，4、魏体，特点是笔画有波纹状，笔画捺比拟长，5、行体，也就是最经常出现的连笔字，6、圆体，扫...。
取名在国人眼中是件小事，个别家庭会给孩子取一些意味美妙的名字，考究的人家不只有看生肖看命格，同时还要看生辰八字，八字取名法其实是十分难把握的，按这种方法取的名字，实践上也是有好坏之分的，那么，取名按生辰八字打100分的有哪些，取名字大全收费查问又有哪些好名字呢，取名按生辰八字打100分源祖、佑民、祺倚、捷顷、运路、浩晋、达育、方良、千...。
AcuSensor是一个功能强大的WEB漏洞扫描软件，可以帮助用户扫描网站是否存在漏洞和安全隐患，通过网络爬虫原理来测试安全性能。
不要一听到游戏两个字就觉得这是玩物丧志的东西，有些手机游戏也有着教育、学习的意义，比如一些用数学知识和英语知识为题材制作的手游，那么2023学习版游戏top5里都有什么样的游戏呢?下文介绍的都是可以学习的手游，想边玩边学的玩家来看看吧，1、，数学家模拟器，数学家模拟器，是用数学的知识来过关的手游，想让孩子以后成为数学的天才可以下载这...。
如今随着各国旅游行业不断发展，每个人都想着出国旅游，但是由于语言的不同，这就成了我们一个特别重要的问题，这时候我们就需要一个英语翻译软件，可以帮助我们可以更好的理解和交流，这样不管我们在旅行当中遇到任何的语言障碍，我们都可以与国际友人准确的表达我们的意思，所以小编就给大家一些好用的英语翻译软件，可以给大家提出正确的翻译，感兴趣的可以跟...。
刚做了30个俯卧撑，30个卷腹，30个蹲起，又做了30个哑铃弯举，做完感觉浑身挺自在的，这让我想起我在健身房工作的那段经历，其实也并没有像很多客户那样花几千块钱，报几十节私教课，但是自己对健身的一些动作，以及瘦人如何增肌，胖人如何减肥，营养补给这一块，也可以说略懂，这完全是每天听教练他们在给会员上课，和平时看他们做的一些动作，耳濡目染...。
今日融资快报通用机器人公司逐际动力完成亿元A轮融资，逐际动力是一家通用机器人公司，专注于具身智能与足式机器人的研发和制造，产品包括人形双足、四轮足机器人及相关软硬件解决方案，创始人张巍是南方科技大学长聘教授，此前曾任美国俄亥俄州立大学电气与计算机工程系长聘教授，本轮融资由阿里巴巴、招商局创投、上汽集团旗下尚颀资本领投，原始股东峰瑞资本...。
4月24日，天猫精灵总裁彭超在全国工商联物联网委员会年会暨物联网与人工智能高峰论坛上表示，大模型将让AIoT大爆发，且企业不必过度担忧计算成本，彭超在演讲中透露，在消费与工业AIoT，智能物联网，中，拥有亿级到十亿级参数规模的大语言模型以行业数据针对性微调和强化学习，也能近似千亿级大模型的生成水平，且计算资源消耗大幅降低，两周前，达摩...。
