论文解读 基于强化学习的时间行为检测自适应模型 2018 AAAI (论文解读基于什么理论)

文章编号:43300 资讯动态 2024-12-09 2018 AAAI 强化学习 行为检测

雷锋网 AI 科技评论按 :互联网上以视频形式呈现的内容在日益增多,对视频内容进行高效及时的审核也变得越来越迫切。因此,视频中的行为检测技术也是当下热点研究任务之一。本文主要介绍的就是一种比传统视频行为检测方法更加有效的视频行为检测模型。

在近期雷锋网 GAIR 大讲堂举办的线上公开上,来自北京大学深圳研究生院信息工程学院二年级博士生黄靖佳介绍了他们团队在 aaai 2018 上投稿的一篇论文,该论文中提出了一种可以自适应调整检测窗口大小及位置的方法,能对视频进行高效的检测。视频回放地址:

黄靖佳,北京大学深圳研究生院信息工程学院二年级博士生。2016 年毕业于华中科技大学计算机学院信息安全专业,获学士学位。现研究方向为计算机视觉、行为检测、增强学习等。

以下是 AI 科技评论对嘉宾分享的内容回顾。

分享主题 :AAAI 2018 论文解读:基于强化学习的时间行为检测自适应模型

AAAI 2018 论文:基于强化学习的时间行为自适应模型 | 分享总结

分享提纲:

分享内容:

大家好,我的分享首先是介绍一下行为检测的应用背景,接下来介绍我们团队提出的 SAP 模型,以及模型在实验数据集上的性能,最后是对本次分享的总结。

行为检测任务的介绍

AAAI 2018 论文:基于强化学习的时间行为自适应模型 | 分享总结

但是这种方法在解决任务时存在两个难点。

首先是对于一个没有切割过的视频,比如在图中这个视频中,所需要检测的目标是一个三级跳运动,三级跳在不同的情况下,根据人的不同,所持续的时间也是不同的。

第二个难点是,目标时间出现的位置是在视频中的任意时间点。

所以说用「两阶段方法」进行目标行为预测,会产生非常多不同尺度,不同位置 proposal。最简单的方法是用不同尺度的滑动窗口,从前到后滑动,产生非常多的 proposal,然后再做分类。这种方法虽然行之有效,但时间复杂度和计算复杂度都相当高,使得在完成这项任务时往往需要花费大量的计算资源。

AAAI 2018 论文:基于强化学习的时间行为自适应模型 | 分享总结

为了避免这种低效的检测方法,我们提出了一种可以自适应调整检测窗口大小及位置的方法,对视频进行高效的检测。

我们最开始的想法是能不能仅使用一个滑动窗口,只需要从头到尾滑动一遍就完成 proposal 产生过程呢?

这就必须要求窗口能不断地自适应地根据窗口所覆盖的内容,能够不断调节窗口的大小,最终的窗口大小能精确覆盖目标运动,从而得到检测的窗口区间。

AAAI 2018 论文:基于强化学习的时间行为自适应模型 | 分享总结

我们使用增强学习作为背后的模型支撑来完成这样的循环过程,达到我们的目的。下面是 SAP 模型的框架图。

AAAI 2018 论文:基于强化学习的时间行为自适应模型 | 分享总结

关于 Temporal Pooling Layer

在原有的 C3D 模型中,要求输入的视频帧是固定的,一般是 16 帧或 8 帧。以 16 帧为例,当视频帧多于 16 帧,就需要对视频帧下采样,采样成 16 帧,送到视频中进行处理,这样在采样过程中会丢失非常多细节信息,造成特征表达不准确等问题。

而我们提出的 Temporal Pooling Layer 的输入帧可以是任意长度。

AAAI 2018 论文:基于强化学习的时间行为自适应模型 | 分享总结

我们在增强学习中的奖励设置机制。在增强学习中,对于一个 agent,如果 agent 执行了一个动作后,我们认为是执行正确的,就给一个奖励;如果认为是错的,就给一个惩罚。

AAAI 2018 论文:基于强化学习的时间行为自适应模型 | 分享总结

SAP 模型的训练过程,可到文末观看嘉宾的视频回放,或关注嘉宾的 GitHub 地址获取相关代码。 AAAI 2018 论文:基于强化学习的时间行为自适应模型 | 分享总结

SAP 模型的测试

AAAI 2018 论文:基于强化学习的时间行为自适应模型 | 分享总结

实验过程

我们的实验是在 THUMOS'14 数据集展开的,用它的 validation set 训练模型,在 test set 上进行实验评估。我们使用了是以下两个衡量标准。第一个是 recall 值和平均 proposal 数量函数第二个是 recall 和 IoU。

AAAI 2018 论文:基于强化学习的时间行为自适应模型 | 分享总结

AAAI 2018 论文:基于强化学习的时间行为自适应模型 | 分享总结

proposal 做分类后的评判标准是:Average Precison 和 mAP

AAAI 2018 论文:基于强化学习的时间行为自适应模型 | 分享总结

检测性能的结果

AAAI 2018 论文:基于强化学习的时间行为自适应模型 | 分享总结

上图红色圈注的部分比较的是不同的模型,在取相同的 proposal 数量,用同样的分类器做分类,哪个模型的性能会更好。结果发现,在只有 50 个 proposal 的时候,我们的方法表现的最好。

AAAI 2018 论文:基于强化学习的时间行为自适应模型 | 分享总结

总结

代码相关资料GitHub地址:

雷锋网GAIR大讲堂视频回放地址:

更多免费直播视频,请关注微信公众号: AI科技评论。

原创文章,未经授权禁止转载。详情见 转载须知 。

AAAI 2018 论文:基于强化学习的时间行为自适应模型 | 分享总结


本文地址: https://www.gpxz.com/article/a666d62e2cddb43d0b77.html
全局中部横幅
全局中部横幅
闪修侠

闪修侠-高品质的手机上门维修平台,提供苹果、三星、等主流机型的专业维修和手机回收服务,正规认证、方便快捷、专业靠谱。维修从未如此好用,一个电话,服务到家:4006007373。

渝朗婚庆网

渝朗婚庆网提供了婚庆酒店、婚庆用品、婚庆布置、婚庆摄影、婚庆文案、婚庆车队等信息资讯。

公司注册

中誉财税专业从事公司注册,代办营业执照,代理记账,公司注销等业务,已有多年行业经验,服务超500家公司,免费提供咨询,助力企业成长。

宏图智能物流股份有限公司

宏图智能物流致力于为工业企业提供一站式供应链智能物流整体解决方案,自主研发打造了工业供应链智能管理云平台,已成功应用于钢铁/煤炭/化肥/酒水/食品/化工/建材及第三方物流等多个行业,客户包括泸州老窖/五得利/长虹民生/史丹利/四川能投/中粮/心连心/千禾/中国石化/海尔/盼盼等。

超视

超视亚洲网视企业电视台_中国可视化电子商务领导者超视亚洲网视作为中国可视化电子商务先行者和领导者,是中国最早一批进入企业视频云计算领域的企业之一。亚洲网视为用户提供操作简单、功能强大、高效实用的,能够满足客户个性化需求的视频云计算服务平台,亚洲网视首创的在线主持人,在线交流大厅的模式,已经成为事实上的行业标准。亚洲网视开创的可视化电子商务模式,以网络视频技术为基础,以宽带提速和移动5G应用为契机,切入企业最核心的电子商务需求,为广大企事业单位搭建在线商务视频云计算平台

冠发

冠发品牌,专注固发、养发、健发等头皮健康问题,让更多人因冠发而自信,致力于成为全球有影响力的健发连锁品牌。

阿白律师网

阿白律师网,国内首家针对小白来普及律法知识的网站;免费首家公益普及法律知识的网站,对接专业律师咨询,让您的疑问,能够得到解答!

新再生网

新之科技-新再生网(WWW.SAIKUL.COM)在提供B2B2C的废品回收销售与采购平台的基础上,通过与银行深度合作实现大额支付,确保交易的安全性及数据跟踪。同时为用户免费提供ERP管理系统,物流溯源系统,打通再生资源的回收、加工和销售,完善回收的资金、物流数据链,从而实现对资源回收再利用的溯源追踪,规范和提升再生资源的行业标准。

油石厂家

【远东】专注油石与超精油石生产30年以上,提供高精度油石、超精油石批发定制,支持多种规格型号(粒度#200-#3000),适用于精密模具、汽车零部件打磨,厂家直销,价格优惠,咨询电话:0511-88431385。

河南康辉旅行社

河南康辉国际旅行社提供河南郑州周边旅游、国内旅游、出境旅游;河南地接旅游,旅游团、旅游攻略、签证服务,康辉旅游为您量身定制不一样的旅行体验。

手机游戏

安卓巴士提供好玩的手机游戏下载,这里有热门海量精品手机游戏,新热好玩的安卓游戏/热门游戏/最新游戏免费下载,手游排行榜2023前十名推荐尽在安卓巴士。

风叶

慈溪奥凌电器有限公司主营:空调网罩,外机网罩,塑料轴流风叶,塑料网罩等产品,厂家直发,现货供应,质优价廉,服务贴心.采购批发空调网罩,外机网罩,塑料轴流风叶,塑料网罩等产品,请您联系奥凌.咨询热线:13056938888.


全局底部横幅