论文解读 基于强化学习的时间行为检测自适应模型 2018 AAAI (论文解读基于什么理论)

文章编号:43300 资讯动态 2024-12-09 2018 AAAI 强化学习 行为检测

雷锋网 AI 科技评论按 :互联网上以视频形式呈现的内容在日益增多,对视频内容进行高效及时的审核也变得越来越迫切。因此,视频中的行为检测技术也是当下热点研究任务之一。本文主要介绍的就是一种比传统视频行为检测方法更加有效的视频行为检测模型

在近期雷锋网 GAIR 大讲堂举办的线上公开上,来自北京大学深圳研究生院信息工程学院二年级博士生黄靖佳介绍了他们团队在 AAAI 2018 上投稿的一篇论文,该论文中提出了一种可以自适应调整检测窗口大小及位置的方法,能对视频进行高效的检测。视频回放地址:

黄靖佳,北京大学深圳研究生院信息工程学院二年级博士生。2016 年毕业于华中科技大学计算机学院信息安全专业,获学士学位。现研究方向为计算机视觉、行为检测、增强学习等。

以下是 AI 科技评论对嘉宾分享的内容回顾。

分享主题 :AAAI 2018 论文解读:基于强化学习的时间行为检测自适应模型

AAAI 2018 论文解读:基于强化学习的时间行为检测自适应 | 分享总结

分享提纲:

分享内容:

大家好,我的分享首先是介绍一下行为检测的应用背景,接下来介绍我们团队提出的 SAP 模型,以及模型在实验数据集上的性能,最后是对本次分享的总结。

行为检测任务的介绍

AAAI 2018 论文解读:基于强化学习的时间行为检测自适应 | 分享总结

但是这种方法在解决任务时存在两个难点。

首先是对于一个没有切割过的视频,比如在图中这个视频中,所需要检测的目标是一个三级跳运动,三级跳在不同的情况下,根据人的不同,所持续的时间也是不同的。

第二个难点是,目标时间出现的位置是在视频中的任意时间点。

所以说用「两阶段方法」进行目标行为预测,会产生非常多不同尺度,不同位置 proposal。最简单的方法是用不同尺度的滑动窗口,从前到后滑动,产生非常多的 proposal,然后再做分类。这种方法虽然行之有效,但时间复杂度和计算复杂度都相当高,使得在完成这项任务时往往需要花费大量的计算资源。

AAAI 2018 论文解读:基于强化学习的时间行为检测自适应 | 分享总结

为了避免这种低效的检测方法,我们提出了一种可以自适应调整检测窗口大小及位置的方法,对视频进行高效的检测。

我们最开始的想法是能不能仅使用一个滑动窗口,只需要从头到尾滑动一遍就完成 proposal 产生过程呢?

这就必须要求窗口能不断地自适应地根据窗口所覆盖的内容,能够不断调节窗口的大小,最终的窗口大小能精确覆盖目标运动,从而得到检测的窗口区间。

AAAI 2018 论文解读:基于强化学习的时间行为检测自适应 | 分享总结

我们使用增强学习作为背后的模型支撑来完成这样的循环过程,达到我们的目的。下面是 SAP 模型的框架图。

AAAI 2018 论文解读:基于强化学习的时间行为检测自适应 | 分享总结

关于 Temporal Pooling Layer

在原有的 C3D 模型中,要求输入的视频帧是固定的,一般是 16 帧或 8 帧。以 16 帧为例,当视频帧多于 16 帧,就需要对视频帧下采样,采样成 16 帧,送到视频中进行处理,这样在采样过程中会丢失非常多细节信息,造成特征表达不准确等问题。

而我们提出的 Temporal Pooling Layer 的输入帧可以是任意长度。

AAAI 2018 论文解读:基于强化学习的时间行为检测自适应 | 分享总结

我们在增强学习中的奖励设置机制。在增强学习中,对于一个 agent,如果 agent 执行了一个动作后,我们认为是执行正确的,就给一个奖励;如果认为是错的,就给一个惩罚。

AAAI 2018 论文解读:基于强化学习的时间行为检测自适应 | 分享总结

SAP 模型的训练过程,可到文末观看嘉宾的视频回放,或关注嘉宾的 GitHub 地址获取相关代码。 AAAI 2018 论文解读:基于强化学习的时间行为检测自适应 | 分享总结

SAP 模型的测试

AAAI 2018 论文解读:基于强化学习的时间行为检测自适应 | 分享总结

实验过程

我们的实验是在 THUMOS'14 数据集展开的,用它的 validation set 训练模型,在 test set 上进行实验评估。我们使用了是以下两个衡量标准。第一个是 recall 值和平均 proposal 数量函数第二个是 recall 和 IoU。

AAAI 2018 论文解读:基于强化学习的时间行为检测自适应 | 分享总结

AAAI 2018 论文解读:基于强化学习的时间行为检测自适应 | 分享总结

proposal 做分类后的评判标准是:Average Precison 和 mAP

AAAI 2018 论文解读:基于强化学习的时间行为检测自适应 | 分享总结

检测性能的结果

AAAI 2018 论文解读:基于强化学习的时间行为检测自适应 | 分享总结

上图红色圈注的部分比较的是不同的模型,在取相同的 proposal 数量,用同样的分类器做分类,哪个模型的性能会更好。结果发现,在只有 50 个 proposal 的时候,我们的方法表现的最好。

AAAI 2018 论文解读:基于强化学习的时间行为检测自适应 | 分享总结

总结

代码相关资料GitHub地址:

雷锋网GAIR大讲堂视频回放地址:

更多免费直播视频,请关注微信公众号: AI科技评论。

原创文章,未经授权禁止转载。详情见 转载须知 。

AAAI 2018 论文解读:基于强化学习的时间行为检测自适应 | 分享总结


本文地址: https://www.gpxz.com/article/a666d62e2cddb43d0b77.html
全局中部横幅
全局中部横幅
首页

在这里试试大口吃肉大碗喝酒,忘记烦恼,享受此刻的豪爽惬意。

外贸推广

兴田网络专注谷歌推广,营销型外贸建站,外贸独立站优化推广,谷歌SEM,小语种推广,海外社媒营销,阿里国际站代运营等多渠道外贸推广,为您的全球贸易事业保驾护航!

电缆盘

山东守护者防护科技有限公司是一家研发生产销售为一体的科技型现代化企业。专注生产研发工业级电缆盘、卷管器和工业插头、插座箱等系列产品,拥有强大的研发团队和电气实验室。产品性能可靠,品质优良,全国联保!

100种禁用的视频软件ios,最近2018年手机中文在线,最好看的2018国语在线,最好的观看2018中文,自来水管维修工上门服务24小时,子豪薇娅漫画214话免费下拉,壮志凌云满天星2法版免费,中文日产码2023天美,中国小鲜肉gary2023的歌词,中国vodafonewifi巨大app23,中国spinking实践视频2,中国2018年最新最好看的字幕,正义联盟hr成⼈版播放2012,站长统计幸福宝2022年排行榜,站长统计app最新版本2023,在异世界迷宫2无修改动画怎么看,云缨巡街救阿离漫画免费v3.6.2

100种禁用的视频软件ios,最近2018年手机中文在线,最好看的2018国语在线,最好的观看2018中文,自来水管维修工上门服务24小时,子豪薇娅漫画214话免费下拉,壮志凌云满天星2法版免费,中文日产码2023天美,中国小鲜肉gary2023的歌词,中国vodafonewifi巨大app23,中国spinking实践视频2,中国2018年最新最好看的字幕,正义联盟hr成⼈版播放2012,站长统计幸福宝2022年排行榜,站长统计app最新版本2023,在异世界迷宫2无修改动画怎么看,云缨巡街救阿离漫画免费v3.6.2-云缨巡街救阿离漫画,域名停域2023app黄页免费下载,域名停靠网页推广大全2022,域名停靠网页推广大全2021

华暖

华暖网-网上贸易、综合网上购物平台、家电、空调、洗衣机、空气能热水器、数码通讯、供应讯,电子商务,信息行业资内贸,数码等批发零售分销站!

三维云店

9i.cn社群营销工具,提供专业的社群营销推广解决方案,具有海报制作模板、电子邀请函模板、各行业分类模版、短网址生成、二维码生成等各类营销推广工具,旨在帮助企业推广和推广效果评估。

2026乐清马拉松

2026乐清半程马拉松1月15日开启报名!这是乐清二届马拉松,欢迎乐清附近的跑友一起来。领略乐清的风土人情,感受乐清的美好风光,乐清马拉松暂定于3月22日开跑,有意的小伙伴可以准备起来了.

成都里林设计工作室

成都里林设计工作室是成都十大设计公司之一,想了解成都设计工作室哪家好点,成都装修公司排名哪家好,成都装修别墅公司排名前十大排名,成都家装公司哪些口碑比较好,成都市装修公司排名榜!

常州市新晨威机械设备有限公司

常州市新晨威机械设备有限公司(原常州市晨威机械有限公司)地处经济发达的长江金三角,座落在闻名的工业明星城市——江苏常州,常州是长江三角洲地区的中心城市之一,这里是先进制造业基地和文化旅游名城,也是长江经济带的重要组成部分,与苏州、无锡构成苏锡常都市圈,交通便利,沪宁高速、沿江高速、锡宜高速、苏锡常南部高速,常宜高速贯穿左右,同时毗邻常州地铁1号线南夏墅站,如此好的位置为我公司创造了得天独厚的地理优势,让我们的产品更快捷的运输到您的手中。张经理18015897778,13815011033

普菲科空压机

普菲科压缩机(上海)有限公司专业从事普菲科压缩机,无油空压机,变频空气压缩机,螺杆式空气压缩机等产品销售服务业务;具有空压机行业服务经验,能够为广大用户提供一站式:400-639-9816

北京我乐网

北京我乐(woxiu)是一个人人在线视频娱乐直播平台,也是人气旺盛的美女在线直播互动社区,在这里人人可以玩直播,可以与美女网红主播在线视频、手机直播聊天交友!

全局底部横幅