MIT等高校联合推出3000小时的第一视角视频数据集Ego4D Facebook和NUS (mit 学校)

文章编号:36076 资讯动态 2024-11-30 NUS研究团队 Facebook MIT Ego4D

和NUS、MIT等高校联合推出3000小时的第一视角视频数据集Ego4D

1. 左:同一场景在第一视角和第三视角下;右:第一视角视频采集设备

从第三视角看世界,和从第一视角和世界互动,有显著差异。比如说,看别人坐过山车和自己坐过山车,体验完全不同。
AI技术浪潮,为增强现实 (AR) 和智能机器人赋能,AI需要从现在的第三视角转换成第一视角的全新范式。这是因为在第一视角的世界中,常有实时的运动变化,手与物体的交互,多种感官的信息融合。

Facebook联合新加坡国立大学 (NUS) 、MIT等世界各地的13所大学组成了一个学术联盟,致力于开展一个长期项目——

NUS研究团队的Principal Investigator(主要负责人),助理教授Mike寿政说: “在过去十年里,我们见证了AI在理解图像方面的变革,这是建立在 ImageNet 等数据集所奠定的基础上的。类似的,我相信我们的 Ego4D 数据集,将为第一视角的视频研究打好基础,从而推动智能感知在 AR 和机器人方面的快速发展。”



目前最大的第一视角视频数据集
和NUS、MIT等高校联合推出3000小时的第一视角视频数据集Ego4D

2. Ego4D 是目前最大的第一视角的日常活动视频数据集

AI系统需要大量数据进行训练,现有的大规模视频数据集通常以第三视角为主;而现有的第一视角数据集在规模、多样性和复杂性上都很有限。因此,该学术联盟推出了 Ego4D 数据集:

大规模 :研究人员分发头戴式相机或者 AR眼镜给数据采集者,从而收集了累计3,000 小时的、日常活动中的第一视角视频;

:包含了人们的日常生活的数百种不同活动,记录了相机佩戴者在关注什么,用手和面前的物体做什么,以及他们是如何与其他人互动的;

多样性 73 个地点、9个国家,700 多名不同背景、种族、职业、年龄的数据采集者,囊括不同的文化和地理差异;

抽好的特征 所有视频,均有预先抽好的 SlowFast特征,方便大家进行实验;

授权公开 2021 年 11 月公开,视频中的所有可见人脸和可听懂的语音均已获得参与者的授权。



新任务,新技术
和NUS、MIT等高校联合推出3000小时的第一视角视频数据集Ego4D

3. 通过采集的第一视角视频数据,Ego4D团队可以开发AI模型来解决新的任务

与数据收集同样重要的是,定义正确的任务,进行严格的人工标注,来引导新技术的研发。

Ego4D 学术联盟联合构建了五个全新的、具有挑战性的任务:

(1)情景记忆: 什么时候发生了什么? 3A, 告诉我钱包最近一次出现的位置。

(2)预测未来: 我接下来要做什么? 3B, 他即将跳起来抓住单杠。

(3)手与物体交互: 我在做什么以及如何做? 3C, 告诉我下一步的操作。

(4)+听觉: 多人场景下,谁在什么时候说了什么? 3D, 生成会议内容的总结。

(5)社交交互: 人与人如何交互? 3D, 我注视着他,而他正在对我说话。

“我们NUS研究团队主要为其中两个关键任务开发模型:一是,利用声音和视觉线索帮助AI识别“谁在什么时候说了什么 ;二是,开发具有社交智能的 AI,检测当下谁在对谁说话,谁在关注谁。” 同样来自NUS团队的Co-PI李海洲教授如是说。

有第一视角感知能力的 AI,将赋能AR眼镜、智能机器人等等同样是第一视角的设备,将在我们的日常生活和工作中发挥更大作用。想象一下:在对着新菜谱做菜时,不必再来来回回地看菜谱,你的AR 眼镜就可以实时地同步指导你执行每个步骤;对于有阿尔茨海默症等健康问题的人,AR眼镜可以帮助他们回忆钱包放在哪里了。

Ego4D数据集只是起点,研发第一视角AI技术,进而赋能智能机器人、AR眼镜,将在不远的将来,改变我们的生活、工作、娱乐方式,带给我们前所未有的、虚拟与现实交融的体验。

更多技术详情请见Arxiv论文:
Ego4D 计划的学术联盟包括以下主要负责人:CV Jawahar (印度国际信息科技研究院,海得拉巴), David Crandall (印第安纳大学), Dima Damen (布里斯托大学), Giovanni Maria Farinella (卡塔尼亚大学), Kristen Grauman (Facebook AI), Bernard Ghanem (阿卜杜拉国王科技大学), Jitendra Malik (Facebook AI), Kris Kitani (卡内基梅隆大学和卡内基梅隆大学非洲校区), Aude Oliva (麻省理工学院), Hyun Soo Park (明尼苏达大学), Jim Rehg (佐治亚理工学院), Yoichi Sato (东京大学), Jianbo Shi (宾夕法尼亚大学), AntoNIO Torralba (麻省理工学院), Mike Zheng Shou (新加坡国立大学), and Pablo Arbelaez (哥伦比亚安第斯大学)。

和NUS、MIT等高校联合推出3000小时的第一视角视频数据集Ego4D

版权文章,未经授权禁止转载。详情见 转载须知 。

和NUS、MIT等高校联合推出3000小时的第一视角视频数据集Ego4D


本文地址: https://www.gpxz.com/article/8848c0b57b0b7c6d76b0.html
全局中部横幅
全局中部横幅
外链查询,反链查询

查询网站在哪些地方做了外链

PA视讯(中国区)官网

PA视讯(中文)官方网站-PlayAce⚽️‌♓️【注册、登录入口:http://haobo197.com】♓️⚽️‌是国际知名体育游戏平台,首页、官网、登录入口、网页版、在线网址、娱乐、手机版app下载,将秉承以服务为唯一的宗旨,安全有保障,让您玩得安全,放心游戏。

hao123

hao123是汇集全网优质网址及资源的中文上网导航。及时收录影视、音乐、小说、游戏等分类的网址和内容,让您的网络生活更简单精彩。上网,从hao123开始。

oa办公系统

承元软件专注于协同办公与企业信息化,平台型oa擅长办公+业务的个性化开发,oa软件功能完善+简单易用+良好扩展性,为用户提供移动+PC一体化的信息化解决方案。

液压千斤顶

江苏浩森国际贸易有限公司是瑞典品牌Simson/森山液压千斤顶,德国品牌Auras/欧德斯潜水泵在中国的代理商,致力于为各行各业提供优质和可靠的工具和设备(液压千斤顶、潜水泵等),我们认为只有先进的生产工具才能创造出优秀的产品,服务和价值.

星律网

盘州离婚律师,盘州合同律师,盘州经济律师,盘州债权债务律师,盘州交通事故律师,盘州工程款追讨,盘州退房,盘州逾期办证违约金追讨,盘州逾期交房违约金追讨,盘州交通事故理赔,盘州工伤赔偿,盘州账款追偿,盘州法律顾问

收购库存胶管

河北营凡物资回收有限公司大量收购回收各类库存废旧胶管,回收范围:钢丝胶管、煤矿高压油管、高压胶管、液压胶管、船厂胶管等废旧胶管,服务衡水市区及周边各县市,在回收行业建立了良好的信誉和口碑!

金满保

金满保基于保险服务、健康医疗、旅游户外、电商平台多种服务资源,为保险及保险准用户提供专业性保险售后咨询及服务。

除雪车水箱,5立方地埋式垃圾桶,深埋式垃圾桶,房车水箱

无锡市海溪防腐设备有限公司专业生产和销售各类滚塑制品,其中除雪车水箱质优价廉;房车水箱、深埋式垃圾桶品质可靠、坚固耐用;地埋式垃圾桶技术先进、精益求精;同时我司生产的储罐、防腐储罐、化工储罐、塑料储罐、钢塑复合储罐、全塑储罐、钢衬塑储罐等产品深受广大客户的欢迎!热线:0510—83751596

悟技小屋

悟技小屋是一个专注于技术分享与编程实战的博客,致力于为开发者提供高质量的内容与实用的教程。无论你是初学者还是经验丰富的程序员,这里都有适合你的技术资源。从前端到后端、从代码优化到架构设计,覆盖软件开发的各个方面。同时,我们紧跟IT行业的最新趋势,深入探讨人工智能、云计算、大数据等前沿领域。通过专业的分析与实践指导,帮助开发者在技术道路上不断成长。

提升门

提升门厂家西朗门业生产的提升门、工业滑升门、车库门、快速提升门、装卸货平台、登车桥等均通过欧盟CE、UL认证,出口海外70多国,是70家世界500强供应商,为全球工厂提供工业门方案。


全局底部横幅