MIT×UMich探索可以理解物体空间关系的人工智能 向人类再进一步
人类在描述场景时，经常描述物体之间的空间关系。 生物视觉识别涉及自上而下通路和自下而上通路的交互，而深度神经网络只模拟了第二种通路。自上而下的视觉通路涉及生物视觉感知的 全局性、拓扑性、多解性 等特点，尤其是理解图像时会面临数学上的无穷解问题。而这些特点或许就是深度神经网络下一步的改进方向。
“视觉场景理解包括检测和识别物体，推理被检测物体之间的视觉关系以及使用语句描述图像区域。”依据《我们赖以生存的隐喻》的观点， 物体关系相比于语义关系是更加基本的，因为语义关系背后都包含着物体关系的假设。
就如下图中，两只猫猫在「互殴」，另一只猫猫在旁边不嫌事大地看热闹。通过这个例子，人类可以非常清晰直接地观察并捕捉到猫咪的位置、行为和关联。但许多深度学习模型却无法以相同的方式理解复杂实况，捕获全部信息并进行解析，因为它们不明白单个物体之间的「纠缠」关系。
为了让机器人能够精准完成这些任务，来自麻省理工学院的 Shuang Li、Yilun Du 和伊利诺伊大学香槟分校的等人合作提出一款可以 理解场景中物体之间空间关系的模型。该模型具有很好的泛化能力，能够通过组合多个物体的空间关系从而生成或者编辑复杂的图片 。论文已作为Spotlight展示被NeurIPS 2021接收。
总的来说，研究主要有三个主要贡献：
1. 提出了一个框架来分解和组合物体之间的关系，该框架能够生成和编辑图像根据通过组合物体之间空间关系描述，并且明显优于基线方法。
2. 能够推断出潜在物体之间的场景描述，并能够很好的理解物体之间的语义等效。语义等效是同样的场景但是不同的表述方式，例如苹果在香蕉左边和香蕉在苹果右边。
3. 最重要的这个方法通过组合物体关系的描述可以推广到以前未见过的更复杂关系描述中。
这种泛化可以应用于工业机器人执行复杂多步骤的操纵任务，比如在仓库中堆放物品或组装电器。让机器能进一步“仿生”人类从环境中学习、互动，并且通过不断学习分解，组合从而很快适应新的环境和学习新的任务。
共同一作Yilun Du说道：“当我们看到一张桌子时，不会用空间坐标系的XYZ三轴来表达物体位置, 因为人类大脑不是这样工作的。 我们对周围环境的洞悉是基于物体之间的关系 。通过构建能够理解物体关系的系统，更有效地操纵机械从而改变周围场景。”
研究人员所提框架的亮点就在于， 「它能以人类的方式“解读”场景中物体之间的关系」。
比如输入一段文本——木桌在蓝色沙发的右侧，木桌在木柜的前面。
系统首先将句子拆分为「木桌在蓝色沙发的右侧」和「木桌在木柜的前面」两部分，再逐一描述单独部分之间的空间关系，然后对每个关系概率分布建模，通过优化过程将这些分离的“结构”汇合，最终生成一个完整、准确的场景图像。
研究人员使用机器学习中 「基于能量的模型」 编码每一对物体直接的空间关系，然后像乐高积木一样将它们组合起来从而描述整个场景。
“系统通过重新组合物体之间的描述，从而产生很好泛化能力，可以生成或者编辑以前没有见过的场景。”
Yilun Du也表示：“其他系统是从整体上考虑场景中物体之间的关系，再根据文本描述中一次性生成场景图像。一旦包含更复杂的场景描述时，这些模型就无法真正的理解并且生产想要的场景图像。 我们将这些单独的、较小的模型集成起来，实现对更多的关系进行建模，从而可以生产新颖的组合。
这个模型也可以逆向操作 。给定一张图像和不同的描述文本，它能准确找到场景结构中与物体关系相匹配的描述文本。
每种情况下，Nan Liu等人提出的模型都优于基线。
“我们的模型在训练过程中只见过一个物体关系描述，但是在测试中，当物体关系描述增加到两个、三个甚至四个的时候，我们的模型依然效果良好，其他机器学习方法则失败了。”
如图所示，图像编辑(Image Editing) 列出了不同方法在 CLEVR 和 iGibson 数据集上的分类结果。文中方法都大大优于基线—— StyleGAN2和StyleGAN2 (CLIP)。在 2R 和 3R 测试子集上的模型亦有优秀表现，所提方法对训练分布之外的关系场景描述具有良好的泛化能力。
研究人员还请实验参与者评估生成图像和场景描述的匹配度。在描述包含三个物体关系的最复杂示例中， 91% 的人认为该模型比其他基线的性能更好
在模型代码网页上Interactive Demo的展示中，可以清晰看到新模型在多层物体位置中依然可以按照指令准确生成我们想要的图像。
OpenAI训练的神经网络模型「DALL·E」，也是可以根据文本标题为自然语言的各种概念创建图像。DALL·E 虽然可以很好的理解物体，但是不能够准确的理解物体之间的关系。
可以说Nan Liu等人提出的新模型鲁棒性十分优越，特别是在处理从未遇到的场景描述时，其他算法只能 望其项背 。
虽然早期实验效果甚佳， 但研究人员希望模型能够进一步在更复杂的真实世界场景中（比如具有嘈杂的背景和相互阻挡的物体时）执行任务 。更进一步让机器人能够通过视频推断物体空间关系，然后应用这些知识来和周边环境中的物体交互。”
捷克技术大学捷克信息学、机器人和控制论研究所的杰出研究员 Josef Sivic 说：“开发出可以理解事物关系并且通过不断组合认识新的事物是计算机视觉领域至关重要的开放问题之一。他们的实验结果着实令人惊叹。”
Nan Liu, 伊利诺伊大学厄巴纳香槟分校硕士。2021 年毕业于密歇根大学安娜堡分校，获得计算机科学学士学位。目前从事研究计算机视觉和机器学习。
Shuang Li, MIT CSAIL博士，师从Antonio Torralba。主要研究使用语言作为交流和计算工具以及构建可以持续学习并与周围世界互动的智能体。
Yilun Du，MIT CSAIL博士生，受 Leslie Kaelbling 教授、Tomas Lozano-Perez 教授和 Josh Tenenbaum 教授指导。他对构建可以像人类一样感知理解世界的智能体和对构建模块化系统感兴趣。曾在国际生物学奥林匹克竞赛中获得了金牌。
Joshua B. Tenenbaum，MIT脑认知科学系教授、CSAIL研究员。1993 年获得耶鲁大学物理学学士学位，1999 年获得麻省理工学院博士学位。Tenenbaum因对数学心理学和贝叶斯认知科学的贡献而闻名，他是最早开发并将概率和统计建模应用于人类学习、推理和感知研究的人之一。2018 年，R&D 杂志将 Tenenbaum 评为“年度创新者”。麦克阿瑟基金会于 2019 年授予他麦克阿瑟研究员称号。
Antonio Torralba，MIT电气工程与计算机科学系 (EECS) 人工智能与决策系主任、CSAIL的首席研究员、MIT-IBM Watson AI Lab负责人、2021 AAAI fellow。1994年获得西班牙电信BCN的电信工程学位，并于2000年获得法国格勒诺布尔国立理工学院的信号，图像和语音处理博士学位。他是“计算机视觉国际期刊”的副主编，并在2015年担任计算机视觉和模式识别会议的计划主席。2008年国家科学基金会职业奖，2009年IEEE计算机视觉和模式识别会议上获得最佳学生论文奖，2010年获JK国际模式识别协会颁发的Aggarwal奖。2017年Frank Quick Faculty研究创新奖学金和Louis D. Smullin优秀教学奖。
原创文章，未经授权禁止转载。详情见 转载须知 。
本文地址： /article/5738913c0309e3ab6353.html
快速查询用户的IP和浏览器、操作系统。可以批量查询IP地址所在地，可以解析域名的多个IP地址
马可波罗（www.makepolo.com）是全球最大、最专业、最精确的采购搜索引擎，是一家以采购需求为导向，通过深度数据挖掘匹配、人工智能干预筛选，使采购人员能在最短的时间内找到他们所需要的有价值信息。从而较大地提高了工作效率，使采购人员在最短的时间内以最低的成本，采购最好的产品及服务。
星海圆梦舫,河南六道网络技术有限公司；六道网络；星海圆梦坊:专注你的梦想。心中所想，星海助你圆梦成真，形象设计、市场营销、吃喝玩乐这里应有尽有,全国首家O2O知识产权平台，致力于帮助中国中小企业提高自身知识产权创造、使用、保护和管理能力，为客户创造最大的价值对接异业合作、异业联盟、产品推广、资源置换、地推项目、社群运营的商务拓展合作平台，帮助企业用户找到适合的项目、甲方合作伙伴、招商加盟、分销渠道、地推渠道和人脉资源
mic影视网将会为大家带来最新最全的电影、电视剧、综艺、动漫等免费资源，更有当下比较热门的短剧视频等你来了解，每天将会在第一时间为你更新最新的影视作品，还有最新的影视资讯等你来了解哦，感兴趣的朋友们快来mic影视了解看看吧。
game8号网是一个专为游戏方面整理相关知识、玩法的分享平台,竭力为广大玩家提供海量好玩游戏的游戏攻略、游戏资讯、游戏简评、游戏玩法等，game8号网一定是游戏玩家首选的网站。
昂捷信息，以软件开发为核心，聚焦于零售行业数字化赋能，为超市、便利店、百货、购物中心、专营专卖等各零售业态提供全面的数字化解决方案和咨询服务，是业界领先的全链路数字化解决方案服务商。
电视猫为您提供电视剧原创分集剧情介绍、演员表、人物大结局等信息，最新一期综艺节目预告、热门电影、明星资料以及每周电视节目单，电视猫是您看电视看剧情的必备网站。
《醉逍遥》官方网站_至尊十七区【吉星高照】1月16日岁末庆典
天津金鹏博心理咨询中心是经国家工商局注册的专业心理咨询机构。咨询项目：心理测评，婚姻情感家庭心理咨询，青少年心理咨询，个人心理顾问，企业EPA，企业心理顾问，职场心理咨询。金鹏博心理咨询为每一位来访者带来温暖和希望。
货代软件，wms，仓储管理系统，tms，运输管理系统，oms，订单管理系统，物流软件，航运管理系统，航运管理软件-上海领道软件有限公司pyllot
居然智慧家是居然之家于2016年成立的全资子公司居然数码，创立初衷是为消费者打造全新数码生活、智能生活及智能家居体验等项目的新兴业态，提供智能家居系统、智能家居产品、智能家居解决方案、智能家居设备、智能家居控制系统、智能家居控制器、智能家居控制软件、智能家居控制平台等服务。
新生支付
7月9日消息，据彭博社记者MarkGurman报道，苹果预计2024年初在美国市场销售VisionPro头显，前期在纽约及洛杉矶在内主要地区的AppleStore以专区形式进行实体展示，后续将扩展到美国境内所有AppleStore，同时，苹果计划在2024年底于全球市场开始销售VisionPro，消息透露苹果内部已经开始讨论是否选择英...。
小程序相信大家都不陌生，搭建一个小程序，然后进行推广，获取流量和用户，就可以产生收益，大概形式就是和公众号流量主类似，别人点击广告就可以获取收益，比公众号好的一点是，小程序可以引导点击广告，收益也更高，点击进入小程序，浏览广告，点击任何广告页面，都有佣金，相当客户只要进小程序就有钱赚，小程序搭建流程1.搭建小程序大家如果会搭建，可以去...。
腾讯升级员工福利，入职5年送长期健康保险，入职15年可提前退休继上周五推出员工，退休福利，后，11月9日，腾讯再度升级员工福利，根据新方案，腾讯员工，职业里程碑，将从过去的三个节点升级为六个，1年、5年、10年、15年、20年、法定退休，如入职满15年时，腾讯员工将获赠一份，终身健康保险，，同时可自由选择是否退休，根据腾讯推出的，退休...。
在以前，甜品在东西方地区都是有钱有地位的人才吃得起的美食，不过伴随着时代的发展，工艺的精进，现如今的甜品已经成为了一种日常的小吃项目，现在的大街小巷，随处可见各种模式的甜品店，有的售卖着经典的广式糖水，有的经营着西式的烘焙甜品，那么加盟甜品店要多少钱，条件是什么呢，且听小编介绍，关于甜品店的加盟问题，我们可以结合具体的品牌去分析，以加...。
余生，请多指教，电视剧中顾魏没有去德国，原著小说中去了，余生，请多指教，原著小说中，顾魏和林之校婚后有一起去德国度蜜月，但两人恋爱期间没有一起去德国，剧中顾魏没有去成德国，因为病患医闹，害得顾魏被停职，他也不能去德国交流学习了，这件事害得顾魏消沉了一段时间，他也没有勇气再给林之校任何承诺，后来还是林之校骂醒了他，让他重新振作起来，...。
无论在学习、工作或是生活中，大家都经常接触到作文吧，作文一定要做到主题集中，围绕同一主题作深入阐述，切忌东拉西扯，主题涣散甚至无主题，还是对作文一筹莫展吗，下面是我为大家整理的珍爱生命的作文，希望能够帮助到大家，珍爱生命的作文1，叭，一支粉笔一下子被折成两半，掉在地上，随后有被一脚踩成粉末，这支支粉笔实在太不起眼了，可从粉笔的命运我还...。
[全球时报驻俄罗斯特派记者隋鑫全球时报记者沈圣柳玉鹏]11月12日，中共中央政治局委员、中央外办主任王毅在北京同俄罗斯联邦安保会议秘书绍伊古独特掌管中俄第十九轮策略安保商量，就独特关心的严重策略安保疑问片面深化替换意见，达成了新的共识，增进了策略互信，双方分歧赞同增强协作，保养好中俄相关和两国开展复兴大局，独特促成全球安保稳固，据，俄...。
据朝中社14日报道，朝鲜休息党总书记、朝鲜独裁主义人民共和国国务委员长金正恩7月11和12日实地调查了朝鲜三池渊市树立上班，他谴责监工干部极度玩忽职守，批示予以严惩，金正恩，右二，视察朝鲜三池渊市城建现场，图源，朝中社金正恩严峻指出，一些指导干部在树立环节中体现的不担任任的上班态度，以及由此发生的一系列重大倾向，并批示对其履行必要措施...。
变速箱负荷利用会破坏变速箱油的品质和摩擦个性，放大摩擦与磨损，变速箱噪音随之而来，同时，油泥，杂质或脏污，亦会在变速箱外部发生，例如阀体，，造成变速箱出现顿挫、脱档、冲击、打滑、异响、提前、高温、漏油，奥迪等上流车型就会报警，进入变速箱包全形式，如不迭时处置，变速箱就会报废，因此，肃清掉变速箱内固执性脏污与杂质、有效管理变速箱上班温...。
这个保卖车的意思就是说你的车只需认可他们的多少钱，他们会和你签署一个卖车协定，保障在多久之内必定可以帮你把车卖进来，瓜子二手车发表正式推出二手车新批发业务——瓜子保卖体验店，经过线上大数据、流量，线下实体店的联动，成功买卖效率大幅优化以及买卖规模的优化，保卖，显而易见就是，保障能卖进来，，瓜子方面示意，保卖体验店的车辆均来自团体卖家...。
现在铺先生客服找上门的时刻我还抱着将信将疑的态度和他们沟通，起初发现他们提出的倡导都挺专业的，于是试着和他们协作，结果他们的转店效率挺高的，差不多每天都推客户上来上门看店，店铺转进来花了28天，不过我曾经很满意了，还有，百姓网、赶集网、安居客、58等等；这些平台除了屋宇出租，也有商铺出租、转让等你也可以网络一下赶集网济南赶集网济南是一...。
xy苹果助手iphone版装置可以提供一种繁难快捷的模式来治理iPhone上的运行程序、音乐和文件等资源，首先，xy苹果助手可以协助用户轻松公开载、装置和治理iPhone运行程序，经过衔接iPhone到电脑上，用户可以在xy苹果助手上阅读和搜查运行程序，并选用须要装置的运行程序，而后将其下载并装置到iPhone上，这为用户提供了一个繁...。
泰坦塔防战,泰坦塔防战游戏是一款趣味十足的优秀塔防战争手游，在游戏中您能够不断解锁新的关卡、建筑和武器，用来对付泰坦巨人。不同的泰坦巨人有不同的弱点，玩家需要选择正确的武器和防御策略来击败他们。欢迎下载游玩,您可以免费下载。
重庆分类目录网站将2017年06月共111个网站收录信息按收录时间分类整理归档列表，可以方便网友浏览按年月查询，更好地享受精彩网站的魅力！
风暴工程建造和救援修改器由MrAntiFun制作分享，这是一款卡通风格的救援模拟游戏，本站提供多种修改器，让你可以在各种建筑中轻松救援完成任务
XceedUltimateSuite是一款用户界面、数据处理套包，从.net/WPF/silverLight平台到ActiveX下包含了多个子控件
遇到智能手机之后(已发表）_我是悦悦宝贝_新浪博客,我是悦悦宝贝,
