MIT×UMich探索可以理解物体空间关系的人工智能 向人类再进一步
人类在描述场景时，经常描述物体之间的空间关系。 生物视觉识别涉及自上而下通路和自下而上通路的交互，而深度神经网络只模拟了第二种通路。自上而下的视觉通路涉及生物视觉感知的 全局性、拓扑性、多解性 等特点，尤其是理解图像时会面临数学上的无穷解问题。而这些特点或许就是深度神经网络下一步的改进方向。
“视觉场景理解包括检测和识别物体，推理被检测物体之间的视觉关系以及使用语句描述图像区域。”依据《我们赖以生存的隐喻》的观点， 物体关系相比于语义关系是更加基本的，因为语义关系背后都包含着物体关系的假设。
就如下图中，两只猫猫在「互殴」，另一只猫猫在旁边不嫌事大地看热闹。通过这个例子，人类可以非常清晰直接地观察并捕捉到猫咪的位置、行为和关联。但许多深度学习模型却无法以相同的方式理解复杂实况，捕获全部信息并进行解析，因为它们不明白单个物体之间的「纠缠」关系。
为了让机器人能够精准完成这些任务，来自麻省理工学院的 Shuang Li、Yilun Du 和伊利诺伊大学香槟分校的等人合作提出一款可以 理解场景中物体之间空间关系的模型。该模型具有很好的泛化能力，能够通过组合多个物体的空间关系从而生成或者编辑复杂的图片 。论文已作为Spotlight展示被NeurIPS 2021接收。
总的来说，研究主要有三个主要贡献：
1. 提出了一个框架来分解和组合物体之间的关系，该框架能够生成和编辑图像根据通过组合物体之间空间关系描述，并且明显优于基线方法。
2. 能够推断出潜在物体之间的场景描述，并能够很好的理解物体之间的语义等效。语义等效是同样的场景但是不同的表述方式，例如苹果在香蕉左边和香蕉在苹果右边。
3. 最重要的这个方法通过组合物体关系的描述可以推广到以前未见过的更复杂关系描述中。
这种泛化可以应用于工业机器人执行复杂多步骤的操纵任务，比如在仓库中堆放物品或组装电器。让机器能进一步“仿生”人类从环境中学习、互动，并且通过不断学习分解，组合从而很快适应新的环境和学习新的任务。
共同一作Yilun Du说道：“当我们看到一张桌子时，不会用空间坐标系的XYZ三轴来表达物体位置, 因为人类大脑不是这样工作的。 我们对周围环境的洞悉是基于物体之间的关系 。通过构建能够理解物体关系的系统，更有效地操纵机械从而改变周围场景。”
研究人员所提框架的亮点就在于， 「它能以人类的方式“解读”场景中物体之间的关系」。
比如输入一段文本——木桌在蓝色沙发的右侧，木桌在木柜的前面。
系统首先将句子拆分为「木桌在蓝色沙发的右侧」和「木桌在木柜的前面」两部分，再逐一描述单独部分之间的空间关系，然后对每个关系概率分布建模，通过优化过程将这些分离的“结构”汇合，最终生成一个完整、准确的场景图像。
研究人员使用机器学习中 「基于能量的模型」 编码每一对物体直接的空间关系，然后像乐高积木一样将它们组合起来从而描述整个场景。
“系统通过重新组合物体之间的描述，从而产生很好泛化能力，可以生成或者编辑以前没有见过的场景。”
Yilun Du也表示：“其他系统是从整体上考虑场景中物体之间的关系，再根据文本描述中一次性生成场景图像。一旦包含更复杂的场景描述时，这些模型就无法真正的理解并且生产想要的场景图像。 我们将这些单独的、较小的模型集成起来，实现对更多的关系进行建模，从而可以生产新颖的组合。
这个模型也可以逆向操作 。给定一张图像和不同的描述文本，它能准确找到场景结构中与物体关系相匹配的描述文本。
每种情况下，Nan Liu等人提出的模型都优于基线。
“我们的模型在训练过程中只见过一个物体关系描述，但是在测试中，当物体关系描述增加到两个、三个甚至四个的时候，我们的模型依然效果良好，其他机器学习方法则失败了。”
如图所示，图像编辑(Image Editing) 列出了不同方法在 CLEVR 和 iGibson 数据集上的分类结果。文中方法都大大优于基线—— StyleGAN2和StyleGAN2 (CLIP)。在 2R 和 3R 测试子集上的模型亦有优秀表现，所提方法对训练分布之外的关系场景描述具有良好的泛化能力。
研究人员还请实验参与者评估生成图像和场景描述的匹配度。在描述包含三个物体关系的最复杂示例中， 91% 的人认为该模型比其他基线的性能更好
在模型代码网页上Interactive Demo的展示中，可以清晰看到新模型在多层物体位置中依然可以按照指令准确生成我们想要的图像。
OpenAI训练的神经网络模型「Dall·E」，也是可以根据文本标题为自然语言的各种概念创建图像。DALL·E 虽然可以很好的理解物体，但是不能够准确的理解物体之间的关系。
可以说Nan Liu等人提出的新模型鲁棒性十分优越，特别是在处理从未遇到的场景描述时，其他算法只能 望其项背 。
虽然早期实验效果甚佳， 但研究人员希望模型能够进一步在更复杂的真实世界场景中（比如具有嘈杂的背景和相互阻挡的物体时）执行任务 。更进一步让机器人能够通过视频推断物体空间关系，然后应用这些知识来和周边环境中的物体交互。”
捷克技术大学捷克信息学、机器人和控制论研究所的杰出研究员 Josef Sivic 说：“开发出可以理解事物关系并且通过不断组合认识新的事物是计算机视觉领域至关重要的开放问题之一。他们的实验结果着实令人惊叹。”
Nan Liu, 伊利诺伊大学厄巴纳香槟分校硕士。2021 年毕业于密歇根大学安娜堡分校，获得计算机科学学士学位。目前从事研究计算机视觉和机器学习。
Shuang Li, MIT CSAIL博士，师从Antonio Torralba。主要研究使用语言作为交流和计算工具以及构建可以持续学习并与周围世界互动的智能体。
Yilun Du，MIT CSAIL博士生，受 Leslie Kaelbling 教授、Tomas Lozano-Perez 教授和 Josh Tenenbaum 教授指导。他对构建可以像人类一样感知理解世界的智能体和对构建模块化系统感兴趣。曾在国际生物学奥林匹克竞赛中获得了金牌。
Joshua B. Tenenbaum，MIT脑认知科学系教授、CSAIL研究员。1993 年获得耶鲁大学物理学学士学位，1999 年获得麻省理工学院博士学位。Tenenbaum因对数学心理学和贝叶斯认知科学的贡献而闻名，他是最早开发并将概率和统计建模应用于人类学习、推理和感知研究的人之一。2018 年，R&D 杂志将 Tenenbaum 评为“年度创新者”。麦克阿瑟基金会于 2019 年授予他麦克阿瑟研究员称号。
Antonio Torralba，MIT电气工程与计算机科学系 (EECS) 人工智能与决策系主任、CSAIL的首席研究员、MIT-IBM Watson AI Lab负责人、2021 AAAI Fellow。1994年获得西班牙电信BCN的电信工程学位，并于2000年获得法国格勒诺布尔国立理工学院的信号，图像和语音处理博士学位。他是“计算机视觉国际期刊”的副主编，并在2015年担任计算机视觉和模式识别会议的计划主席。2008年国家科学基金会职业奖，2009年IEEE计算机视觉和模式识别会议上获得最佳学生论文奖，2010年获JK国际模式识别协会颁发的Aggarwal奖。2017年Frank Quick Faculty研究创新奖学金和Louis D. Smullin优秀教学奖。
原创文章，未经授权禁止转载。详情见 转载须知 。
本文地址： https://www.gpxz.com/article/5738913c0309e3ab6353.html
内蒙古车工匠汽车服务有限公司,是一家专注呼和浩特汽车凹陷修复,呼和浩特车漆局部修复,呼市汽车数据复原无腻子喷漆的公司,主要是从事汽车后市场服务，包括数据复原、凹陷修复、冰雹车专修、传统钣金、传统喷漆、免喷漆修复、技术培训等业务。
查询百度权重和百度的关键字排名，查询360权重和360的关键字排名
全国报刊大全和国内报刊大全-在线看报系统-在线读报-报纸在线阅读系统，无论国内和国外，所有报纸期刊杂志尽在53BK报刊网
先上DJ音乐网，为你提供高品质dj舞曲,dj歌曲,dj串烧,dj慢摇舞曲,劲爆dj,车载dj在线试听,2023最火DJ免费下载,资源库音乐盒,在线mp3宝藏音乐DJ大全库,舞曲歌曲大全。
化身“千面·独孤求败”，体验一剑纵横十九州的武林至高境界。全新S4赛季山河副本“绣榻惊锋”同步上线
木船制造,木船制造厂,旅游观光船,观光船厂家,兴化市殿宝木船制造有限公司
财务招聘金融招聘会计招聘校园招聘应届生招聘求职全职实习证券招聘证券投行招聘投行券商基金信托审计招聘审计税务银行招聘银行保险期货外汇租赁IPO会计投资PEVC融资投融资理财互联网金融职业规划问答社区财务问答税务咨询金融问答InvestmentFinancefinancingTaxAccountingAuditFunSecuritiesJobRecruitment
学古诗(www.xuegushi.net)提供古诗大全,古诗词名句,古诗词鉴赏,名诗名句大全,古诗词三百首,唐诗大全,宋词名句,经典古诗文,古诗文大全,古代诗歌大全等古诗古词,尽在学古诗.
河北博海生物工程开发有限公司
考研室网是专业的考研信息网站,提供报考资讯,考研时间,考研大纲,研究生招生简章,考研专业目录,考研报名,考研成绩查询,考研分数线,考研国家线,研究生分数线,考研调剂,考研真题等信息。
地处北纬37°的黄金纬度线 是黄河三角洲上的璀璨明珠 土壤肥沃，水源充沛，司机分明，光照充足 年平均气温16℃在中国适合黑牛生长 高级别的大理石花纹的国宝级黑牛 黑牛肉入口向内即化，味道出众的牛肉也是来自高青这片土地的馈赠
鼎力盛科技是一家通过SGS认证,tripod鼎力盛专注气柱袋，葫芦膜,充气袋，红酒气柱袋，缓冲包装袋批发和真空机生产的高新企业。鼎力盛科技为您量身定制合适的包装方案服务，电话:戴小姐186-6589-9235微信同号
在如今的数字化时代，音乐软件已经成为了我们生活中不可或缺的一部分，相信很多朋友想知道音乐软件免费听歌哪个好用，毕竟，很多音乐软件都存在着收费或者广告干扰的问题，这让很多人感到烦恼，所以，今天小编就来给大家介绍几款免费听歌的音乐软件，这些软件不仅提供了丰富的音乐资源，还具有简单易用的操作界面和高效的播放功能，让你可以轻松愉快地享受音乐，...。
阿里近年的收购还有高德地图、UC等等，就单独品牌、产品来说，获得成功的屈指可数，成就的只有阿里巴巴一家公司，中国创业界有过两个阶段，第一阶段是，如果BAT模仿你的产品怎么办?，、第二阶段是，如果BAT不投资你怎么办?，仅2018年阿里和腾讯投资事项就分别达到223次和258次，不过这其中BAT的风格都略有不同，百度的投资更看重内容产...。
净水器租赁哪个牌子好，美淳净水器加盟代理，在净水器行业发展，目前还没有相关净水协会制定净水器行业标准体系，那么在这个行业里面，目前没有哪个净水器品牌敢说自己是老大，在2016年各个行业都受影响下，在目前来说净水器在迅速发展的市场化进程中，越来越多的企业由于经营不善的原因，陆续退出了这个行业，而行业规模型和有技术实力支撑的企业此时有了更...。
能量自监督学习到底是什么鬼，不少Reddit网友评论说，刚刚，深度学习教父YannLeCu登上了Reddit热搜，一位不知名的开发者发表了一篇题为，YannLeCun提出基于能量的自监督学习到底是什么，的帖子，引发众多网友讨论，讨论的焦点之一是，基于能量的自监督学习模型能做什么，有什么优势或意义，这位开发者刚刚看完LeCun最新的...。
数据显示，全球78亿人中，只有2700万人会编写代码，占比不到1%，不过，机器编程想让另外99%的人也能编写代码，这听起来很科幻，但英特尔在机器编程领域的进展让我们相信让100%的人都能写代码并非触不可及，英特尔的ControlFlag系统是全球首个自我监控系统，不需要标记数据就能学习，通过学习超过十亿行代码，可以自主检测代码中的错误...。
低代码脉络下的简道云这一两年，低代码已经火爆到无人不知无人不晓的地步，但是细细想来低代码是新产物吗，显然不是，低代码这一概念其实早就出现过了，1980年IBM的快速应用程序开发工具，RAD，就被冠以新的名称——低代码，此时还未定义，由此，低代码的概念首次面向大众，2000年，一家美国公司研究的一项程序可视化编程的项目，做出了4GL，...。
非常受欢迎的奶茶，在市场上有着众多加盟连锁品牌可提供，为了迎合多变的饮食口味需求，在整个技术创立方面，有着不同层次的展现，给每一个创业者都带来了制作方式简单，智慧之选小，低，实现目标收银大的创业优势，因此吸引了众多智慧之选商的关注，那么，开奶茶店怎么加盟奶茶店，加盟什么品牌好呢，下面就来了解一下，开奶茶店，怎么加盟呢，对于自己所中意的...。
9元的奶油蘑菇汤、16元的海鲜烩饭、18元的马苏里拉芝士披萨……中餐连锁品牌萨莉亚仰仗平价路途在中国走红，被消费者戏称，意大利沙县，穷鬼餐厅，作为一家主打高价的意式餐厅，即使是在一线市区，萨莉亚也是人气炽热，排队一二小时简直是广泛现象，像北京、上海这样的市区，萨莉亚单店全天排队数可达300桌，节假日等高峰时间排队人数更多，但最近有...。
驾车路途，全程约1462.2公里，高速费700左右，油钱不好算，要看开什么车，普通加要3箱油，终点，双城区1.哈尔滨市内驾车打算1，从终点向西北方向登程，行驶50米，右转进入新兴路2，沿新兴路行驶110米，调头进入新兴路3，沿新兴路行驶650米，右前方转弯进入东环城北路4，沿东环城北路行驶480米，左转进入同兴路5，沿同兴路行驶2.6...。
外地期间7月3日下午，委内瑞拉全国代表大会主席、执政党一致社会主义党政治局成员罗德里格斯在社交媒体上示意，今日与美国的线上间接对话完结，双方就改善相关达成共识，罗德里格斯说，委内瑞拉重申对话必定在此前达成的卡塔尔协定框架内启动，为了复原政府间的互信和相关，双方必定尊重自决、主权和互惠的准则，罗德里格斯说第一次性会议完结后，与美方达成以...。
重庆分类目录网站收录家具相关的优秀网站大全分类检索，为上网用户提供家具网站排行榜与您分享、收藏！
驾校一点通iPad版是一款驾考教学app，驾校一点通iPad版方便、实用、快速提高成绩；驾校和教练都极力推荐下载！全国学车车朋友都在使用！在业界赢得非常好的口碑，是一款口口相传的驾考APP;您可以免费下载。
一般地，下属对上司总有一层顾虑，这层顾虑往往使他在上司想了解其需要的时候，不敢说出真话，而作为领导，如果不能了解下属的真正需要，即使他为此做了不少事，也仍然达不到很好的感觉，因此，作为领导，一定要善于发现下属心中真正的想法，1．巧妙提问和下属的谈话不宜直截了当地去提问，特别是一些敏感的问题，你得委婉而巧妙地去问，比如采取闲聊的方式询问...。
双十一，从阿里巴巴发源，在电商之神马云的加持下，已经变成国家消费狂欢，连年走高的交易额，从5000万到912亿，这个陡峭的增长指数印证了马云的一句话，看不见，看不起，看不懂，跟不上，双十一销售的排名，也在发生变化，2013~2015，销量排名第一都是小米，不过纵观前十名的名单，会发现很大变化，2013年，除了小米之外，第二名是海尔，剩...。
超市成为了人们购买生活必须品的地方，因此好伴超市的出现，给消费者带来了便利，品牌在行业内得到好的发展后，不仅赢得了消费者的认可，也让创业者产生了加盟的想法，这部分看中此品牌的创业者，前来咨询好伴超市怎么加盟，下面介绍的内容可以解答大家的疑问，好伴超市现今具备众多优势，包括商品优势、系统优势、物流优势、配送优势、管理优势、营销优势等，品...。
现如今，我们的经济生活丰富多彩，人们不仅可以搞搞副业，也可以拿着闲钱去炒房、玩股票，当然做实业生意则需要加盟者对市场的敏锐洞察力，也需要找到热销有品牌影响力的产品，来自有限公司的集成墙饰5D背景墙招商加盟信息，让人眼前一亮，目前家装市场十分不错，很多年轻人也纷纷看好集成墙饰、集成吊顶以及全屋整装系统的装修风格，为此，加盟卓畅的代理商们...。
二胎政策开放之后，母婴行业得到快速发展，因为新生儿对奶粉、尿裤、保健产品等等，都有需求，然而这些产品在母婴店就可以购买到，亲宝儿母婴顺势而生，凭借着产品质量，还有合理价格，赢得消费者拥护，如今，也在市场上站稳脚跟，可持续发展，创业者看到商机之后，对这个项目产生加盟想法，那么，亲宝儿母婴加盟费多少，亲宝儿母婴来说湖南，创立于2014年，...。
