2019 谷歌新智能体Dreamer将亮相NeurIPS 数据效率比前身PlaNet快8个小时 (2019谷歌九八网)

谷歌新智能体Dreamer将亮相NeurIPS 2019,数据效率比前身PlaNet快8个小时

在具有挑战性的环境中,一些人工智能系统通过利用过去经验所提供的世界表象来实现目标。研究人员将这些应用推广到新的情况,使它们能够在以前从未遇到过的环境中完成任务。

事实证明,强化学习——一种使用奖励来推动软件策略朝着目标前进的训练技术——特别适合学习一个总结agent经验的世界模型,并通过扩展来促进新行为的学习。

雷锋网消息,近日,来自Google、alphabet子公司Deepmind和多伦多大学的研究人员发表了一篇名为《梦想控制:通过潜意识的学习行为》的新研究,他们开发了一个增强型学习智能体Dreamer,通过内化一个世界模型,并通过通过潜在的“想象力”来提前计划选择行动。

他们说,Dreamer不仅适用于任何学习目标,而且在数据效率、计算时间以及最终性能方面都超过了现有的方法。

在它的整个生命周期中,无论是交错还是并行,Dreamer都会学习一个latent dynamics model(潜在动力学模型),以预测动作和观察结果的回报。在这种情况下,“latent dynamics model”是指从图像输入中学习并执行计划以收集新经验的模型。

“潜在”表示它依赖于隐藏状态或潜在状态的紧凑序列,这使它能够学习更多抽象的表示形式,例如对象的位置和速度。使用编码器组件,有效地将来自输入图像的信息集成到隐藏状态中,然后及时地将隐藏状态向前投影以预测图像和奖励。

谷歌新智能体Dreamer将亮相NeurIPS 2019,数据效率比前身PlaNet快8个小时

上图:Dreamer完成一个摆动钟摆的任务。中间显示45步预测

Dreamer使用了一个多部分的latent dynamics model,这个模型的结构有些复杂。“表示”位对观察和动作进行编码,而“过渡”位则在没有看到会引起观察的情况下预见状态。第三个组件(奖励组件)根据给定的模型状态来投影奖励,而行为模型将实施学习的策略并旨在预测可解决想象的环境的行为。最终,价值模型评估行动模型实现的预期想象奖励,而观察模型提供反馈信号。

谷歌新智能体Dreamer将亮相NeurIPS 2019,数据效率比前身PlaNet快8个小时

上图:梦想家在迷宫中导航。中间显示45步预测。

雷锋网了解到,在一系列实验中,研究人员测试了Dreamer在DeepMind Control Suite中的20个视觉控制任务上的效果,DeepMind Control Suite是一种用于评估机器学习驱动的代理的仿真软件。

他们首先使用Nvidia V100图形芯片和10个处理器内核来训练它,每次培训运行一次。他们说,控制套件上每106个环境步骤花费了9个小时。(相比之下,Google的Dreamer前身PlaNet花了17个小时才达到了类似的性能。)

谷歌新智能体Dreamer将亮相NeurIPS 2019,数据效率比前身PlaNet快8个小时

上图:梦想家在玩Atari游戏(拳击)。中间显示45步预测。

研究人员报告说,Dreamer有效地利用了学习的世界模型来从少量经验中进行概括,并且它的成功证明了,通过潜在的想象力进行的学习行为可以胜过顶级方法。他们还说,Dreamer的价值模型即使在短期计划中也表现良好,在20个任务中的16个(有4个打成平手)上表现优于其他模型。

研究人员写道:“未来,关于表征学习的研究可能会将潜在的想象力扩展到视觉复杂性更高的环境中,”研究人员计划在本周温哥华的NeurIPS 2019上展示他们的工作。Dreamer项目的代码可在上公开获得。

原创文章,未经授权禁止转载。详情见 转载须知 。


本文地址: /article/cd81275666e656131378.html
全局中部横幅
全局中部横幅
上海自动化仪表四厂

上海自动化仪表四厂简称“上海仪表四厂”“上海自仪四厂”是机械工业部专业生产压力检测仪表和压力计量仪器的重点企业。注册商标为“白云”牌

铝合金阳光雨棚_重庆铝艺车棚围栏护栏厂家-重庆博晟装饰工程有限公司

重庆博晟装饰工程有限公司专注于铝艺护栏、围栏、车棚、阳光雨棚、凉亭、葡萄架、庭院门、阳光房等各种铝艺产品设计、生产、定做、安装、售后等业务。从事铝艺行业多年,款式多样,质量可靠,大气美观,可为客户提供量身设计定制的服务,欢迎来电咨询!

大诚世纪|大诚世纪集成家居有限公司|LUFENCI路芬奇奢华定制

大诚世纪集成家居有限公司是一家集设计、生产、销售、安装为一体专业化全屋定制厨房家具制造的股份制企业,致力于一体化高端整体橱柜定制和全屋家具定制。公司自1999年成立至今二十二年来,积累深厚的技术经验,产品养生、产品制作工序,都是依托于实际经验不断迭代更新而来,基于大诚的技术经验,对于设计、工艺,规避可能出现的问题,坚持以开创国际一流品质的产品为己任,为消费者提供高品质的产品与服务

济宁金汉斯环保材料股份有限公司_消泡剂系列,剥离剂系列,助留助滤剂,脱墨剂,漂白控制剂

济宁金汉斯环保材料股份有限公司地处济宁市嘉祥县经济开发区,公司主要产品包括:封闭循环助留助滤剂,零排放助留剂可以解决常用助留剂保留率低、白水浓度高等疑难问题,联系电话:13181300024

专业软件开发与解决方案提供商 - 五五开发

55kaifa.com是一家专业的软件开发与解决方案提供商,致力于为企业提供高质量的定制开发服务。我们拥有丰富的开发经验和先进的技术团队,助您实现业务目标。

北京风启科技有限公司

提供光斑分析仪、飞秒激光器和纳秒激光器,样机免费测试,性价比高

|2017-t6|进口铝棒|进口铝板|-东莞市广毅荣金属制品有限公司

东莞市广毅荣金属制品有限公司供应:国标铝棒,进口铝棒,进口铝板,铝厚板,氧化铝板,超硬铝板,航空铝板,铝排,铝管,铝带,铝线,主要材质有:1060,1065铝带,2024,2017-t6,3003,5052,5056,7A04,7075,6063,6061,7050,1060铝棒,2A12铝棒,3003铝棒4032铝棒,铝棒批发,6082铝棒,AL7075-T651,AA7075-T6511铝棒,铝棒批发,铝棒厂家,特殊规格可以订货,欢迎来电咨询订购!

在线ICO图标制作工具 - 比特虫 | 免费Favicon转换生成器

免费、快速、高质量的ICO图标制作工具,支持多种图像格式转换

液压弯管机-全自动弯管机-专业弯管机厂家-卓氏鑫辉机电设备

张家港市卓氏鑫辉机电设备制造有限公司主营:弯管机,切管机,液压弯管机,全自动弯管机。地处中国经济发达的长三角新兴港口城市--张家港,位于204国道、338省道之交汇处,紧靠沿江高速出口,水陆交通极为便利。

问人人知识网_知识、经验分享_精彩文章大全

问人人知识网-是一个内容丰富的知识分享型网站。为阅读者提供生活知识百科、有价值的经验分享、学习参考资料以及各类优秀范文参考,同时还为读者提供海量优质好文章摘抄等内容。

全局底部横幅