2019 谷歌新智能体Dreamer将亮相NeurIPS 数据效率比前身PlaNet快8个小时 (2019谷歌九八网)

谷歌新体Dreamer将亮相NeurIPS 2019,数据效率比前身PlaNet快8个小时

在具有挑战性的环境中,一些人工智能系统通过利用过去经验所提供的世界表象来实现目标。研究人员将这些应用推广到新的情况,使它们能够在以前从未遇到过的环境中完成任务。

事实证明,强化学习——一种使用奖励来推动软件策略朝着目标前进的训练技术——特别适合学习一个总结agent经验的世界模型,并通过扩展来促进新行为的学习。

雷锋网消息,近日,来自Google、Alphabet子公司DeepMind和多伦多大学的研究人员发表了一篇名为《梦想控制:通过潜意识的学习行为》的新研究,他们开发了一个增强型学习智能体Dreamer,通过内化一个世界模型,并通过通过潜在的“想象力”来提前计划选择行动。

他们说,Dreamer不仅适用于任何学习目标,而且在数据效率、计算时间以及最终性能方面都超过了现有的方法。

在它的整个生命周期中,无论是交错还是并行,Dreamer都会学习一个latent dynamics model(潜在动力学模型),以预测动作和观察结果的回报。在这种情况下,“latent dynamics model”是指从图像输入中学习并执行计划以收集新经验的模型。

“潜在”表示它依赖于隐藏状态或潜在状态的紧凑序列,这使它能够学习更多抽象的表示形式,例如对象的位置和速度。使用编码器组件,有效地将来自输入图像的信息集成到隐藏状态中,然后及时地将隐藏状态向前投影以预测图像和奖励。

谷歌新体Dreamer将亮相NeurIPS 2019,数据效率比前身PlaNet快8个小时

上图:Dreamer完成一个摆动钟摆的任务。中间显示45步预测

Dreamer使用了一个多部分的latent dynamics model,这个模型的结构有些复杂。“表示”位对观察和动作进行编码,而“过渡”位则在没有看到会引起观察的情况下预见状态。第三个组件(奖励组件)根据给定的模型状态来投影奖励,而行为模型将实施学习的策略并旨在预测可解决想象的环境的行为。最终,价值模型评估行动模型实现的预期想象奖励,而观察模型提供反馈信号。

谷歌新体Dreamer将亮相NeurIPS 2019,数据效率比前身PlaNet快8个小时

上图:梦想家在迷宫中导航。中间显示45步预测。

雷锋网了解到,在一系列实验中,研究人员测试了Dreamer在DeepMind Control Suite中的20个视觉控制任务上的效果,DeepMind Control Suite是一种用于评估机器学习驱动的代理的仿真软件。

他们首先使用nvidia V100图形芯片和10个处理器内核来训练它,每次培训运行一次。他们说,控制套件上每106个环境步骤花费了9个小时。(相比之下,Google的Dreamer前身PlaNet花了17个小时才达到了类似的性能。)

谷歌新体Dreamer将亮相NeurIPS 2019,数据效率比前身PlaNet快8个小时

上图:梦想家在玩Atari游戏(拳击)。中间显示45步预测。

研究人员报告说,Dreamer有效地利用了学习的世界模型来从少量经验中进行概括,并且它的成功证明了,通过潜在的想象力进行的学习行为可以胜过顶级方法。他们还说,Dreamer的价值模型即使在短期计划中也表现良好,在20个任务中的16个(有4个打成平手)上表现优于其他模型。

研究人员写道:“未来,关于表征学习的研究可能会将潜在的想象力扩展到视觉复杂性更高的环境中,”研究人员计划在本周温哥华的NeurIPS 2019上展示他们的工作。Dreamer项目的代码可在上公开获得。

原创文章,未经授权禁止转载。详情见 转载须知 。


本文地址: https://www.gpxz.com/article/cd81275666e656131378.html
全局中部横幅
全局中部横幅
音悦台

音悦台-音乐那么好看

腾讯网

腾讯网从2003年创立至今,已经成为集新闻信息,区域垂直生活服务、社会化媒体资讯和产品为一体的互联网媒体平台。腾讯网下设新闻、科技、财经、娱乐、体育、汽车、时尚等多个频道,充分满足用户对不同类型资讯的需求。同时专注不同领域内容,打造精品栏目,并顺应技术发展趋势,推出网络直播等创新形式,改变了用户获取资讯的方式和习惯。

上海致达智能科技股份有限公司

上海致达智能科技股份有限公司专注于智能电网/电厂、数字化配电网、企业和园区综合能源服务的高科技企业。公司的使命是为用户提供安全、智能、低碳、节能的数字化电力产品和智慧能源解决方案。

青州市海源沙矿机械配件厂

青州市海源沙矿机械配件厂是一家主营洗沙机、制沙设备、筛沙设备、细沙回收机、移动制沙机、破碎机、脱水筛等业务的生产销售厂家,产品质量高,价格优惠,欢迎联系我们:13562650688

新疆玻璃钢化粪池

新疆衡皓高分子复合材料有限公司主要经营新疆玻璃钢制品、新疆玻璃钢化粪池、新疆玻璃钢脱硫塔、新疆玻璃钢格栅、新疆玻璃钢管道、新疆玻璃钢电缆桥架,玻璃钢一体生产销售厂家。

高压合金管

北京市东昌汇丰钢管有限公司{139-1103-9958}常年销售天津、包钢、宝钢、冶钢、成都、鞍钢、衡阳等厂家的无缝钢管及合金管。产品有:高压合金管、高压锅炉管、GB9948石油裂化管、GB6479化肥专用管。

垃圾箱

广东珠三角环卫分类垃圾桶、垃圾箱、果皮箱、不锈钢垃圾桶20年专业定制品牌厂家,深圳机场、贵阳机场、广州白云机场垃圾桶等大型企业单位及市政街道景区环保垃圾箱优质生产商,分类垃圾桶垃圾箱果皮箱产品遍布全国为各大城市环卫清洁做贡献.

童装网

童装网是童装品牌行业商机网站,主流童装网络媒体,汇集童装童鞋母婴品牌加盟,发布童装开店资讯,童装品牌排行榜,童装展会,童装经销商,童装流行趋势。

安徽省墙体屋面材料产业协会

安徽省墙体屋面材料工业协会(原安徽省砖瓦工业协会)于2007年2月经安徽省民政厅登记注册并批准成立,是具有法人地位的全省性、行业性、非营利性的社会团体。于2011年7月经安徽省民政厅同意更名为:安徽省墙体屋面材料工业协会。

全局底部横幅