历史最高分!腾讯绝悟AI斩获Minecraft AI竞赛冠军 (考研历史最高分)

文章编号:44145 资讯动态 2024-12-09 Minecraft AI 腾讯绝悟

绝悟AI开始挑战更复杂的开放世界游戏环境了。

Minecraft (中文译名《我的世界》)是全球最畅销的开放世界3D游戏。随机生成的开放地图、自由灵活的玩法、多线程长链条任务,给AI研究带来了极大挑战。针对Minecraft的复杂环境,游戏AI赛事MineRL邀请全球程序员在4天时间内用一台计算机训练AI找到游戏中的钻石。

12月8日,第三届MineRL竞赛主赛道(research track)发布成绩,AI的“钻石之梦”向前踏进了一大步:腾讯ai Lab“绝悟”以76.970分的绝对优势夺冠。研究成果已发布在Arxiv上,算法框架可复用于其他复杂决策环境。

历史最高分!腾讯绝悟AI斩获Minecraft AI竞赛冠军

(论文链接:)

MineRL竞赛由卡内基·梅隆大学、微软、DeepMind、OpenAI,联合机器学习顶级会议NeurIPS共同举办,极富挑战性的赛题持续吸引全球开发者关注。今年赛事共有59支团队、近500名选手投身其中,其中不乏世界顶级学府和研究机构的科研强队。竞赛的研究主题是:训练样本高效的Minecraft AI智能体。

腾讯AI Lab创新性地通过分层强化学习(Hierarchical Reinforcement Learning)、表示学习(Representation Learning)、自模仿学习(SELF-imitation Learning)、集成行为克隆(Ensemble Behavior Cloning)等算法高效实现比赛目标。

历史最高分!腾讯绝悟AI斩获Minecraft AI竞赛冠军

历史最高分!腾讯绝悟AI斩获Minecraft AI竞赛冠军

(绝悟AI以压倒性优势获得历史最高分,今年榜单)

极度多样的环境、完全靠随机种子生成的地图、长决策序列与复杂的技能学习、高自由度玩法带来的海量策略偏好都增加了Minecraft AI研究的难度。比如,为了让AI在15分钟内找到钻石,AI需要经历徒手采集原木、合成木板、木棍与木镐,采集到铁矿,经过一系列加工才能合成钻石。

此外,主办方还制定了种种严苛的规则:包括禁止参赛者编写规则、游戏环境甚至将背包信息与动作空间加密、且不允许使用预训练模型,只允许与环境最多交互八百万次,每个参赛队伍只能使用6核CPU与半张NVIDIA K80显卡训练4天——这个配置几乎对于所有高校实验室与个人研究者都可以负担的。

这次比赛的目的在于促进样本高效(Sample-efficient)游戏AI算法的发展。目前流行的强化学习算法一般需要多达成百上千万次的试错来寻找最优流程,耗费大量的时间和计算资源。而纯靠人类数据的模仿学习算法虽然更快,但性能上往往不尽如人意。

历史最高分!腾讯绝悟AI斩获Minecraft AI竞赛冠军

绝悟AI创新性地提出了一种样本高效的基于分层强化学习(Hierarchical Reinforcement Learning)的解决方案。数据表明,腾讯AI Lab推出的上层控制器的预测准确率可以达到99.95%,也就是说,AI从人类数据中学到了一套几乎不出错的宏观策略,每时每刻都清晰地知道自己下一步的正确动向。

在状态空间表征上,Minecraft游戏遇到的最大挑战在于如何理解复杂的开放地图。首先被选中的是近年来热门的表示学习方法(RepresentationLearning)。但研究人员很快发现,已有方法只适用于2D场景,在MineCraft游戏环境里效果很差。于是腾讯AI Lab设计了一种“基于动作感知”(Action-aware Representation Learning)的新颖算法,用来捕捉每个动作对环境产生的影响,形成注意力机制。实验表明,该算法可以显著提升智能体获得资源的能力与效率。

历史最高分!腾讯绝悟AI斩获Minecraft AI竞赛冠军

(不同动作的可视化结果,AI学会了关注当前图像中的关键区域)

随着游戏推进,智能体与人类的策略出现了很大的分歧。此时,人类数据已经很难用于指导AI。绝悟AI使用了自模仿学习(Self-imitation Learning)的思想,提出了基于鉴别器的自模仿学习算法,AI可以从自身过往的成功与失败中获得经验与教训,并在察觉到当前状况不妙的时候,主动往更好的方向修正。对比实验证明,在加入自模仿策略后,智能体探索到的行为更加一致,也可以显著降低进入危险区域的概率。

对于合成物品等需要长链条的动作序列的任务,研究人员也做了细致的优化。通过动作序列一致性过滤(ConsistencyFiltering)与基于投票的集成学习(EnsembleLearning),模型在合成物品阶段的成功率从35%提升到96%,一举将最薄弱的链条扭转为了最稳定的制胜点。

利用高度复杂、高度定制化的游戏场景作训练场,腾讯AI Lab的深度强化学习智能体正不断走近现实。棋牌游戏AI “绝艺”从围棋棋盘逐步走向象棋、麻将,策略协作型AI “绝悟”从MOBA走向FPS、RTS,再到如今的3D开放世界MineCraft。它们迈向全新挑战的每一步,都让AI离解决现实问题、科技向善的大目标更近了一步。

随着虚实集成世界逐步变成现实,这些研究的经验、方法与结论,将在真实世界创造更大的实用价值。

版权文章,未经授权禁止转载。详情见 转载须知 。


本文地址: https://www.gpxz.com/article/37d2fbbafb8aef8dd66b.html
全局中部横幅
全局中部横幅
村网通

村网通全国农村自助建站管理系统是基层农村社区互联网智能建站管理系统工程,是根据乡村振兴战略实施规划精神建设的“一村一网”、“一村一品”益农惠农社区信息平台。

滨州相亲网

滨州987婚恋网(滨州相亲网、滨州征婚网)是滨州地区大型的免费婚恋相亲平台,为滨州地区的60后、70后、80后、90后等滨州单身朋友、离异朋友提供专业的本地征婚相亲服务。滨州婚恋相亲平台始终坚持以改善滨州相亲平台服务功能和提高滨州相亲用户服务体验为宗旨,提供科学、高效的滨州婚恋相亲服务,帮助滨州地区真心寻找朋友和终身伴侣的人士实现和谐相亲,滨州婚恋网(滨州相亲网、滨州征婚网)得到了滨州广大相亲会员的热烈拥护和赞赏。

安徽相亲网

安徽相亲网是以“一对一服务”为核心的实体婚恋服务机构,长期与省直机关、市直机关、妇联、团委、工会、省、市广播电视台、合肥晚报等官方机构开展交流合作。开办有中国爱情学院合肥分院、红桥情感咨询等婚姻服务机构。安徽相亲网同时提供交友活动的策划组织、情感问题的咨询解答、相亲节目的策划制作等服务。

产业数字化运营服务商

第一枪是中国产业数字化运营服务商,中国B2B百强,江西省电子商务示范企业。为企业提供全方位的信息化运营服务,整合生产型企业服务资源:研发设计、原材料采购、生产制造、仓储、销售、物流等。

蚂蚁云

蚂蚁云(www.ant-cloud.net)计算服务器提供商,专注云服务器,VPS,香港免备案空间服务器,SSL证书,域名注册,企业建站等云计算解决方案,弹性灵活,助力企业轻松上云。云服务器租用、网站服务器租用、云数据库租用、CDN加速企业建站首选蚂蚁云。

名师桥官网

名师桥成立于2017年,是一家专注公立校教师人才服务的人力资源科技公司。名师桥通过整合校外教师、师范院校大学生,自建教师人才库。运用大数据分析及自然语言处理(NLP)技术自建动态教学能力评价系统,为用人需求的匹配效率和效果赋能。现已形成教师招聘服务、劳务派遣服务、课后延时服务三大业务方向,服务中小学校1000余家。本着与客户“共建、共享、共赢”的发展理念,名师桥正以实际行动诠释着我们的企业愿景:汇聚名师,助力教育!

H型钢加工

【13638520524】遵义勇乐钢结构有限公司专业生产角驰760、角驰820、840、900彩钢瓦,各型彩钢折件(对外出租压瓦机),80-300各型C型钢,C型钢拉条,750、720、915楼承板,8米钢板天沟,预埋件,预埋螺栓,各型铁板切割,各型折弯件等。本公司配备有专业设计人员,可根据要求,设计钢结构建筑图纸,效果图。

带式压滤机

广州绿鼎环保-压滤机厂家专业生产带式压滤机、污泥压滤机、污泥脱水机并且研发出适合市场需要的沙场、矿山、化工厂、市政污水站、河道淤泥清理等型号带式压滤机,广州绿鼎环保设备深受用户好评。

找好货

找好货网(114618.com)B2B免费供求信息发布平台,为您提供专业的企业供应、求购信息,免费推广平台助力中小企业网上推广!找产品、搜好货、发求购就上找好货网!

互动宽频

提供最新最快的影视资讯和在线播放


全局底部横幅