1v1胜率99.8% AI 腾讯绝悟 技术解读 2100场王者荣耀 (1v1胜率最高的英雄)
围棋被攻克之后，多人在线战术竞技游戏（MOBA）已经成为测试检验前沿人工智能的动作决策和预测能力的重要平台。基于腾讯天美工作室开发的热门 MOBA 类手游《王者荣耀》，腾讯 AI Lab 正努力探索强化学习技术在复杂环境中的应用潜力。本文即是其中的一项成果，研究用深度强化学习来为智能体预测游戏动作的方法，论文已被AAAI-2020接收。
此技术支持了腾讯此前推出的策略协作型 AI 「绝悟」1v1版本，该版本曾在今年8月上海举办的国际数码互动娱乐展览会China Joy首次亮相，在2100多场和顶级业余玩家体验测试中胜率达到99.8%。
除了研究，腾讯AI Lab与王者荣耀还将联合推出“开悟”AI+游戏开放平台，打造产学研生态。王者荣耀会开放游戏数据、游戏核心集群（Game Core）和工具，腾讯AI Lab会开放强化学习、模仿学习的计算平台和算力，邀请高校与研究机构共同推进相关AI研究，并通过平台定期测评，让“开悟”成为展示多智能体决策研究实力的平台。目前“开悟”平台已启动高校内测，预计在2020年5月全面开放高校测试，并且在测试环境上，支持1v1，5v5等多种模式；2020年12月，我们计划举办第一届的AI在王者荣耀应用的水平测试。
以下是本次入选论文的详细解读：
在竞争环境中学习具备复杂动作决策能力的智能体这一任务上，深度强化学习（DRL）已经得到了广泛的应用。在竞争环境中，很多已有的 DRL 研究都采用了两智能体游戏作为测试平台，即一个智能体对抗另一个智能体（1v1）。
其中 Atari 游戏和棋盘游戏已经得到了广泛的研究，比如 2015 年 Mnih et al. 使用深度 Q 网络训练了一个在 Atari 游戏上媲美人类水平的智能体；2016 年 Silver et al. 通过将监督学习与自博弈整合进训练流程中而将智能体的围棋棋力提升到了足以击败职业棋手的水平；2017 年 Silver et al. 又更进一步将更通用的 DRL 方法应用到了国际象棋和日本将棋上。
本文研究的是一种复杂度更高一筹的MOBA 1v1 游戏。即时战略游戏（RTS）被视为 AI 研究的一个重大挑战。而MOBA 1v1 游戏就是一种需要高度复杂的动作决策的 RTS 游戏。相比于棋盘游戏和 Atari 系列等 1v1 游戏，MOBA 的游戏环境要复杂得多，AI的动作预测与决策难度也因此显著提升。以 MOBA 手游《王者荣耀》中的 1v1 游戏为例，其状态和所涉动作的数量级分别可达 10^600和 10^18000，而围棋中相应的数字则为 10^170和 10^360，参见下表 1。
表 1：围棋与 MOBA 1v1 游戏的比较
此外，MOBA 1v1 的游戏机制也很复杂。要在游戏中获胜，智能体必须在部分可观察的环境中学会规划、攻击、防御、控制技能组合以及诱导和欺骗对手。除了玩家与对手的智能体，游戏中还有其它很多游戏单位，比如小兵和炮塔。这会给目标选择带来困难，因为这需要精细的决策序列和相应的动作执行。
此外，MOBA 游戏中不同英雄的玩法也不一样，因此就需要一个稳健而统一的建模方式。还有一点也很重要：MOBA 1v1游戏缺乏高质量人类游戏数据以便进行监督学习，因为玩家在玩 1v1 模式时通常只是为了练习英雄，而主流 MOBA 游戏的正式比赛通常都采用 5v5 模式。
需要强调，本论文关注的是 MOBA 1v1 游戏而非MOBA 5v5 游戏，因为后者更注重所有智能体的团队合作策略而不是单个智能体的动作决策。考虑到这一点，MOBA 1v1游戏更适合用来研究游戏中的复杂动作决策问题。
为了解决这些难题，本文设计了一种深度强化学习框架，并探索了一些算法层面的创新，对 MOBA 1v1 游戏这样的多智能体竞争环境进行了大规模的高效探索。文中设计的神经网络架构包含了对多模态输入的编码、对动作中相关性的解耦、探索剪枝机制以及攻击注意机制，以考虑 MOBA 1v1 游戏中游戏情况的不断变化。
为了全面评估训练得到的 AI 智能体的能力上限和策略稳健性，新设计的方法与职业玩家、顶级业务玩家以及其它在 MOBA 1v1 游戏上的先进方法进行了比较。
本文有以下贡献：
对需要高度复杂的动作决策的 MOBA 1v1 游戏 AI 智能体的构建进行了全面而系统的研究。在系统设计方面，本文提出了一种深度强化学习框架，能提供可扩展的和异步策略的训练。在算法设计方面，本文开发了一种用于建模 MOBA 动作决策的 actor-critic 神经网络。网络的优化使用了一种多标签近端策略优化（PPO）目标，并提出了对动作依赖关系的解耦方法、用于目标选取的注意机制、用于高效探索的动作掩码、用于学习技能组合 LSTM 以及一个用于确保训练收敛的改进版 PPO——dual-clip PPO。
在《王者荣耀》1v1 模式上的大量实验表明，训练得到的 AI 智能体能在多种不同类型的英雄上击败顶级职业玩家。
考虑到复杂智能体的动作决策问题可能引入高方差的随机梯度，所以有必要采用较大的批大小以加快训练速度。因此，本文设计了一种高可扩展低耦合的系统架构来构建数据并行化。具体来说，这个架构包含四个模块：强化学习学习器（RL Learner）、人工智能服务器（AI Server）、分发模块（Dispatch Module）和记忆池（Memory Pool）。如图 1 所示。
图 1：系统设计概况
AI 服务器实现的是 AI 模型与环境的交互方式。分发模块是用于样本收集、压缩和传输的工作站。记忆池是数据存储模块，能为RL 学习器提供训练实例。这些模块是分离的，可灵活配置，从而让研究者可将重心放在算法设计和环境逻辑上。这样的系统设计也可用于其它的多智能体竞争问题。
RL 学习器中实现了一个 actor-critic 神经网络，其目标是建模 MOBA 1v1 游戏中的动作依赖关系。如图2所示。
图 2：论文实现的actor-critic网络
为了实现有效且高效的训练，本文提出了一系列创新的算法策略：
1.目标注意力机制：用于帮助AI在 MOBA 战斗中选择目标。
2.LSTM：为了学习英雄的技能释放组合，以便AI在序列决策中，快速输出大量伤害。
3.动作依赖关系的解耦：用于构建多标签近端策略优化（PPO）目标。
4.动作掩码：这是一种基于游戏知识的剪枝方法，为了引导强化学习过程中的探索而开发。
5.dual-clip PPO：这是 PPO 算法的一种改进版本，使用它是为了确保使用大和有偏差的数据批进行训练时的收敛性。如图3所示。
图 3：论文提出的dual-clip PPO算法示意图，左为标准PPO，右为dual-clip PPO
有关这些算法的更多详情与数学描述请参阅原论文。
系统设置
测试平台为热门 MOBA 游戏《王者荣耀》的 1v1 游戏模式。为了评估 AI 在现实世界中的表现，这个 AI 模型与《王者荣耀》职业选手和顶级业余人类玩家打了大量比赛。实验中 AI 模型的动作预测时间间隔为 133 ms，这大约是业余高手玩家的反应时间。另外，论文方法还与已有研究中的基准方法进行了比较，其中包括游戏内置的决策树方法以及其它研究中的 MTCS 及其变体方法。实验还使用Elo分数对不同版本的模型进行了比较。
实验结果
探索动作决策能力的上限
表 3 给出了AI和多名顶级职业选手的比赛结果。需要指出这些职业玩家玩的都是他们擅长的英雄。可以看到 AI 能在多种不同类型的英雄上击败职业选手。
表 3：AI 与职业选手使用不同类型英雄比赛的结果
评估动作决策能力的稳健性
实验进一步评估了 AI 学习的策略能否应对不同的顶级人类玩家。在2019年8月份，王者荣耀1v1 AI对公众亮相，与大量顶级业余玩家进行了2100场对战。AI胜率达到99.81%。
表 4：AI 与不同顶级人类玩家的比赛结果
基准比较
可以看到，用论文新方法训练的 AI 的表现显著优于多种baseline方法。
图 4：击败同一基准对手的平均时长比较
训练过程中模型能力的进展
图 5 展示了训练过程中 Elo 分数的变化情况，这里给出的是使用射手英雄「狄仁杰」的例子。可以观察到 Elo 分数会随训练时长而增长，并在大约 80小时后达到相对稳定的水平。此外，Elo 的增长率与训练时间成反比。
图 5：训练过程中 Elo 分数的变化情况
控制变量研究
为了理解论文方法中不同组件和设置的效果，控制变量实验是必不可少的。表 5 展示了使用同样训练资源的不同「狄仁杰」AI 版本的实验结果。
表 5：控制变量实验
4、未来工作
本文提出的框架和算法将在未来开源，而且为了促进对复杂游戏的进一步研究，腾讯也将在未来把《王者荣耀》的游戏内核提供给社区使用，并且还会通过虚拟云的形式向社区提供计算资源。
雷锋网 AI 科技评论报道。
原创文章，未经授权禁止转载。详情见 转载须知 。
本文地址： https://www.gpxz.com/article/65a9124f7f105ad59e9e.html
雅昌艺术网是世界知名的艺术品权威门户网站，是雅昌《艺术品数据库》的重要应用平台，涵盖字画拍卖，艺术品投资，画廊古董古玩交易信息等，是信誉服务专业收藏投资者之间的交易交流平台。
我得文网是一个优质应用范文库，为你提供工作总结、个人总结、述职报告、教学资源、心得体会、企业文化、讲话稿、致辞、应用文等写作指导与写作范例，一站式帮你解决写材料的各种烦恼，还你轻松。
我们提供高品质的NSK防锈丝杠润滑油防锈油,确保您的设备长时间运行。联系我们获取报价！
北京中正司法鉴定所是由邓亚军博士创办，经北京市司法局核准的（司法鉴定许可证号：110013139）专业司法亲子鉴定机构，具有法医物证（DNA鉴定）鉴定、法医临床鉴定，法医病理鉴定资质，亲子鉴定意见在全国范围内具有法律效力，同时可提供国际DNA鉴定服务及技术培训
必乐网，生活经验，知识快乐分享网站，是您互联网上的实用生活指南。通过必乐生活网，您可以找到许多实践检验过的办法来解决现实生活中遇到的问题，还可以将自己的生活经验知识，快乐进行分享，让更多人受益。
搜房网是著名的中国房地产信息平台，搜房网提供全面实时的房地产资讯内容，为广大网民提供专业的新房、二手房、租房、豪宅别墅、写字楼、商铺等全方位资讯信息。为业主、客户及房地产业内精英们提供高效专业的信息推广服务。
深圳易宇通科技有限公司打造的K5物流软件,覆盖了国际物流全场景.有打单速度突出的国际快递系统与邮政小包系统;针对国际空运与国际海运,中欧卡航的空海派专线系统;有为海外仓量身打造的仓储系统;还有针对海外客户购物的淘宝集运系统.目前客户数超过6000家,是跨境物流软件行业的标杆产品。
互联网发现非常迅速，现在已经非常普及，很多朋友都建立个人网站的想法。现在说说我自己的建站经验，希望能给大家一点帮助。
甘肃三杰软件科技有限公司自2009年成立以来，前期主要服务于自然资源系统业务领域，业务涉及系统集成、政务系统、GIS应用、运维服务等。在云计算、虚拟现实技术、大数据、AI等前沿技术基础上，基于MapGIS、ArcGIS、Java、Python等主流平台和开发语言，进行软件产品研发。公司现已建设完成多个适用于自然资源业务的项目，项目涵盖：电子政务、数据中心、数据库整合、国土资源“一张图”、国土资源综合监管平台、国土空间基础信息平台、国土空间规划“一张图”实施监督信息系统、档案系统、项目管理系统、人事管理、图书管理、即时通讯、AI辅助业务办公等。并且具有数十项项软件著作权，是具有自主知识产权并完成多项专业认证的高新企业。同时，我们为了更好的服务于用户，在各重点市（州）设立现场服务团队，为用户提供高效的及时现场技术服务支持。
撼海科技描述
简帛动漫音乐
上海西科斯基飞机有限公司
最近半年，在全球范围内关于华为海思12nm芯片的传言不绝于耳，早在2023年初，就有科技博主爆料，华为海思12nm芯片基本上进入了初步量产阶段；近日，又有传闻称华为或将召开会议讨论14nm和12nm芯片，目前，关于华为海思12nm芯片的具体落地时间尚未有公开可靠消息，但海思芯片目前所具备的水平，或可通过新近曝光的全新一代V811芯片来...。
今年阿里主办的杭州云栖大会上，含光芯片霸占了朋友圈，3任阿里云掌门人同台纵论，10大AI男团也顺势进入众多开发者的视野，除却这些火爆的技术名词及营造的故事，我看到一种趋势更加明显，数字政府成为一种共识，往年只有企业在讲，今年政府官员也主动走上了云栖大会的舞台，将政府改革力度与决心，和盘托出，城市大脑、数据中台、数据安全、共享平资源池...。
高通的旗舰处理器一直是众多手机厂商的追捧，不过一个月前高通发布了面向比旗舰产品定位略低的骁龙710，现在，我们看到高通正在进一步加强其在中低端市场的竞争力，雷锋网消息，高通近日宣布推出骁龙600和400层级的三款全新产品——骁龙632、439和429移动平台，新推出的平台在性能、续航、图形及人工智能等功能上都会进行提升，据雷锋网了解，...。
今天，苹果发布了iOS14.6，其中包括AirTags的一些新功能，对苹果播客订阅的支持，最重要的是，几乎所有iphone、ipad和ipodtouch设备都有一些安全更新，更新iOS14.6后，其中包括支持苹果卡的家庭共享和苹果播客的订阅，与此同时，AirTag受到了关注，即，允许用户输入电子邮件地址作为丢失模式的联系方式，而不是电...。
medicaltranscriptionsservice想象一下，在未来的某一天，如果AI诊疗成为了现实，你就能直接在医院用电脑看病了，通过化验的数据，系统很快就给了你一个诊断结果，让你乖乖去开药吃药，甚至决定要不要手术……虽然这个过程听上去很便捷也很美好，但要抵达AI诊疗的乌托邦，实际上并没有那么简单，且不论它的砖瓦尚在建设当中，要...。
消息，存算一体AI芯片创新企业后摩智能完成数亿元人民币的战略融资，本轮融资由中国移动旗下北京中移数字新经济产业基金、上海中移数字转型产业基金，以下统称，中国移动产业链发展基金，共同对公司进行投资，除了产业资本的支持，本轮融资也为后摩智能的技术创新和战略布局注入了新动能，中国移动研究院与后摩智能正式签署战略合作，将联合推进存算一...。
宝马320igt的保险盒位于机舱右侧保险丝盒中，BMW汽车公司成立于1916年3月7日，前身是一家飞机工厂，最后以制作流线型的双翼侦查机知名于世，公司开创人吉斯坦·奥托是一位四冲程内燃机的发明家，他在航空畛域有着极高的成就，他怀着很大的野心制作汽车，并为汽车历史写下了一段光荣的一页，当初，德国BMW车厂曾经成为了万千车迷所喜欢的品牌，...。
其实拆的环节很便捷，拆下图片红的螺丝，就可把那喷油嘴拉进去，喷油嘴是接在低压油管下面的，取上去，用点力力就可以把喷油嘴拔进去，留意油也会喷出一点，假设换，最好用识别码标定，不标也没疑问，对干活影响不大，怠速声响有点区别，有的装上去简直一样，铁甲工程机械网论坛的招聘消息可信吗铁甲工程机械网怎样样铁甲网的价值观是正直诚信，也真是因此可以拒...。
大家可以经过央视网、咪咕视频、优酷三大平台观看环球杯直播较量，电脑端，PC，观看环球杯，可参考下文，1、央视网，地址，、优酷，地址，~1~3，6~8~A3、咪咕视频，地址，另外，也可以在电脑高低载装置PC客户端观看直播，手机端观看环球杯可参考下文，在安卓或苹果运行商店下载装置央视影音、CCTV5、优酷视频、咪咕视频手机客户端，关上AP...。
pdf转word转换器是一款体积小巧的办公软件，可以将PDF转换为Word功能强大稳定!欢迎下载体验！软件功能PDF2Files文件格式转换器是一款PDF文
【世界说】枪支暴力日均夺走123条美国人生命美国对这一顽固又致命的“流行病”却医治无力,美国,拜登,流行病,枪击事件,枪支暴力,校园枪击案
侠客日记,侠客日记是一款功能强大，专业实用的优秀日记软件，软件拥有日记编写功能，能够帮助您随时随地发挥自己的创作水平，记录日常工作和生活中的重要事项，同时软件还提供了云存储和跨平台功能,您可以免费下载。
我们终于发现，互联网最大的投资大亨，不是中国人，也不是美国人，竟然是一个俄罗斯人，就在我们感叹滴滴、优步、神州都是姓，柳一家人的时候，我们却不知道，其实早就有人下了更大的一盘棋，资本是不分国界的，这个叫尤里·米尔纳的俄罗斯男人，他投的公司中已经出现了两家千亿美元级的巨头，阿里巴巴和Facebook，，和五六家百亿级的，京东、Twitt...。
文字链接认证代码普通联盟标志认证代码企业广告联盟标志认证代码广告联盟评测代码说明，本页面的认证代码为互联网创富广告联盟专用评测代码，站长需懂简单html知识，直接复制代码粘贴到联盟网站相应页面即可使用，本代码不适用于其他广告联盟网站请勿获取！文字认证，文字链接代码认证适用所有类型的广告联盟，复制代码后放在互联网创富广告联盟网站首页底部...。
随着二胎政策的开放，已及新女性对产后身材及健康的追求，产后修复变得越来越重要，其中体现出来的商机也让人们不得不重视起来，那么到底产后修复加盟品牌有哪些，产后修复加盟项目哪个好，下面的排行榜会给您的加盟事业指明方向！赶紧来盘点一下吧！金婴丽人金婴丽人产后康复中心是湖南金职伟业集团旗下子品牌，湖南金职伟业集团扎根家庭服务领域，下设金职伟业...。
发表在精选问答2020，12，1419，39将极米投影仪连接HDMI高清线；，HDMI高清线的另一端连接到电脑的HDMI接口；，极米无屏电视切换信号为HDMI，电脑选择拓展屏幕或复制屏幕即可，极米无屏电视怎么连接电脑1.将极米投影仪连接HDMI高清线；2.HDMI高清线的另一端连接到电脑的HDMI接口；3.极米无屏电视切换信号为H...。
现在市面上有很多的健康食品，就是因为当下人对食品的要求越来越高，所以使得这些食品公司都在全面的升级，也在持续的更新，为了就是制作出符合当下人口味的健康食品，比如好丽华就是一个非常有名气的食品店，主要经营各种口味的休闲食品，因此系列十分的丰富，所以给消费者带去较大的选择空间，并且也成为不错的加盟选择，那么，好丽华加盟费多少，就让小编为大...。
