DeepMind新算法MuZero作者解读 终极版AlphaGo (deepmind中文意思)
译者：AI研习社（ 季一帆 ）
双语原文链接： MuZero Intuition
为庆祝Muzero论文在上的发表，我特意写了这篇文章对MuZero进行详细介绍，希望本人能让你对该算法有一个直观的了解。更多详细信息请阅读 原文 。
MuZero是令人振奋的一大步，该算法摆脱了对游戏规则或环境动力学的知识依赖，可以自行学习环境模型并进行规划。即使如此，MuZero仍能够实现AlphaZero的全部功能——这显示出其在许多实际问题的应用可能性！
所有一切不过是统计
MuZero是一种机器学习，因此自然要先了解它是如何使用神经网络的。简单来说，该算法使用了AlphaGo和AlphaZero的策略网络和值网络：
策略和值的直观含义如下：
这两个网络任何一个都非常强大：只根据策略网络，能够轻易预测每一步的动作，最终得到良好结果；只依赖值网络，始终选择值最高的动作。但是，将这两个估计结合起来可以得到更好的结果。
取胜之路
与AlphaGo和AlphaZero相似，MuZero也使用蒙特卡洛树搜索方法（MCTS）汇总神经网络预测并选择适合当前环境的动作。
MCTS是一种迭代的，最佳优先的树搜索过程。最佳优先意味着搜索树的扩展依赖于搜索树的值估计。与经典方法（如广度优先或深度优先）相比，最佳优先搜索利用启发式估计（如神经网络），这使其在很大的搜索空间中也可以找到有效的解决方案。
MCTS具有三个主要阶段：模拟，扩展和反向传播。通过重复执行这些阶段，MCTS根据节点可能的动作序列逐步构建搜索树。在该树中，每个节点表示未来状态，而节点间的边缘表示从一个状态到下一个状态的动作。
在深入研究之前，首先对该搜索树及逆行介绍，包括MuZero做出的神经网络预测：
圆圈表示树节点，对应环境状态；线表示从一个状态到下一个状态的动作；根节点为当前环境状态，即围棋面板状态。后续章节我们会详细介绍预测和动力学函数。
其中c是比例因子，随着值估计准确性的增加，减少先验的影响。
每选择一个动作，我们都会增加其相关的访问计数n(s,a)，以用于UCB比例因子c以及之后的动作选择。
模拟沿着树向下进行，直到尚未扩展的叶子。此时，应用神经网络评估节点，并将评估结果（优先级和值估计）存储在节点中。
：一旦节点达到估计量值后，将其标记为“扩展”，意味着可以将子级添加到节点，以便进行更深入的搜索。在MuZero中，扩展阈值为1，即每个节点在首次评估后都会立即扩展。在进行更深入的搜索之前，较高的扩展阈值可用于收集更可靠的统计信息。
：最后，将神经网络的值估计传播回搜索树，每个节点都在其下保存所有值估计的连续均值，这使得UCB公式可以随着时间的推移做出越来越准确的决策，从而确保MCTS收敛到最优动作。
中间奖励
细心的读者可能已经注意到，上图还包括r的预测。某一情况（如棋盘游戏）在完全结束后提供反馈（获胜/失败结果），这样可以通过值估计进行建模。但在另外一些情况下，会存在频繁的反馈，即每次从一种状态转换到另一种状态后，都会得到回报r。
只需对UCB公式进行简单修改，就可以通过神经网络预测直接对奖励进行建模，并将其用于搜索。
其中，r(s,a)是指在状态s时执行动作a后观察到的奖励，而折扣因子γ是指对未来奖励的关注程度。
由于总体奖励可以时任意量级的，因此在将其与先验奖励组合之前，我们将奖励/值估计归一化为区间[0,1]：
其中，q_min和q_max分别是整个搜索树中观察到的最小和最大r(s,a)+γ⋅v(s')估计。
重复执行以下过程可实现上述MCTS：
动作的选择可以是贪心的（选择访问次数最多的动作），也可以是探索性的：通过一定的温度t控制探索程度，并对与访问次数n(s,a)成比例的动作a进行采样：
当t = 0时，等效贪婪采样；当t = inf时，等效均匀采样。
训练
现在，我们已经学会了运行MCTS来选择动作，并与环境互动生成过程，接下来就可以训练MuZero模型了。
首先，从数据集中采样一条轨迹和一个位置，然后根据该轨迹运行MuZero模型：
可以看到，MuZero由以下三部分组成：
根据轨迹选择用于网络输入的观测值和动作。相应地，策略、值和奖励的预测目标是在生成存储的轨迹。
从下图可以看到过程生成（B）与训练（C）之间的一致性：
具体问言，MuZero估计量的训练损失为：
重分析
在了解了MuZero的核心思想后，接下来我们将介绍重分析技术，这将显著提高模型对大量数据的搜索效率。
在一般训练过程中，通过与环境的相互作用，我们会生成许多轨迹，并将其存储在重播缓冲区用于训练。那么，我们可以从该数据中获得更多信息吗？
很难。由于需要与环境交互，我们无法更改存储数据的状态、动作或奖励。在《黑客帝国》中可能做到，但在现实世界中则不可能。
幸运的是，我们并不需要这样。只要使用更新的、改进标签的现有输入，就足以继续学习。考虑到MuZero模型和MCTS，我们做出如下改进：
保持轨迹（观测、动作和奖励）不变，重新运行MCTS，就可以生成新的搜索统计信息，从而提供策略和值预测的新目标。
我们知道，在与环境直接交互过程中，使用改进网络进行搜索会获得更好的统计信息。与之相似，在已有轨迹上使用改进网络重新搜索也会获得更好的统计信息，从而可以使用相同的轨迹数据重复改进。
重分析适用于MuZero训练，一般训练循环如下：
设置两组异步通信任务：
为实现重分析，引入两个新任务：
由于学习者无法区分新轨迹和重分析的轨迹，这使得新轨迹与重分析轨迹的比例更改变得简单。
MuZero命名含义
MuZero的命名基于AlphaZero，其中Zero表示是在没有模仿人类数据的情况下进行训练的，Mu取代Alpha表示使用学习模型进行规划。
更研究一些，Mu还有其他丰富的含义：
结语
希望本文对MuZero的介绍对你有所启发！
如果想了解更多细节，可以阅读 原文 ，还可以查看我在的以及在上发表的关于MuZero的演讲。
最后，分享给你一些其他研究人员的文章，博客和GitHub项目：
AI研习社是AI学术青年和AI开发者技术交流的在线社区。我们与高校、学术机构和产业界合作，通过提供学习、实战和求职服务，为AI学术青年和开发者的交流互助和职业发展打造一站式平台，致力成为中国最大的科技创新人才聚集地。
如果，你也是位热爱分享的AI爱好者。欢迎与译站一起，学习新知，分享成长。
版权文章，未经授权禁止转载。详情见 转载须知 。
本文地址： https://www.gpxz.com/article/508d552a682bb2c5859f.html
陶熙道康宁-上海东边建筑科技有限公司
Worktile深度整合项目与任务管理、OKR、网盘、在线沟通等应用，支持丰富的自定义功能，满足各行业各场景的个性化工作需求，助力企业提高管理效能。
深圳市玉鼎康实业发展有限公司是一家以初级农产品、鲜肉、果蔬、水产品、冻品的购销为主，餐饮管理为辅的专业化公司。自2006年成立以来，我们一直秉承客户至上、服务至优的全新理念。 深圳市玉鼎康船舶服务有限公司是一家以船舶伙食供应、烟酒供应、船舶物料供应、清污油等服务集一体的专业船舶服务公司。本公司拥有2000多平米的配送中心，并且拥有设施完善的检测室及先进的检测设备，公司设有干货仓、冷冻库、保鲜库及鸡蛋清洗消毒车间，配备有专业冷冻运输车队及专业的食品管理人员和配送团队，确保食品新鲜、质量安全；且配备有专业的物料配送团队，所配物料各类齐全，质量保证，价格合理。 深圳市玉鼎康船舶服务有限公司 深圳市玉鼎康船舶服务有限公司成立于2013年，是一家经过深圳市市场监督管理局的登记注册，通过深圳市交通运输委员会、深圳市出入境检验检疫局、深圳海关、深圳边检等政府部门批准备案、经营的合法企业。并且获得了深圳市交通运输委员会颁发的“港口经营许可证”，和深圳市市场监督管理局颁发的“食品流通许可证”，以及深圳市出入境检验检疫局颁发的“口岸食品生产经营单位卫生许可证”等相关证书。 玉鼎康船舶服务有限公司专业为国内、国际航行的货轮、游轮和客轮提供船舶生活供应链，包括物料、伙食、日用品等服务。船舶服务公司现拥有3000多平方米的仓库中心，储存产品种类齐全，数量充裕；并建有专业的物流冷链配送车队，不仅能满足客户的需求，同时极大缩短供货时间。自成立以来，公司所有员工始终都致力于船舶服务的经营与创新，目前已形成集船舶物资采购、配送及售后服务方面等较为完善的管理体制。
二维码注册认证平台是在中国二维码注册认证中心的指导下，由中国电子商会和中国质量认证中心联合发起成立中国第三方二维码注册认证平台。面向国际国内企业、机构及商户提供二维码注册、认证、制作和统一编码、发放、验证等二维码应用服务。可实现各行业企业的信息展示二维码、产品二维码、溯源二维码、防伪二维码、网站二维码、支付二维码等展示营销服务，并提供各行业企业示范试点认证通道，打通企业品牌与产品品质的双飞跃。
雅集结是一个汇聚多元智慧的门户论坛，旨在为广大网民提供一个交流思想、分享观点的平台。在这里，你可以轻松获取各行业的最新资讯，与志同道合的伙伴深入探讨，共同打造充满活力和创意的网络空间。
黑龙江龙电律师事务所始创于1997年，经过二十余年的不懈努力，已发展成为中国律师行业中优秀的综合性律师事务所之一。
中国十大中医理疗养生馆加盟连锁品牌网，提供中医艾灸养生馆连锁加盟项目,足疗养生馆加盟项目,足浴保健养生会所加盟连锁,有中高低档的中医养生spa美容馆加盟项目,加盟热线15902088613
洛阳迈特威新材料科技有限公司是行业新兴技术企业,公司产品有：溅射靶材(管靶、平面靶、异形靶)、钼电极、炉用各种制品、TZM合金、钼镧合金、钨基高比重合金、其它钼板材、棒材等。
泊头市傲铁环保设备有限公司是一家集设计、制造、安装、调试、售后服务于一体的新型环保设备公司，主要产品有：催化燃烧设备，镀锌螺旋风管，布袋除尘器，骨架等产品。
斯达半导体股份有限公司成立于2005年4月，专业从事以IGBT为主的功率半导体芯片和模块的设计研发、生产及销售服务，是目前国内功率半导体器件领域的领军企业。公司总部位于浙江嘉兴，在上海、重庆、浙江和欧洲均设有子公司，并在国内和欧洲德国和瑞士设有研发中心。2020年在上海交易所主板上市，股票简称：斯达半导，代码：603290。根据国际著名市场调研机构Omdia最新报告，2021年公司在全球IGBT模块市场排名第六，在中国企业中排名第一。 公司产品分功率芯片和功率模块两大类，主要包括IGBT、MOSFET、FRD、SiC芯片和模块。其中IGBT模块产品超过600种，电压等级涵盖100V～3300V，电流等级涵盖10A～3600A。产品已被成功应用于新能源汽车、新能源、工业控制、机车牵引、输变电、白色家电等领域。2022年斯达车用模块配套超过120万辆新能源汽车，较大程度缓解了国内汽车芯片和模块严重紧缺的局面。
东莞莞牛实业有限公司网站
江阴艾普室内环境技术有限公司，室内空气污染检测治理专家，室内空气净化整体解决方案！
充电五分钟，聆听1.5小时，这个听起来有点熟悉的句式，指的是苹果在12月8日最新发布的头戴式无线耳机AirPodsMax——它是苹果AirPods无线耳机系列的第四款产品，也是最贵的一款，多贵呢，美国售价549美元，中国售价4399元，这个价格，可以购买两台AirPodsPro，1999元，还剩余401块钱；或者加上两百块，可以购买两...。
iiuueg大神级投影控发表于2024，02，201.准备清洁物品，清理投影仪镜头需要准备纯净水、清洁布或喷雾瓶、镜头清洁液、棉签等物品，2.关闭投影仪，由于清洁镜头时需要接触镜头表面，因此首先需要关闭投影仪以避免意外损坏设备，3.清理镜头表面，使用干净的清洁布或喷雾瓶喷上适量的镜头清洁液，然后轻轻擦拭镜头表面，擦拭时要保持细心和耐心...。
如今中国的变换日新月异，甚至可以移步换景，但是万变不离其宗，当你开始关注变化的本质，而不是变换的结果，你就会越来越深刻的体会到其中的那股规律波，1、中国未来产业分为三种，一维世界正在推倒重建，二维世界被划分完毕，BAT掌控，，三维世界正在形成，高维挑战低维总有优势，所以网店可以冲散实体店，而微信的对手一定在智能领域诞生，因此，真正的好...。
2019年以来，人社部已发布四批共56个新职业，3月18日，人社部会同国家市场监督管理总局、国家统计局向社会正式发布了18个新职业，分别是，集成电路工程技术人员、企业合规师、公司金融顾问、易货师、二手车经纪人、汽车救援员、调饮师、食品安全管理师、服务机器人应用技术员；电子数据取证分析师、职业培训师、密码技术应用员、建筑幕墙设计师、碳排...。
撰文丨余晖高语阳7月8日至10日，中共中央政治局委员、中央政法委书记陈文清在山西调研，陈文清强调，政法机关要在锻造政法铁军、保养安保稳固、增强法治树立和党委政法委自身树立上忠实履职、担当作为，有力服务党和国度上班大局，他还指出，往年是新中国成立75周年，党的二十届三中全会召开在即，政法机关要推进片面落实党委，党组，国度安保责任制和保养...。
经常使用btdigg搜查引擎的步骤如下，首先，关上btdigg搜查引擎的官网网站，在阅读器的地址栏中输入btdigg的网址，而后按下回车键，即可进入btdigg的首页，其次，在btdigg的首页中，你会看到一个搜查框，在搜查框中输入你想要搜查的内容，例如电影、电视剧、音乐、游戏等的称号或关键词，输入终了后，点击搜查框旁边的，搜查，按钮...。
三厢Polo的好处和特点重要包含其紧凑的车身设计、杰出的操控性能、经济适用的燃油消耗以及高质量的内饰和性能，紧凑的车身设计，三厢Polo的车身尺寸适中，既繁难城市驾驶，也适宜农村路线，紧凑的设计使得它能够在忙碌的城市街道上轻松穿越，同时，其正当的空间规划也为乘客提供了温馨的乘坐体验，此外，Polo的外观设计时兴、粗劣，合乎现代消费者的...。
物流专业学校排名如下，物流工程专业排名前10名的大学有，中国人民大学，排名第1，、清华大学，排名第2，、上海交通大学，排名第3，、中山大学，排名第4，、北京大学，排名第5，、对外经济贸易大学，排名第6，、南开大学，排名第7，、复旦大学，排名第8，、上海财经大学，排名第9，、南京大学，排名第10，物流工程专业简介物流工程，是以物流系统...。
好，1、依据查问朋克官方得悉，朋克多多是朋克汽车旗下的一款微型纯电车，车体建造公司驳回优质资料，耐用，隔热，2、朋克多多有128和175两款电池，续航才干强，因此朋克多多电动车品质好，买过朋克多多的悔恨了吗起步价26，800的新动力汽车朋克多多正式上线，这个物品就是廉价，起步价这个多少钱你所有算起来加上一些手续费率的话3万块钱差不多然...。
每经记者陈星许立波每经编辑陈俊杰近日，两名中国医疗器械行业资深人士赴菲律宾调查业务，被绑架后遇害的事情引发宽泛关注，7月2日上午，，每日经济资讯，到来受益人之一夏某某生前所在的润迈德医疗科技有限公司，以下简称润迈德医疗，，看到员工在反常下班，但办公场地内可见的员工不多，记者从多位医械行业外部人士处了解到，该案件内行业内形成了相当大的负...。
switch大气层16.0.3整合包是一款switch主机破解必备的实用自制系统，你可以使用来它对switch主机进行破解
PP视频(原PPTV聚力),PPTV聚力已经更名pp视频，是PPLive旗下媒体播放平台，全球安装量最大的pptv网络电视，支持对海量视频内容的“直播+点播”功能，pptv聚力电脑版可在线观看丰富视频娱乐节目并且完全免费,您可以免费下载。
现在小编也是给你们带来了一些游戏内容，专门帮助玩家们不知道选择什么游戏的时候，给你们做好一些充足的准备，手机联机游戏推荐的内容绝对是当下很多新颖的款式，而且你们还可以跟不同的玩家一起体验，多人的快乐一定是比单独的享受更高一些，所以说本期的内容值得玩家们都来瞧瞧，也许是个不错的选择呢，策略动作元素的融入对玩家们来说，应该会是非常喜欢的，...。
ZNDS智能电视网获悉，小米电视EA55新品，L55MA，EA，上架小米有品，拥有4K分辨率，采用金属全面屏，目前到手价1499元，图源，小米有品外观方面，小米电视EA55延续小米电视EA系列全面屏设计，采用Unibody金属一体成型机身，屏占比为97.1%，图源，小米有品音画效果方面，小米电视EA55拥有4K分辨率，屏幕刷新率为60...。
2022年5月25日，国内肿瘤诊疗领域领先智能服务平台、肿瘤患者全病程管理服务商浙江海心智惠科技有限公司，简称海心智惠，宣布再获B2轮融资，由泰珑投资、厦门宝拓、正和本源追加投资，这也是泰珑投资在肿瘤领域的首个投资项目，探针资本担任独家财务顾问，本次融资的资金将用于进一步加速团队的人才梯队建设，加速核心团队建设，引入更多行业内资深人才...。
近日，我国在量子存储领域取得重大进展，中国科学技术大学郭光灿院士团队研究组李传锋、周宗权首次研制出，按需式读取，的可集成固态量子存储器，存储保真度达到99.3%±0.2%，该成果于12月28日发布在国际知名期刊，物理评论快报，上，这对于实现大容量量子存储、构建量子网络意义重大，超级安全的量子网络量子存储器的一个重要作用就是构建大尺度量...。
1月18日消息，微创医疗旗下微创心通提交赴港上市申请书，摩根大通，花旗银行及中金公司担任其联席保荐人，上市前投资者股东包括CDG、GIC、海通基金、清池资本、高瓴资本、华泰证券等，其中，作为微创家族的一员，控股股东微创医疗持股50.06%，据招股书显示，微创心通医疗是一家医疗器械企业，专注于心脏瓣膜疾病领域的创新性和潜在最优整体解决方...。
