DeepMind新算法MuZero作者解读 终极版AlphaGo (deepmind中文意思)
译者：AI研习社（ 季一帆 ）
双语原文链接： MuZero Intuition
为庆祝Muzero论文在上的发表，我特意写了这篇文章对MuZero进行详细介绍，希望本人能让你对该算法有一个直观的了解。更多详细信息请阅读 原文 。
MuZero是令人振奋的一大步，该算法摆脱了对游戏规则或环境动力学的知识依赖，可以自行学习环境模型并进行规划。即使如此，MuZero仍能够实现AlphaZero的全部功能——这显示出其在许多实际问题的应用可能性！
所有一切不过是统计
MuZero是一种机器学习，因此自然要先了解它是如何使用神经网络的。简单来说，该算法使用了AlphaGo和AlphaZero的策略网络和值网络：
策略和值的直观含义如下：
这两个网络任何一个都非常强大：只根据策略网络，能够轻易预测每一步的动作，最终得到良好结果；只依赖值网络，始终选择值最高的动作。但是，将这两个估计结合起来可以得到更好的结果。
取胜之路
与AlphaGo和AlphaZero相似，MuZero也使用蒙特卡洛树搜索方法（MCTS）汇总神经网络预测并选择适合当前环境的动作。
MCTS是一种迭代的，最佳优先的树搜索过程。最佳优先意味着搜索树的扩展依赖于搜索树的值估计。与经典方法（如广度优先或深度优先）相比，最佳优先搜索利用启发式估计（如神经网络），这使其在很大的搜索空间中也可以找到有效的解决方案。
MCTS具有三个主要阶段：模拟，扩展和反向传播。通过重复执行这些阶段，MCTS根据节点可能的动作序列逐步构建搜索树。在该树中，每个节点表示未来状态，而节点间的边缘表示从一个状态到下一个状态的动作。
在深入研究之前，首先对该搜索树及逆行介绍，包括MuZero做出的神经网络预测：
圆圈表示树节点，对应环境状态；线表示从一个状态到下一个状态的动作；根节点为当前环境状态，即围棋面板状态。后续章节我们会详细介绍预测和动力学函数。
其中c是比例因子，随着值估计准确性的增加，减少先验的影响。
每选择一个动作，我们都会增加其相关的访问计数n(s,a)，以用于UCB比例因子c以及之后的动作选择。
模拟沿着树向下进行，直到尚未扩展的叶子。此时，应用神经网络评估节点，并将评估结果（优先级和值估计）存储在节点中。
：一旦节点达到估计量值后，将其标记为“扩展”，意味着可以将子级添加到节点，以便进行更深入的搜索。在MuZero中，扩展阈值为1，即每个节点在首次评估后都会立即扩展。在进行更深入的搜索之前，较高的扩展阈值可用于收集更可靠的统计信息。
：最后，将神经网络的值估计传播回搜索树，每个节点都在其下保存所有值估计的连续均值，这使得UCB公式可以随着时间的推移做出越来越准确的决策，从而确保MCTS收敛到最优动作。
中间奖励
细心的读者可能已经注意到，上图还包括r的预测。某一情况（如棋盘游戏）在完全结束后提供反馈（获胜/失败结果），这样可以通过值估计进行建模。但在另外一些情况下，会存在频繁的反馈，即每次从一种状态转换到另一种状态后，都会得到回报r。
只需对UCB公式进行简单修改，就可以通过神经网络预测直接对奖励进行建模，并将其用于搜索。
其中，r(s,a)是指在状态s时执行动作a后观察到的奖励，而折扣因子γ是指对未来奖励的关注程度。
由于总体奖励可以时任意量级的，因此在将其与先验奖励组合之前，我们将奖励/值估计归一化为区间[0,1]：
其中，q_min和q_max分别是整个搜索树中观察到的最小和最大r(s,a)+γ⋅v(s')估计。
重复执行以下过程可实现上述MCTS：
动作的选择可以是贪心的（选择访问次数最多的动作），也可以是探索性的：通过一定的温度t控制探索程度，并对与访问次数n(s,a)成比例的动作a进行采样：
当t = 0时，等效贪婪采样；当t = inf时，等效均匀采样。
训练
现在，我们已经学会了运行MCTS来选择动作，并与环境互动生成过程，接下来就可以训练MuZero模型了。
首先，从数据集中采样一条轨迹和一个位置，然后根据该轨迹运行MuZero模型：
可以看到，MuZero由以下三部分组成：
根据轨迹选择用于网络输入的观测值和动作。相应地，策略、值和奖励的预测目标是在生成存储的轨迹。
从下图可以看到过程生成（B）与训练（C）之间的一致性：
具体问言，MuZero估计量的训练损失为：
重分析
在了解了MuZero的核心思想后，接下来我们将介绍重分析技术，这将显著提高模型对大量数据的搜索效率。
在一般训练过程中，通过与环境的相互作用，我们会生成许多轨迹，并将其存储在重播缓冲区用于训练。那么，我们可以从该数据中获得更多信息吗？
很难。由于需要与环境交互，我们无法更改存储数据的状态、动作或奖励。在《黑客帝国》中可能做到，但在现实世界中则不可能。
幸运的是，我们并不需要这样。只要使用更新的、改进标签的现有输入，就足以继续学习。考虑到MuZero模型和MCTS，我们做出如下改进：
保持轨迹（观测、动作和奖励）不变，重新运行MCTS，就可以生成新的搜索统计信息，从而提供策略和值预测的新目标。
我们知道，在与环境直接交互过程中，使用改进网络进行搜索会获得更好的统计信息。与之相似，在已有轨迹上使用改进网络重新搜索也会获得更好的统计信息，从而可以使用相同的轨迹数据重复改进。
重分析适用于MuZero训练，一般训练循环如下：
设置两组异步通信任务：
为实现重分析，引入两个新任务：
由于学习者无法区分新轨迹和重分析的轨迹，这使得新轨迹与重分析轨迹的比例更改变得简单。
MuZero命名含义
MuZero的命名基于AlphaZero，其中Zero表示是在没有模仿人类数据的情况下进行训练的，Mu取代Alpha表示使用学习模型进行规划。
更研究一些，Mu还有其他丰富的含义：
结语
希望本文对MuZero的介绍对你有所启发！
如果想了解更多细节，可以阅读 原文 ，还可以查看我在的以及在上发表的关于MuZero的演讲。
最后，分享给你一些其他研究人员的文章，博客和GitHub项目：
AI研习社是AI学术青年和AI开发者技术交流的在线社区。我们与高校、学术机构和产业界合作，通过提供学习、实战和求职服务，为AI学术青年和开发者的交流互助和职业发展打造一站式平台，致力成为中国最大的科技创新人才聚集地。
如果，你也是位热爱分享的AI爱好者。欢迎与译站一起，学习新知，分享成长。
版权文章，未经授权禁止转载。详情见 转载须知 。
本文地址： https://www.gpxz.com/article/508d552a682bb2c5859f.html
5566安卓网(01月21日)是手机游戏下载网站，为您提供好玩的安卓游戏，苹果游戏，手机游戏等专业内容。
「紫豹木业」是一家贵港超大的生产基地排名前十的广西专业建筑模板厂家，提供优质建筑模板生产批发，价格合理，服务全国,专注建筑模板,覆膜板,清水模板,建筑红板,酚醛面建筑模板,铁红面建筑模板的生产批发,专业生产建筑模板20年！日产40000张！,经过二次成型,板面光滑,胶合力好,远销国内外受到客户的一致好评。
腕表售后维修客户服务中心是专业的手表维修保养信息服务中心，主要提供腕表维修、腕表保养、腕表修复、手表更换配件等名表维修服务.手表维修店官方授权,专业值得信赖,找全国各地区腕表售后维修点地址、客服电话及网点的查询服务就上铭表维修网.
天翼云校招平台是中国电信联合西安电子科技大学网络与信息安全学院及陕西新才网络公司（猫头英）共同打造的一个线上校招平台，以中国电信天翼云平台为依托，全真模拟线下人才市场招聘会
上饶市名银科技有限公司产品应用领域包括汽车电瓶，汽车配件，汽车音响。是集科研、设计、生产、检测、销售及服务于一体的现代化科技型企业。公司以全心全意为顾客服务，帮助客户解决难题，也赢得了广大客户的一致好评。公司始终坚持为客户创造价值的理念，坚持自主创新，先后引进的国外先进的机器设备，提高全体员工的素质
诠摄汇网是中国摄影家协会旗下中国摄影报社新媒体平台,这是诠释摄影的平台，这是汇聚摄影人的平台。这里参加全国摄影展，观看摄影视频，收听摄影段子，发布摄影作品，举办个人影展。我们的宗旨是好玩、好用、好快乐！
厦门盈趣科技股份有限公司,是一家聚焦于物联网技术、专业从事“工业互联网”和“民用物联网”产品、服务的高新技术企业，是信息化和工业自动化的领航者，是国内领先的软硬件系统集成服务商。现有员工1000多名，其中高素质的技术研发工程师、管理者600多名。公司拥有省级企业技术中心、研发实验室、机器人研究中心等多个研究研发中心，并积极与高校合作设立前沿技术研究有关的产学研孵化基地。盈趣科技已形成以工业机器人、智能家居、智能制造、车联网、第三方软件服务（UMS联合管理平台）为一体的完整产业链。在不断完善自身的同时，积极寻求全球范围内的合作，公司目前已和数十家全球知名企业建立起全方位、深层次的战略合作关系。
大咖玩游戏平台是一个主打仙侠、武侠、ARPG等特色的手游盒子,提供各种游戏福利礼包、折扣返利等等,为了让玩家有更丰富的游戏体验,享受手游乐趣。实时的游戏评论系统,促进玩家快速了解游戏内容,探讨自己喜爱游戏的优缺点。丰富的游戏资讯,让玩家第一时间掌握“新游”动态,让玩家之间找到更适合自己的游戏,发掘相互的共同爱好,促进玩家之间的交流。更多好游分享,尽在大咖玩。
青岛翔合铝业有限公司是一家专业经营铝合金的大型企业，具有多年的铝板材销售经验，常年经销国内大型铝加工企业的优质产品，与西南铝业，东北轻合金，有着密切的合作，立足于山东青岛城阳，面向全国，具有质量和价格的优势。主要经营1系列到8系列各种铝合金牌号的铝合金板、铝花纹板、铝棒、铝管、铝箔、铝型材等。主要分一下几个品种： 1、铝板系列：主要以1060、2A12、3A21、5052、5754、5083、6061、6063、7075等牌号为主，常年备有几百吨各种规格型号的现货供您选择，并长期接收客户各种精确定尺和特殊规格要求的订单，订货时间短，服务周到，特别是5系列铝镁合金铝板，1系标牌用彩涂铝板，管道保温及各种氧化铝板。规格齐全，价格便宜。 2、铝花纹板系列：从厚度1.0mm到10mm，宽度500mm至2400mm，长度1000mm至8000mm的各种合金牌号的大五条、小五条、小三筋、二条筋、扁豆型、指针型、各种花型的花纹铝板都可供货。从厚度0.3mm到2mm，各种合金牌号的桔皮型、半圆型、菱形花型等多种花型的压花装饰用铝板都可供货。
尊贵蛋糕网提供指定日期送到、最快当天2小时送货上门，是一家综合性各地连锁蛋糕店，专业提供网上订蛋糕已有16年，蛋糕款式新颖口味精致，对于各种生日、庆典所需的蛋糕配送服务拥有近15年的专业经验，支持微信付款、电话订购、支付宝及信用卡付款，还可以提供先送后付款。
西安华端电力科技有限公司13991280312西安热镀锌,西安热浸镀锌,西安热浸锌经营：金属表面热浸镀锌防腐处理；金属材料、化工产品（除专控及易燃易爆危险品）、机电产品（除专控）、电工器材、电子产品（除专控）、输变电成套设备的销售；金属件、普通机械（除特种设备）的加工.
标虫网是一站式企业知识产权服务平台
谈到让儿童学英语，很多爸爸妈妈都觉得超级烦，实际英语学习是没找准方法，小编为大家分享五款相关游戏软件，2024英语学习下载推荐通过这几款软件，小朋友们学英语就不会那么难了，可以在边玩的过程，边快速的记住英语，这么一箭双雕的事情，可以说是何乐而不为呢，1、，儿童益智英语，儿童益智英语，学龄儿童专业打造的学习英语类的软件，通过这个各类的...。
2022年6月22日，消费级基因检测平台美因基因有限公司正式在港交所主板挂牌上市，中信建投国际担任独家保荐人，据了解，本次IPO募集资金主要用于消费级基因检测及癌症筛查服务及产品的销售、营销及商业化，投资研发公司的服务及产品，增加或扩大检测能力及产能等，这是美因基因第二次走上IPO之路，作为美年大健康旗下企业，美因基因是目前国内规模最...。
消息，4月18日，江苏润和软件股份有限公司，以下简称，润和软件，旗下专注鸿蒙方向的专业技术公司及终端操作系统发行版厂商江苏润开鸿数字科技有限公司，以下简称，润开鸿，与蚂蚁数科举行战略合作签约仪式，并发布基于鸿蒙的mPaaS移动应用开发产品，根据协议，双方将打造多元化的创新应用场景解决方案，并重点推动金融等垂直行业基于多端适配...。
发表在综合交流大区2018，8，1021，57深圳光峰光电技术有限公司在深圳前海举办以，激遇，为主题的核心代理商大会，150余位全国各地经销商齐聚一堂，大会期间，投影时代网，pjtime.com，等媒体对公司主要负责人进行了专访，将光峰的品牌故事与业界分享，采访伊始，光峰创始人李屹博士向大家介绍了开创光峰光电公司的初衷，研发团队艰苦创...。
发表在问答视频2021，11，1715，02展示机型信息，品牌型号，当贝X3、哈曼卡顿琉璃二代系统版本，当贝OS2.0当贝x3可以通过3.5mm音频线、SPDIF光纤音频连接音箱，选择使用3.5mm音频线，将音频线的两端分别月音箱、当贝X3进行连接；再将当贝x3的声音输出切换为AUX即可，当贝x3怎么连接音箱1.准备音频线准备一根3....。
当然是一个211学校更重要，因为至今很多大学生毕业出来找工作都不一定能找到和自己的专业相匹配的工作，因为找到和自己的专业对口的工作很难找，并且如果企业的招聘要求是至少211学校，那么就算你是一本学校里最好的专业毕业的学生，也不符合他的招聘要求，不过也有你所说的专业是一个当下热门的专业，并且那个一本的学校里的师资力量不错的话，选一个一本...。
中国花招游泳队在群体技巧自选较量中扮演北京期间8月8日，巴黎奥运会花招游泳群体技巧自选较量完结，中国队三项总分996.1389分排名第一，夺得花招游泳群体名目金牌，这是中国代表团在本届奥运会取得的第24枚金牌，也是中国花招游泳队初次夺得奥运金牌！本届奥运会花招游泳名目由群体技术自选、群体自在自选和群体技巧自选三项较量组成，当天启动的群...。
9月22日，在ATP250杭州站和成都站，布云朝克特、张之臻和商竣程三人在同一天闯入巡回赛单打四强，再度发明中国男网新历史，在ATP250成都站男单四分之一决赛，商竣程以6比4、7比6，8，击败布勃利克，这也是继美网后，商竣程再次打败对手，半决赛他将对阵德国球员、环球排名第95位的汉夫曼，在ATP250杭州站，，00后，球员布云朝克特...。
万能阅读用具有亲切、友好、洁净的用户界面，一款污浊的绿色IE阅读器，另一款同配置的装置版，是一款基于IE内核的、多配置、安保性极高，共性化多页面阅读器，它准许在同一窗口内关上恣意多个页面，缩小阅读器对系统资源的占用率，同时它又能有效防止恶意插件，增强网上阅读的安保，而且齐全兼容微软IE阅读器，支持全系列微软操作系统，是个齐全收费而没有...。
11月15日出世的人是天蝎座，10月24日，11月22日，天蝎座的人，外表低调，实则希图心旺盛，充溢奥秘感，不会随便地与人互动，对自我需要很高，极具竞争力与战役力，有洞悉他人心理的才干，主要词，性意味，蝎子四象性，水主持宫位，第八宫阴阳性，阴性最大特征，盼望主管星，冥王星、火星色彩，紫色、彩色三方官，固定主持身材，性器官，鼻珠宝，碧玉...。
6月8日，央视资讯报道鼓浪屿游览市场次第存在关系疑问，厦门市十分注重，恳切接受媒体监视，仔细对照排查，立刻采取执行，波动整治整改，今天半夜，厦门市成立鼓浪屿游览市场次第专项整治联结上班组，迅速展开考查，依法从严处置无关违法行为，对鼓浪屿五家涉事单位，3家餐饮店、1家珍珠店、1家茶叶店，责令停业整理；对涉事两家游览社门市部责令停业整理；...。
Mockplus(摹客),Mockplus是一款简洁快速的原型图设计工具。中文名又叫摹客，Mockplus适合软件团队、个人在软件开发的设计阶段使用。其低保真、无需学习、快速上手、功能够用，并能够很好地表达自己的设计需求,您可以免费下载。
今天小编为大家带来2023适合学生室内玩的游戏合集，近年来玩游戏的玩家有很多都是学生，适合他们在室内的游戏，一般一局时间较短，操作简单易上手，有趣且吸引人，且大多以益智休闲类型为主，本次小编要给大家介绍的，就是适合学生在室内玩的几款游戏，感兴趣的小伙伴跟我一起来看看吧！1、，趣味拼图王，趣味拼图王，是一款益智拼图游戏，非常适合学生在...。
建造生存手游会让玩家身临其境的进入一个荒无人烟的地方，在这里可能会出现很多大型的野兽或者是各种障碍，会威胁自己的生命，玩家在游戏中唯一的目的就是需要活下去，通过努力搜集食物，还要建设自己的居住地，创造工具和大型生物做斗争才能活下去，今天小编也为大家盘点了几款比较耐玩的建造生存游戏，看看你喜欢哪一款，荒岛生存游戏是以一个荒极的荒岛作为主...。
懒人经济，促进了干洗行业的极大发展，不可否认，当下洗护需求已经成为品质生活的重要组成部分，越来越多的加盟商开始踏入干洗这个行业，以求分得一杯羹，那么，干洗店加盟多少钱，加盟哪家洗衣店好呢，下文就为各位详细回答，干洗店加盟多少钱，开干洗加盟店，加盟费用主要取决于所加盟的品牌，以及相应的加盟级别，因为品牌不同，加盟费肯定不一样；加盟级别...。
近年来自媒体是非常的火爆了，很多人都把自己的一些想法，感悟，情感，对时间的看法等通过短视频的形式展示出来，当然了更多的人通过自媒体是为了后期的转化，通过自媒体来卖产品，引流，推广等等，那么自然的流量大了才能更好的转化，有时候一个视频上了热门，轻松的阅读过万非常轻松，有几千的阅读量也是很正常的，有哪些方法能够快速的增加阅读量来曝光呢?下...。
日前获批的辽沈银行即将开业，据6月1日沈阳市沈河区委宣传部官方公众号，幸福沈河，发布的消息称，这家新设的辽宁省级城商行，董事长为王默涵、行长为巩长霖、副行长为魏军、综合部主任为刘长军，券商中国报道称，辽沈银行的发起股东中，8家股东均为国资企业，其中辽宁金融控股集团持股52.5%，拥有绝对控制权，其余多家股东分别来自于辽宁当地市、区财政...。
