谈谈深度学习中记忆结构的设计和使用 从NLP终生学习开始
雷锋网 AI 科技评论按：终生学习，简单说是让模型有能力持续地学习新的信息，但更重要的是让模型学习新信息的同时还不要完全忘记以往学习过的内容（避免「灾难性遗忘」），是深度学习的长期发展和大规模应用中必不可少的一项模型能力。
近期，「NLP 网红」Sebastian Ruder 小哥把终生学习能力融入了语言模型中，方法是加入一个片段式记忆存储模块。实际上类似的做法也并不是第一次得到应用了，雷锋网 AI 科技评论一并介绍几篇相关论文。
终生语言学习中片段式记忆的作用
论文地址：
内容简介：首先我们把「终生语言学习」（lifelong language learning）任务定义为：模型需要从连续的文本样本流中学习，其中不会指明数据集的边界。作者们提出了一个用片段式记忆存储结构增强语言模型的方式，模型中的存储可以进行稀疏经验重放，也可以进行局部适应，以减缓这种任务中的灾难性遗忘现象。另外，作者们也表明，这个记忆存储结构的空间复杂度可以进行大幅简化（可以降低 50% 到 90%），只需要随机选择把哪些样本存储在记忆中，这种做法对性能的影响非常小。作者们认为片段式记忆存储部件是通用语言智能模型中不可或缺的重要组件。
通过记忆能力增强模型表现其实并不是新鲜事，「经验重放（experience replay）」的思路最早可以追溯到 1990 年代的强化学习机器人控制论文《Programming Robots Using Reinforcement Learning and TeaCHIng》（）以及《Self-Improving Reactive Agents Based On Reinforcement Learning, Planning and Teaching》 （），论文中用教学的方式让机器人学会新的技能，那么记忆能力就与教学过程相配合，记录已经学会的技能。
下面我们再介绍几个新一些的成果
通过深度强化学习实现人类级别的控制
论文地址：
论文亮点：DeepMind 发表在《Nature》的鼎鼎大名的 DQN 论文中也使用了经验重放。在强化学习的设定中，智能体通过与环境交互获得数据（相当于监督学习中的标注数据集），经验重放可以让智能体重放、排练曾经执行过的动作，更高效地使用已经采集到的数据。当然了，DQN 的另一大贡献是学习到原始输入的高维表征，不再需要人工的特征工程。
Memory-Augmented Monte Carlo Tree Search
记忆增强的蒙特卡洛树搜索
论文地址：~mmueller/ps/2018/Chenjun-Xiao-M-MCTS-aaai18-final.pdf
AAAI 2018 杰出论文
论文简介：这篇论文把一个记忆结构和蒙特卡洛树搜索结合起来，为在线实时搜索提出了一种新的利用泛化性的方式。记忆结构中的每个存储位置都可以包含某个特定状态的信息。通过综合类似的状态的估计结果，这些记忆可以生成逼近的估计值。作者们展示了，在随机情况下，基于记忆的逼近值有更高可能性比原始的蒙特卡洛树搜索表现更好。
经验重放还有一些高级改进
优先经验重放
论文地址：
论文亮点：这篇论文的作者们提出，在之前的研究中，智能体学习到的经验是均匀地从重放记忆中采样的。而既然记忆的存储来自于智能体实际的探索活动，这就意味着智能体进行活动、获得记忆的分布和从记忆中采样、利用记忆的分布是一样的。作者们认为，智能体获得的记忆中肯定有一些是重要的、有一些是不那么重要的，我们应当更多地利用比较重要的记忆，这样可以用同样多的记忆提高智能体的表现。这篇论文中作者们就设计了一个为记忆的优先程度排序的框架，更多地重放重要的记忆，以便更快地学习。作者们在 DQN 上做了这个实验，改进后的 DQN 比原来的（均一记忆）的 DQN 在绝大多数游戏中都取得了更好的表现。
后见经验重放
论文地址：
论文亮点：假想要让机械臂执行一个用末端在桌面上推方块到指定地点的任务。对于强化学习模型来说，初次尝试基本是注定失败的；如果不是特别的幸运，接下来的几次尝试也同样会失败。典型的强化学习算法是无法从这些失败经验中学习的，因为它们一直接收到固定的失败（-1）反馈，也就不含有任何可以指导学习的信号。
人类在执行任务的时候其实有一个直觉的感受是：即便我没有达成原来那个给定的目标，我起码还是完成了另外一个目标的。HER的核心思想就是把这一人类直觉公式化。在这里，HER会把实际达到的目标暂且看成要达到的目标；进行这个替换以后，算法认为自己毕竟达到了某个目标，从而可以得到一个学习信号进行学习，即便达到的目标并不是最开始任务要求的那个目标。如果持续进行这个过程，最终算法可以学会达成任意一个目标，其中也自然就包括了我们最开始要求的目标。
依靠这样的办法，即便最开始的时候机械臂根本就碰不到圆盘、以及反馈是稀疏的，最终它也学会了如何把圆盘拨到桌子上的指定位置。这个算法之所以称为Hindsight Experience Replay 后见经验重放，就是因为它是在完成了一次动作之后再选定目标、重放经验进行学习。也所以，HER可以和任何策略无关的强化学习算法结合起来使用，比如DDPG+HER。
这 7 篇论文打包下载：
雷锋网 AI 科技评论整理
原创文章，未经授权禁止转载。详情见 转载须知 。
本文地址： https://www.gpxz.com/article/5e02a258b04bbb50c018.html
摹客集设计协作平台、原型设计和设计规范为一体，数百万设计师、产品经理和开发工程师必备设计神器、交互原型、标注切图、文档管理。设计+协作，摹客就够了！
北京市发展和改革委员会
注册公司、代理记账
传统节日网-中国传统节日有哪些_中国传统节日祝福语大全表
“诚信可靠，服务先行”是软银财务一直来奉行的经营理念。目前软银财务凭借专业的知识、丰富的实战经验和优质的服务，赢得了客户的信赖
nuik外包团队,软件开发定制,电商系统，CRM系统
沈阳市鑫龙源包装制品厂是专做食品袋、食品包装袋等产品的食品袋厂家。我厂制作食品袋、食品包装袋等设备精良，检测手段齐全，技术力量雄厚，工艺先进，价格合理，供货及时，质量上乘。
武汉泽雅印刷厂是一家武汉本土的印刷厂，公司主营：海报设计，画册印刷，折页制作，彩页印刷，宣传单设计印刷等业务。欢迎前来咨询印刷业务，联系电话：15002718315
湖南省益阳茶厂有限公司，创建于1958年，系国家民委、财政部、中国人民银行等国家部委定点的、国家重点茯砖茶生产厂家、全国民族贸易和民族特需商品生产百强企业、中央边销茶原料承储企业、湖南省农业产业化龙头企业、湖南省高新技术企业、湖南省老字号企业、湖南省重大科技专项示范企业、湖南省创新型试点企业、湖南省拥有自营进出口权的黑茶生产企业先驱、GB/T9833.3国家标准。联系我们：400-833-1958
西朗门业是专业生产快速门厂家，生产的快速门、快速卷帘门、硬质快速门、拉链快速门、保温快速门、堆积快速门、洁净室快速门等，出口七十多国家，合作70多家世界500强企业，为4200多家知名企业提供快速门服务，并且通过了CE、SGS、CMA等认证。
上海定达律师事务所
爱尔信会计培训网校是爱尔信会计培训学校为广大会计行业从业者提供的线上培训渠道，采用爱尔信会计培训学校专业师资团队及多年会计培训的丰富经验及课程体系，让会计行业从业者能够在线获得更立体更专业更贴心的会计培训体验，更轻松更快速的获得职业成长，欢迎访问爱尔信会计培训网校！
今天为大家介绍的是2022好玩的3d格斗游戏推荐，现实生活中我们很难跟别人来一场拳拳到肉的较量，就算有也没人敢去尝试，打人的时候很爽，被打的时候也是真的痛，而格斗游戏正好可以让我们感受一场动作对拼，下面这几款3D格斗游戏，完美诠释什么才是动作格斗大师，卡普通享誉业界的游戏IP鬼泣现在强势登录手游了，爽快的打击动作，炫酷之余威力强大，各...。
虽然说像素风格的游戏在画面表现上，可能不是很清楚，但是却很独特，吸引了很多玩家的喜欢，那么有趣的经营像素游戏有哪些呢，接下来给你分享几款满足条件的游戏，你可在里面享受经营者温泉旅馆或者是农场等游戏所带来的快乐，无论是操作方式还是里面的内容，都能让大家感受轻松愉悦，置身于这一款非常好玩的像素游戏以后，主要是以模拟经营温泉旅馆为主的，为了...。
自疫情以来，全国各地的中小学都开启了网课模式，通过电子产品上网课成了孩子们学习的新姿势，但青少年正处于发育阶段，长时间观看网课会让孩子用眼负担加重，视力健康问题必然引起家长们的担忧，如何选择一台护眼的电子设备，上网课投影仪和电视哪个好，下面就来解决家长们最关心的问题！上网课投影仪和电视哪个好，答案是投影仪，目前，网课在线教育所依托的硬...。
Windows1123H2网卡版采用万能驱动8的网卡版驱动，未集成任何第三方软件，它引入了AI功能（Copilot+PC独有），包括实时字幕、画图中的Cocreator功能、WindowsStudio特效、自动超分以及图像生成和重塑。此外，它还引入了节能功能，可延长电池使用时间并降低能耗。
随着人们生活水平的不断提高和生活节奏的加快，现在饮食与健康越来越受到消费者们的关注，健康饮食已经成为主流，人们不仅要口感上的享受也追寻身心上的健康，铁锅炖牛排正式随着这一股风席卷，很多的加盟商看到了这个商机选择加盟，今天小编就给大家介绍一下铁锅炖牛排加盟怎么样，那么铁锅炖牛排怎么样呢，首先就是智慧之选灵活，量身打造为客户量身打造档口店...。
据央视媒体此前所做的专题报导，当下在国内家装与工装墙饰中，提到科技集成墙板这个品牌，人人都会称赞，都说科技售后做的非常好，现实真的是这样吗，用过科技集成墙板、集成墙饰的人回答满意真实的，比如说，在对帮助加盟者做好商场营销这点上，科技集成墙板不会像其他品牌项目那样只需一种履行方案，而是会依据加盟者所在区域商场的实际情况，进行针对性的定制...。
特色的小吃产品深受大家的喜爱，市场上也不断的涌现出更多的特色小吃，比如就有鸡爪，以个性化的工艺进行烹饪，使得产品味道诱人，渣大侠独门爪爪小吃是一家连锁餐饮品牌店，主打经营特色小吃产品，味道很好，而且营养价值均衡，受到广大消费者的青睐，也吸引更多的创业者的关注，那么，渣大侠独门爪爪小吃加盟好不好，有哪些条件，渣大侠独门爪爪小吃加盟好不好...。
3月29日，小米在2021春季新品发布会上正式推出小米11Pro和小米11Ultra两款超高端新品，两款全新旗舰全部搭载旗舰级高通骁龙8885G移动平台，首发业界最大底的三星GN2传感器，带来超越以往的极致影像体验，小米11Pro和小米11Ultra是继小米10至尊纪念版之后，小米在专业影像战略的又一里程碑之作，为全球米粉带来诸多创新...。
现在，无论是过生日，还是新店开张、某企业搞大型活动等等，你都可以在现场看到各式各样的糕点，由此便知，蛋糕行业有多不错了，所以，很多加盟者都想开家蛋糕店为己谋利，那么，现在开蛋糕店前景如何，蛋糕店加盟实现目标怎么样，今天，小编就来给大家讲一下，现在开蛋糕店前景如何据了解，自2007年开始，我国的面包蛋糕烘焙行业就一直保持着几何式的增长，...。
中国方案是一个涵盖政治、经济、文化和社会等多个领域的综合性发展策略，一、明确答案中国方案是指中国提出的关于全球治理、经济发展、文化交流和社会进步等方面的综合性战略和倡议，这一方案旨在促进全球共同发展，构建人类命运共同体，二、详细解释1.全球治理方案，中国提出的全球治理方案强调多边主义、合作共赢，致力于构建公正合理的国际秩序，中国倡导共...。
上海买车要求社保吗上海买车并不要求必定领有社保，但在一些购车的详细操作中，社保或许触及到存款和车辆上牌等方面，以下是详细的回答、综上所述以及法律依据的文章，注释，一、上海买车的基本状况1.1社保与购车，普通状况下，上海购车并不要求必定领有社保，购车重要触及到团体的购车资金、信誉状况、银行存款等方面，1.2购车模式，购车的模式包含全款购...。
乱开玩笑，人力必备的搞笑彩虹屁朋友圈文案收藏(人力必备的47句搞笑彩虹屁朋友圈文案(Part1)1。我虽然笨拙，却给了你温柔和诗意，1.关于内卷的幽默段子开玩笑，你点评的功夫，王娟已经完成了半套卷子，有同事如此讨厌不敢直视的幽默文案1.1一大早就明目张胆地删了几个微信业务，不为别的，只为让他们感受一下创业成功的艰辛和曲折。1、那种很长很废话的幽默文案摘录(60句那种长篇大论的无厘头幽默文案[第一条]1。我发现我妈和我爸居然是同一天结婚的。我最后一次见你是最后一次。3.我在过去的60秒前失去了一分钟。不知道
今天跟大家分享真实开车模拟驾驶游戏，这类手游所呈现的视觉和听觉效果越来越具备真实感，令人身临其境，每个轮胎的转动声，激烈的引擎轰鸣，以及道路的颠簸震动都无一不增加了游戏的真实感和沉浸感，这些手游不仅不断革新，还愈发逼真，仿佛将玩家带到现实的驾驶座位上，下面就一起来看看，1、，驾驶学校2017，这里面以真实的驾驶环境和操作方式为特点，让...。
今天晚上，MIUI官方微博发布消息称，将全面下架360软件，按照MIUI官方微博的说法，这次事件的起因是360恶意诱骗安装名为，雷电OS，的程序，并在用户并不知情的情况下静默执行Root刷机行为，篡改MIUI系统签名，植入非官方的系统应用，导致小米手机无法升级到最新版MIUI系统，偷跑流量，甚至手机系统崩溃无法正常启动，在官方声明中，...。
对冰淇淋项目感兴趣的人们都在关注冒冰淇淋这个连锁品牌，当整个行业悄然崛起并迎接一次次的革新之后，智慧之选热潮也随时之高涨起来，现在智慧之选开店自然是要深思熟虑的，选对品牌才能在市场上占有一席之地，只要确保品牌竞争力，具备足够的智慧之选能力，就能合格加盟了，那么冒冰淇淋加盟费用多少钱，冒冰淇淋加盟费用多少钱，智慧之选开一家连锁品牌店，只...。
作为传统的美食，饺子基本是人人喜欢的美食，尤其是北方一代的人群，不仅仅是一种可以填补味蕾需求的产品，且是团圆必不可少的餐食，熊大爷现包饺子，打破了地域上的差异，将南北方食客们的饮食需求进行了整合，打造了创意系列的产品，大众食客们品尝之后，好评不断，伴随着经营热度的增长，越来越多的食客们被吸引过来，在此之前去了解下熊大爷现包饺子好吃吗，...。
雷锋网编者按，截止发稿，美国高通公司在中国手机芯片市场的反垄断调查暂时告一段落，该公司宣布因违反中国反垄断法律，将被罚款9.75亿美元，另外高通也将对中国市场的智能手机专利授权，做出多项调整，国内针对高通的反垄断案还没有宣判，但后者在国外就先遇上了另外一个难题，近日，在经过了英特尔、苹果、微软等巨头向美国电气和电子工程师学会，IEEE...。
