或许不是最佳的深度学习优化器 假设！Adam 新奇 (或许不是最佳的英文)
译者：AI研习社（ Born alone° ）
双语原文链接： NEURAL NETWORKS (MAYBE) EVOLVED TO MAKE ADAM THE BEST OPTIMIZER
免责声明:这篇文章和我平时的有些不同。事实上，我不会证明任何东西，我只是简单地解释一下我关于深度神经网络优化的一些猜想。和我平时的帖子不同，我写的东西完全有可能是错的。
我已经从实践和经验的角度研究在线和随机优化有一段时间了。所以，当Adam (Kingma and Ba, 2015)被提出时，我已经在这个领域了。
这篇论文还可以，但算不上突破，就今天的标准而言更是如此。事实上，这个理论是薄弱的：对于一种应该处理非凸函数随机优化的算法给出了 regret guarantee。这些实验也很弱：在这些日子里，同样的实验肯定会遭到拒绝。晚些时候 人们还在证明中发现了一个错误 以及该算法不收敛于某些一维随机凸函数的事实。尽管如此，现在 Adam 被认为是优化算法之王。让我明确一点：众所周知， Adam 不会总实现最佳性能， 但大多数时候，人们认为可以利用 Adam 的默认参数在处理某个深度学习问题上实现至少次优的性能。换句话说，Adam 现在被认为是深度学习的默认优化器。那么，Adam 背后成功的秘密是什么?
多年来，人们发表了大量的论文试图解释 Adam 和它的表现，太多了，不能一一列举。从“适应学习率”(适应到什么?没有人确切地知道……)到动量，到几乎标度不变性 ，它的神秘配方的每一个方面都被检查过。然而，这些分析都没有给我们关于其性能的最终答案。很明显，这些成分中的大多数对任何函数的优化过程都是有益的，但仍然不清楚为什么这个确切的组合而不是另一个组合使它成为最好的算法。混合物的平衡是如此的微妙以至于修正不收敛问题所需的小更改被认为比 Adam 表现稍差。
Adam 的名声也伴随着强烈的情感：阅读 r/MachineLearning on Reddit 上的帖子就足以看出人们对捍卫他们最喜欢的优化器的热情。这种热情你可以在宗教、体育和政治中看到。
然而，这一切的可能性有多大?我是说，Adam 是最佳优化算法的可能性有多大?几年前，在一个如此年轻的领域，我们达到深度学习优化的顶峰的可能性有多大?它的惊人表现还有其他的解释吗?
我有一个假设，但在解释之前，我们必须简单谈谈深度学习社区。
在谈话中,Olivier Bousquet 将深度学习社区描述为一个巨人 genetic algorithm：这个社区的研究人员正在以一种半随机的方式探索各种算法和架构的空间。在大型实验中一直有效的东西被保留，无效的被丢弃。请注意，这个过程似乎与论文的接受和拒绝无关:这个社区是如此的庞大和活跃，关于被拒绝论文的好想法仍然会被保存下来，并在几个月内转化为最佳实践，参见举例 ( Loshchilov and Hutter, 2019 )。类似地，发表的论文中的观点被成百上千的人复制，他们无情地丢弃那些不会复制的东西。这个过程创造了许多启发式，在实验中始终产生良好的结果，这里的重点是“始终如一”。事实上，尽管是一种基于非凸公式的方法，深度学习方法的性能证明是非常可靠的。(需要注意的是，深度学习社区对“名人”也有很大的偏好，所以并不是所有的想法都能得到同等程度的关注……)
那么，这个巨大的遗传算法和亚当之间有什么联系?嗯，仔细观察深度学习社区的创建过程，我注意到一个模式:通常人们尝试新的架构，保持优化算法不变，大多数时候选择的算法是 Adam。如上所述，这是因为 Adam是默认的优化器。
所以，我的假设是:Adam 是一个非常好的神经网络架构的优化算法，我们几年前就有了，人们不断地发展新的架构，让 Adam 在上面工作。因此，我们可能不会看到许多 Adam 不工作的架构，因为这些想法被过早地抛弃了!这样的想法需要同时设计一个新的架构和一个新的优化器，这将是一个非常困难的任务。换句话说，社区只进化了一组参数(架构、初始化策略、超参数搜索算法等)，大部分时间优化器都固定在 Adam 身上。
现在，我相信很多人不会相信这个假设，我相信他们会列出各种具体的问题，在这些问题中 Adam 不是最好的算法，在这些问题中 随机梯度下降 动量是最好的，以此类推。然而，我想指出两件事:1)我并不是在这里描述自然规律，而是简单地描述社区的一种趋势，它可能会影响某些架构和优化器的共同进化;事实上，我有一些证据来支持这一说法。
如果我说的是真的，我们可以预期 Adam 在深度神经网络方面会非常出色而在其他方面则会非常差。这确实发生了!例如，众所周知，Adam在非深度神经网络的简单凸和非凸问题上表现很差，参见下面的实验( Vaswani et al., 2019 ):
似乎当我们远离深度神经网络的特定设置，以及它们对初始化的特定选择、特定权重的比例、特定的损失函数等，Adam 就失去了它的自适应能力，它神奇的默认学习率必须再次调整。请注意，您总是可以将线性预测器写成单层神经网络，但 Adam 在这种情况下也不太好用。因此，在深度学习中，所有特定的架构选择可能已经进化到让 Adam 工作得越来越好，而上述简单的问题并没有任何让 Adam 发光的好特性。
总的来说，Adam 可能是最好的优化器，因为深度学习社区可能只在架构/优化器的联合搜索空间中探索一小块区域。 如果这是真的，对于一个脱离凸方法的社区来说，这将是一个讽刺，因为他们只关注可能的机器学习算法的一个狭窄区域 ，它就像 Yann LeCun “写道:“在路灯下寻找丢失的车钥匙，却发现钥匙丢在了别的地方。”
AI研习社是AI学术青年和AI开发者技术交流的在线社区。我们与高校、学术机构和产业界合作，通过提供学习、实战和求职服务，为AI学术青年和开发者的交流互助和职业发展打造一站式平台，致力成为中国最大的科技创新人才聚集地。
如果，你也是位热爱分享的AI爱好者。欢迎与 译站 一起，学习新知，分享成长。
版权文章，未经授权禁止转载。详情见 转载须知 。
本文地址： https://www.gpxz.com/article/66bea4d3de02b25a1668.html
杭叉集团股份有限公司（股票代码603298，注册资本6.19亿元），成立于1956年，迄今已有60多年的历史，总部位于浙江临安经济开发区，现占地面积1100余亩，下属67个控股子公司、6个参股公司，共有员工3300多人，是中国目前最大的专业叉车研发制造集团之一，现已成功跻身世界叉车前9强。
重庆申欧通信科技有限公司是专业从事煤矿及矿山调度通信联络系统、冶金、化工及水电站电厂数字程控调度机系统安装销售、销售服务企业!产品服务于重庆、四川、贵州、云南、广西、山西、陕西、新疆、甘肃、内蒙古、广东梅州、福建龙岩等煤矿及矿山行业专用品牌等,其中重庆申欧提供申瓯调度系统设备历经10多年的市场和技术磨练,申瓯通信公司是国内早期的生产数字程控调度通讯设备制造商!年销售量达150万线以上,为煤矿及矿山企业量身提供数字程控调度系统品牌服务解决方案！也是煤矿及矿山企业采购通信联络系统时推荐选择！
本网站提供全国300多个城市的交通违章记录查询,是全国最专业、最方便、最新最全的交通违章查询系统！
海南国联文化艺术研修院，是由海南省市监局主管，是经国家政府部门批准成立的文化研修机构。在中共中央办公厅、国务院办公厅印发《关于推进实施国家文化数字化战略的意见》的背景下成立，由国内社会各界书画家，教育家、学者、社会知名人士组成。
宿州鼎元园林石业
云南净化科技系统工程有限公司专注从事关于云南净化等相关产品的生产与制造，公司在行业领域发展多年，且是知名的昆明净化公司厂家。我们在昆明净化制作方面拥有较高的生产经验,欢迎广大客户前来参观咨询，电话：13529261819
中水东北勘测设计研究有限责任公司水利行业甲级设计电力行业甲级设计
浙江宏盛特钢有限公司专业生产347H不锈钢管厂家，公司347不锈钢管已通过国家A级压力管道认证，欧盟PED认证及英国劳氏质量管理体系认证。产品主要应用于火电厂内大型锅炉过热器,再热器,蒸汽管道,石油化工的热交换器管件。
鞍山新闻网是鞍山的新闻门户，拥有鞍山最大的新闻信息资源和生活服务网络。下设鞍山新闻，鞍山旅游，鞍山健康，鞍山教育，鞍山文化，鞍山商圈等频道。
天生创想OA办公系统是国内首家PHP开源OA软件产商,采用跨平台语言(php+mysql),专注于OA、OA系统、OA软件、协同OA系统、oa源码、oa开发、oa信创办公软件开发等审批系统,详情请咨询15010979348
优质的开区表(www.456uc.com)是全面的各类版本的游戏发布网，为各类游戏玩家提供方便快捷的找服平台，发布每日精选的游戏开区预告，主打复古版本游戏，致力于为您打造精彩的新开游戏网站信息发布平台。
蒂国(海南)化工投资有限公司是一家专注供应各类农肥等农资的农化企业。公司下设技术科、销售科、财务科、物流配送科、质检科、保卫科、化验室、办公室等相关部门。公司将不断提高产品质量、调整产品结构，以适应广大农民朋友的需要。
不是，根据，天眼查，查询得知，葫芦岛连石化工有限责任公司是私企，不是国企，该公司成立于2018年，位于辽宁省葫芦岛市，是一家以从事化学原料和化学制品制造业为主的企业，企业注册资本万人民币，实缴资本5100万人民币，葫芦岛连石化工有限责任公司电话是多少，葫芦岛连石化工有限责任公司联系方式，公司，公司邮箱，该公司在爱企查共有4条联系方式，...。
发表在综合交流大区2024，9，2715，56对于热爱电影和寻求至臻画质体验的人来说，拥有一个专属的家庭影院是一种特别的享受，一款具有真色彩、高清画质，能够忠实复刻影院大荧幕效果、带来沉浸观影体验的专业家庭影院投影机，不仅可以丰富人们的娱乐生活，更能提升生活品质，作为全球技术领先企业，爱普生始终坚持视觉创新，致力于为用户打造更加专业的...。
每个家长，在自己有限的能力内都希望给孩子美好的未来，因此在孩子发展的少儿时期，会帮忙报名各种培训机构，街舞是时下很流行的少儿培训项目之一，可以锻炼孩子的身体部位，可以参赛锻炼孩子的胆量并开阔眼界，总之优点多多，当然这一系列的前提是选择的街舞机构靠谱，那么，长沙嘻哈帮街舞怎么样，快随小编一起来了解一下这个品牌吧，关于长沙嘻哈帮街舞的介绍...。
申明，1.以上内容仅代表揭发者自己，不代表黑猫揭发立场，2.未经授权，本平台案例制止任何转载，违者将被清查法律责任，3.黑猫揭发处置揭发不收取任何费用，凡以黑猫揭发名义不要钱的均为混充、诈骗行为，请及时报警并与黑猫官网反应，揭发邮箱heimaotousu@vip.sina.com，4.请大家选用官网渠道处置生产纠纷，不要轻信第三方机构...。
北京期间12月24日晚间，2021款吉利缤瑞正式上市，新车推出3款车型，售价区间为9.18，10.98万元，新车提供双外观版本，在外型设计上驳回了最新一代家族式设计，新款缤瑞推出的3款车型，在性能上也均有不同，那么，全新更新后的2021款吉利缤瑞，哪款车型最值得介绍呢，在剖析性能之前，咱们先来看新车消息，外观方面，2021款吉利缤瑞驳...。
公众途观是一款德国品牌的中型SUV，作为公众品牌的明星产品，途观在市场上备受注目，而途观的质量也是消费者们最为关注的疑问之一，那么，公众途观的质量终究怎样呢，首先从外观设计过去看，途观的用料和工艺都十分精细，车身线条流利繁复，外表金属光泽度高，一切细节处都解决得很好，在高速公路行驶时，途观的车身十分持重，车辆行驶中不会出现显著的行驶偏...。
朗逸是由上汽公众消费一款轿车，2008年6月上市，在间断了A级车市，动感时兴，的设计言语的基础上，LAVIDA朗逸表现了一种全新的设计DNA——，融合，奔流B70与公众朗逸看看谁更值得购置，市场售价区间在10万元，15万元之间的车型十分多，然而同时有很强的适用性和丰盛的性能性能，有着很高的性价比并没有几个，笔者介绍一汽奔流B70，当...。
布局剖析或景观剖析环节里，理论状况下都须要明晰卫星图，那么GoogleEarth如何下载明晰卫星图呢，当天小编就分享GoogleEarth下载明晰卫星图的图文教程，首先关上GoogleEarth，在谷歌地球上找到你要下载的图纸范畴，在工具栏中，绘图，矩形，用鼠标右键，框选自己所要下载的范畴，就获取一个黄色的矩形单击，视图，...。
撰文丨余晖据海南省纪委监委7月3日信息，三亚市人大常委会党组成员、副主任林有炽涉嫌重大违纪违法，目前正接受海南省纪委监委纪律审查和监察调查，林有炽，男，1965年2月出世，海南三亚人，汉族，省委党校钻研生学历，1985年7月参与上班，1996年8月参与中国共产党，地下资料显示，他常年在海南上班，简历显示，林有炽历任海南省三亚市中央税务...。
下载地址，类型，安卓游戏，破解游戏版本，小鸡模拟器鸿蒙v1.7.29大小，68.79M言语，中文平台，安卓APK介绍星级，评分，★★★★★游戏标签，手机街机模拟器手游模拟器小鸡模拟器鸿蒙系统小鸡模拟器让你可以自在的游玩想玩的掌机游戏，当年的相熟经典游戏在这里都能找到，还有全新的游戏模拟器下载，不用担忧运转不了，操作十分繁难，让小同伴...。
全国爆款姓名大赏，这五个字被用烂了,社会,林徽因,屠呦呦,张含韵,复姓,生僻字,起名
SQLite数据库管理工具(SQLiteStudio),SQLiteStudio是一个功能完善的sqlite2和sqlite3工具，视图编码支持utf8。支持导出数据格式：csv、html、plain、sql、xml，可同时打开多个数据库文件,您可以免费下载。
象棋这项休闲活动古往今来一直都是十分受到大家的喜欢的，但是在现实生活当中随时随地来一局并不是很方便，而这款开心象棋就可以实现这一快乐，这里就来分享一下开心象棋下载地址，让大家在游戏中进行象棋的棋艺交流，还能对各种残局进行破解，领会象棋的魅力，开心象棋，最新版预约，下载而该游戏的画面设置精美，走棋的时候十分的流畅，能够让大家在游戏里进...。
开一个女装加盟店，其实其中的管理技巧是非常重要的，很多人都说，女装行业就是一个低难度的行业，入行更是非常容易的，事实上也是这样，进入女装行业的确也是一件不难的事情，但是，在如今这个竞争时代里面，想要做好你的女装加盟店生意，也并不是一件容易的事情，很多女装加盟店长们也都非常头疼，自己的女装加盟店应该要如何管理呢，那么现在不妨就来37°L...。
iOS新漏洞、Mac漏洞、iMessage漏洞，近来有关苹果漏洞传出的消息越来越频繁，今日乌云发现在最新版iPhone中存在字符溢出漏洞，此漏洞无需物理接触或者人为交互，只需知道目标绑定的Exchange邮箱，即可将远程iPhone手机攻击崩溃，进入，白苹果，状态，在乌云发布的测试视屏中，这部受到攻击的iPhone在开机后马上变为，白...。
小度，唤醒，∞，春季新品发布会的最后，景鲲在舞台上这样说到，从2017年2月，百度官宣成立的度秘事业部，到如今已经完成独立融资的小度科技，小度科技成长的同时，其对智能家居产品的理解也更加深入，SA数据显示，2020年在全球智能屏市场中，小度以33.1%的市场份额，稳居全球市场份额第一，国内智能屏的市场份额更是达到了65.9%，本次发布...。
抖音APP作为国内最热社交平台之一，相信很多伙伴都有体验过，大家在这里不仅能观看各种趣味视频，了解国家时政，同时自己也能创作内容获取收益哦，那么你知道抖音在哪关闭月付服务吗?下面就是小编带来的介绍，你可以跟着学习一下哦~...。
