谷歌大脑撰文解析 神经网络如何自行设计神经架构 AutoML (谷歌大脑项目)
在 Google I/O 大会上，谷歌公布了最新的机器学习算法——AutoML，随即，Quoc Le 与 Barret Aoph 大神在 Google Research Blog 上发布了一篇名为《采用机器学习探索神经网络架构》的文章。雷锋网进行了编译，并做了不改动原意的编辑和修改。
「在谷歌团队，我们成功地将深度学习模型应用于非常多的领域，从图像识别、语音识别到机器翻译等等。自然，这些工作离不开一整支工程师与科学家团队的努力。人工设计机器学习模型的过程实际上绝非坦途，因为所有可能组合模型背后的搜索空间非常庞大——一个典型的十层神经网络可能有~10种可能的神经网络组合。问题也接踵而至，为了应对这样庞大的数量级，神经网络的设计不仅耗时，而且需要机器学习专家们累积大量的经验。」
如图是 GoogleNet 的架构。神经网络的设计需要从最初的卷积架构开始，进行多年的细心调试
为了让机器学习模型的设计变得更加简单，谷歌团队一直希望能让这一过程自动化。此前谷歌也有做不少尝试，包括 evolutionary algorithms 与 reinforcement learning algorithms 等算法已经呈现了比较好的结果。而 Quoc Le 与 Barret Zoph 在此文中所展现的，是谷歌大脑团队目前在强化学习上得到的一些尝试与早期结果。
在团队一个名为「AutoML」的项目中（如图所示），左边有一个名为「控制器」（the controller）的 RNN，它设计出一个「child」的模型架构（雷锋网觉得可以称之为「雏形/子架构」），而后者能够通过某些特定任务进行训练与评估。随后，反馈的结果（feedback）得以返回到控制器中，并在下一次循环中提升它的训练设定。这一过程重复上千次——生成新的架构、测试、再把反馈输送给控制器再次学习。最终，控制器会倾向于设计那些在数据集中能获得更高准确性的架构，而反之亦然。
谷歌团队将这一方法应用于深度学习的两大数据集中，专注图像识别的 CIFAR-10 与语言建模的 Penn Treebank。在两个数据集上，系统自行设计的模型性能表现与目前机器学习专家所设计的领先模型不相上下（有些模型甚至还是谷歌成员自己设计的！）。
猜猜哪个是人类设计的神经网络架构，哪个是机器设计的？
让机器自行选择架构（machine-chosen architecture），与人类在设计神经网络的时候有一些共通之处，比如都采用了合并输入，并借鉴了此前的隐藏层。但其中也有一些亮点，比如机器选择的架构包含乘法组合 ( multiplicative combination)，如右图最左边（机器设计）的蓝色标签为「elem_mult」。对于循环神经网络而言，出现组合的情况并不多见，可能因为人类研究者并没有发现明显的优势。有意思的地方在于，此前人类设计者也提议过机器采用的乘法组合，认为这种方法能够有效缓解梯度消失/爆炸问题。这也就意味着，机器选择的架构能够对发现新的神经架构大有裨益。
此外，机器还能教会人类为何某些神经网络的运行效果比较好。上图右边的架构有非常多的渠道，梯度可以向后流动，这也解释了为何 LSTM RNNs 的表现比标准 RNN 的性能要好。
「从长远看来，我们对于机器所设计的架构进行深入的分析和测试，这能够帮助我们重新定义原本自身对架构的看法。如果我们成功，这意味着将会启发新的神经网络的诞生，也能让一些非专家研究人员根据自己的需要创造神经网络，让机器学习造福每一个人。」
参考文献：
[1] Large-Scale Evolution of Image Classifiers ,Esteban Real, Sherry Moore, Andrew Selle, Saurabh Saxena, Yutaka Leon Suematsu, Quoc Le, Alex Kurakin. International Conference on Machine Learning, 2017.
[2] Neural Architecture Search with Reinforcement Learning ,Barret Zoph, Quoc V. Le. International Conference on Learning Representations, 2017.
via research.googleblog ，雷锋网编译
版权文章，未经授权禁止转载。详情见 转载须知 。
本文地址： https://www.gpxz.com/article/f9a662e8a9b2307e872f.html
嘻柚首页描述测试
哈尔滨引客侠企业管理有限公司成立于2017年，专注于家居建材行业的管理顾问公司，为中国家居建材企业提供管理咨询、营销策划与销售培训的专业机构。陈宇-哈尔滨引客侠企业管理有限公司创始人，宇君纷享企业顾问管理有限公司创始人，北京咔帮网络科技有限公司CEO，家居建材网络营销专家，家居共赢模式创立者。
陕西省电子信息产品监督检验院
江门亿阳网站建设公司拥有20年建站经验,江门建站老品牌,专业的网站建设队伍,是您江门建设网站的首选,致力为您提供专业化的国内顾问式品牌策划服务,建站热线:0750-3290718
山东可喜可贺信息技术有限公司
浙江创运物流有限公司成立于1994年，先后被评为国家AAAA级物流企业、中国物流与采购联合会理事单位、浙江省物流与采购协会副会长单位，全国交通运输诚信建设示范物流企业、义乌市诚信民营企业、浙江省信用AAA级货运企业等荣誉称号，公司通过ISO9001管理体系和全国交通运输业安全生产标准化二级达标企业等体系认证！并获得中国快运50强物流企业、中国品牌价值百强物流企业等荣誉称号！
刮板输送机,螺旋输送机,粉尘加湿搅拌机,斗式提升机产品的材质主要是由碳钢,不锈钢等,也可能根据客户要求订制加工.
南阳市商务局
慧工商网提供专业注册公司服务,工商变更服务,公司注销服务,异章证遗失登报补办等全程免费服务无需第三方服务。
职场指南网，一个专业的职场指南网站，为职场人士提供职场指南、职场范文、职场求职、简历模板、面试笔试攻略等实用专业的职场知识。
电话：13630818340，七星网络是专业从事互联网相关业务开发的公司，主要经营：沧州网站建设,沧州网站制作,沧州网页设计,沧州网站优化,沧州seo优化,沧州小程序开发,沧州公众号开发,沧州网站推广,沧州关键词优化,企业视频等专门提供全方位的优质化服务和专业的网站建设方案，为企业打造全新电子商务平台。成熟的技术实力和完善的运营服务体系是七星网络IT应用服务的根基。
涵盖了国内外纺织行业的专业信息，网站拥有最丰富的纺织产品和纺织企业资源，并在全国组建了多个信息联络点，为您提纺织买卖、纺织原料、纺织行情、纺织资讯、纺织人才等综合信息。
随着时代的发展，人工智能的发展也十分迅速，美女机器人做得已经越来越逼真，所拥有的功能也越来越全面，而说到世界最先进的机器人，便不得不说说中美日的美女机器人了，中国、美国和日本一直都在致力于机器人方面的研究，其技术水平也要高于其他国家，那么中美日三个国家的美女机器人到底谁家的更逼真呢，我们先来看一下几款最具代表性的美女机器人，下面先看看...。
美柚是一款专注于女生健康的辅助软件，这里不仅能记录小仙女们各种健康信息，还可以在这里记录每个月的经期时间，当然我们还可以在这里添加习惯，如果又不想要继续的习惯也可以在线删除，具体方法也不难，一起来看看吧，...。
23日，以，智算赋能·共赢未来，为主题的2021CCF全国高性能计算学术年会，简称CCFHPCChina2021，在珠海·横琴召开，大会由中国计算机学会主办，中国计算机学会高性能计算专业委员会、暨南大学、澳门大学、澳门科技大学承办，横琴粤澳深度合作区执行委员会、珠海市人民政府支持，北京并行科技股份有限公司、广东琴智科技研究院有限公司、...。
2004年，我就开始做产业调研，历经了安全产业从只有杀毒的几个亿收入到现在近千亿的纵深防御的安全收入，李少鹏作为行业老兵见证了网络安全行业这20年来的成长与发展，他说从最初的计算机安全到信息安全再到网络安全，再到如今的数字安全，安全行业一步步地壮大，6月17日，以，风险驱动，为主题的第三届数字安全大会在北京召开，他说这是唯一一个由...。
ChatGPT的发布在全球掀起了大模型产业化的浪潮，短短半年间，许多行业因大模型的出现而脱胎换骨，大模型在改变人工智能的同时，也在改变着全世界，逐渐成为人们的共识，在通用大模型领域，拥有着深厚技术储备的腾讯、阿里、百度、华为等国内科技与互联网巨头企业接连发力，打造出混元、通义千问、文心一言、盘古等AI大模型，在大模型产业化的竞争浪潮...。
发表在长虹投影仪2022，10，2810，26长虹D200是长虹推出的全色激光投影设备，拥有出色的画质表现，具体长虹D200全色激光电视怎么样呢，下面就通过详细的参数配置进行分析，看看长虹D200全色激光电视有什么特点，长虹D200全色激光电视怎么样，1.光学参数在画面亮度方面，长虹D200的实际亮度为350尼特，支持投射明亮的画面，...。
通过屡次比拟，引荐出三款本田汽车10万元左右的智能挡车型，它们区分是本田思域、飞度和缤智，一、本田思域本田思域在外观设计方面十分静止时兴，内饰作为一款家用轿车来看十分繁复粗劣并且材质也做得十分扎实，座椅也堪比奢侈车的温馨水平，车辆装备了档位拨片、后视镜加热以及电动天窗等性能，驾驶起来容易上手并且十分稳固，悬挂也做得相当到位，总之，本田...。
关于2013款明锐2.0发起机的机油消耗疑问，只管2013款明锐搭载了一款较为老旧的2.0发起机，但这并不象征着它肯定存在烧机油现象，实践上，这款发起机的机油消耗速度或许较其余车型稍快，但尚未发现有烧机油的报道，关于此类疑问，市场上提供了两种处置方案，大修和PNF修复剂，大修老本高昂，车辆价值会迅速降低，且后续磨合艰巨，理论仅在发起机...。
如何使用C++编写一个简单的学生课程表管理系统？学生课程表管理系统是一个辅助学生进行课程安排和管理的工具。学生可以通过该系统来查询课程信息、选择课程、管理课程表等。下面将介绍如何使用C++编写一个简单的学生课程表管理系统。首先，我们需要定义一些数据结构来存储学生和课程的信息。对于学生信息，可以使用一个结构体来存储学生的姓名、学号和所选课程。对于课程信息，可以
源码简介GoStock–免费和高级库存照片脚本这是一个免费和高质量的优质分享库存照片的平台，用户将能够上传他们的照片与整个社区和访问者分享，并可以通过PayPal接收捐款。此外，用户将能够为您提供喜欢，评论，分享和添加到...
北京通学公交线路按需定制保障学生准点到校,准点,公交车,驾驶员,北京市,公交集团,公交线路,北京地震
驻日大使福岛作秀，挑唆盟友对抗中国，美国鼓动日本向WTO告状！,日本,美国,韩国,福岛,中国,华盛顿,伊曼纽尔,驻日大使
特色小吃台湾饭团以大米制作为原材料，打造鲜香可口系列产品，市场接受度高，可谓是人人喜欢，阿杏饭团在行业中塑造的人气深厚，以一店多营，复合式经营模式，提供给消费者完善美食体验，多年来运营热度和市场口碑不错，源源不断的创业人士被吸引过来，那么阿杏饭团如何加盟，开店前后又扶持吗，门店产品传承台式美食工艺，精选新鲜水果、泰国进口大米，利用古法...。
土豆粉作为生活中备受欢迎的小吃类型，是很多上班族下班后会选择的美食类型，随着城市化率的提升上班族人群的增多，给土豆风行业带去了较大的发展空间，也吸引了很多人想要开家土豆粉店，以期走上开店创富之路，那么，女人星土豆粉加盟费多少钱女人星土豆粉加盟条件是什么呢，下面小编为你做个简单介绍，女人星土豆粉加盟费多少钱，既然看好女人星土豆粉的发展前...。
雷锋网消息，2019年11月19日，世界人工智能融合发展大会在济南召开，大会上，中国工程院院士、浪潮集团首席科学家王恩东做了主题为，智慧计算，未来动力，的分享，以下是王恩东在大会上的演讲内容，雷锋网做了不改变原意的整理和编辑，各位领导、各位专家上午好，我报告的题目是，智慧计算，未来动力，人工智能已经在时刻改变着我们的工作和生活，我们...。
2023年8月，满帮交出一份亮眼的业绩，引起一阵狂欢，殊不知，满帮高管团队准备的套现计划很快浮出水面，带头人正是满帮创始人张晖，张晖和另外三名高管在2023年下半年累计套现超6.3亿元，而张晖一人的套现金额就高达5.1亿，四人分两批行动，看似可以很好地避免广大中小股东们的反应过于激烈，其实也不然，自2023年3月实施的5亿美元股票回购...。
如今随着市面上美食产品的不断增多，也是给人们带来了很多选择的机会，冒菜相信大家都是经常吃的美食，好吃实惠有营养，川魂帽牌货冒菜加盟条件是什么加盟川魂帽牌货冒菜怎么样冒菜其实说白了就是很多食物放在一起煮着吃，多种的口味和食材，消费者们可以根据自己的喜好合理的选择产品，川魂帽牌货冒菜源自于四川的美食小吃，有着好吃不上火的说法，在汤底料上加...。
