谷歌大脑撰文解析 神经网络如何自行设计神经架构 AutoML (谷歌大脑项目)
在 Google I/O 大会上，谷歌公布了最新的机器学习算法——AutoML，随即，Quoc Le 与 Barret Aoph 大神在 Google Research Blog 上发布了一篇名为《采用机器学习探索神经网络架构》的文章。雷锋网进行了编译，并做了不改动原意的编辑和修改。
「在谷歌团队，我们成功地将深度学习模型应用于非常多的领域，从图像识别、语音识别到机器翻译等等。自然，这些工作离不开一整支工程师与科学家团队的努力。人工设计机器学习模型的过程实际上绝非坦途，因为所有可能组合模型背后的搜索空间非常庞大——一个典型的十层神经网络可能有~10种可能的神经网络组合。问题也接踵而至，为了应对这样庞大的数量级，神经网络的设计不仅耗时，而且需要机器学习专家们累积大量的经验。」
如图是 GoogleNet 的架构。神经网络的设计需要从最初的卷积架构开始，进行多年的细心调试
为了让机器学习模型的设计变得更加简单，谷歌团队一直希望能让这一过程自动化。此前谷歌也有做不少尝试，包括 evolutionary algorithms 与 reinforcement learning algorithms 等算法已经呈现了比较好的结果。而 Quoc Le 与 Barret Zoph 在此文中所展现的，是谷歌大脑团队目前在强化学习上得到的一些尝试与早期结果。
在团队一个名为「AutoML」的项目中（如图所示），左边有一个名为「控制器」（The controller）的 RNN，它设计出一个「child」的模型架构（雷锋网觉得可以称之为「雏形/子架构」），而后者能够通过某些特定任务进行训练与评估。随后，反馈的结果（feedback）得以返回到控制器中，并在下一次循环中提升它的训练设定。这一过程重复上千次——生成新的架构、测试、再把反馈输送给控制器再次学习。最终，控制器会倾向于设计那些在数据集中能获得更高准确性的架构，而反之亦然。
谷歌团队将这一方法应用于深度学习的两大数据集中，专注图像识别的 CIFAR-10 与语言建模的 Penn Treebank。在两个数据集上，系统自行设计的模型性能表现与目前机器学习专家所设计的领先模型不相上下（有些模型甚至还是谷歌成员自己设计的！）。
猜猜哪个是人类设计的神经网络架构，哪个是机器设计的？
让机器自行选择架构（machine-chosen architecture），与人类在设计神经网络的时候有一些共通之处，比如都采用了合并输入，并借鉴了此前的隐藏层。但其中也有一些亮点，比如机器选择的架构包含乘法组合 ( multiplicative combination)，如右图最左边（机器设计）的蓝色标签为「elem_mult」。对于循环神经网络而言，出现组合的情况并不多见，可能因为人类研究者并没有发现明显的优势。有意思的地方在于，此前人类设计者也提议过机器采用的乘法组合，认为这种方法能够有效缓解梯度消失/爆炸问题。这也就意味着，机器选择的架构能够对发现新的神经架构大有裨益。
此外，机器还能教会人类为何某些神经网络的运行效果比较好。上图右边的架构有非常多的渠道，梯度可以向后流动，这也解释了为何 LSTM RNNs 的表现比标准 RNN 的性能要好。
「从长远看来，我们对于机器所设计的架构进行深入的分析和测试，这能够帮助我们重新定义原本自身对架构的看法。如果我们成功，这意味着将会启发新的神经网络的诞生，也能让一些非专家研究人员根据自己的需要创造神经网络，让机器学习造福每一个人。」
参考文献：
[1] Large-Scale Evolution of Image Classifiers ,Esteban Real, Sherry Moore, Andrew Selle, Saurabh Saxena, Yutaka Leon Suematsu, Quoc Le, Alex Kurakin. International Conference on Machine Learning, 2017.
[2] Neural Architecture Search with Reinforcement Learning ,Barret Zoph, Quoc V. Le. International Conference on Learning Representations, 2017.
via research.googleblog ，雷锋网编译
版权文章，未经授权禁止转载。详情见 转载须知 。
本文地址： /article/f9a662e8a9b2307e872f.html
百度营销，企业网络营销首选平台，为企业提供搜索广告、信息流广告、品牌广告等多种广告营销服务，获客热线：400-800-8888。
行业企业网站排名,根据网站的综合值按照不同的行业企业网站进行筛选排名结果,通过筛选行业企业网站可以看到每个行业企业网站里面的网站排名优质的网站是哪些
AAI绘画生成器是一款在线使用的AI自动生成绘画软件,借助AI画图工具,只需输入文字描述即可进行智能AI作画,AI绘画生成器内置多种图像风格,满足多种场景下的AI绘画需求..
酷我音乐是无损音乐正版在线试听网站，歌曲mv在线免费看，酷我音乐为您提供，华语，日韩，网络，欧美，现场，热舞，伤感，剧情等精选歌曲mv，好音质，用酷我。陪着我，不要停
共产党员网(www.12371.cn)是由中央组织部主管、中组部党员教育中心主办、央视网承办的党员教育平台。
陕西本道传媒深耕工程领域20余年，其业务地域广袤，内容包含西安标识标牌设计、安全文明标准化工地、西安企业文化建设和西安智慧工地建设等，为中国中铁、中国铁建、中国石油、陕西交控等工程企业客户提供文化建设服务。
江阴健发特种纺织品有限公司
广州鑫亮信息科技有限公司旗下鑫亮办公_专业电脑销售，电脑维修，电脑组装，打印机销售，打印机维修，二手打印机销售，广州上门维修电脑打印机，电脑回收，打印机回收,广州一体机维修上门，回收电脑，回收笔记本，回收打印机，回收复印机，广州网络维护等各类办公设备销售，维修，租赁，回收服务！
苏州顶裕节能设备有限公司(www.winfansz.cn)是专业的实验室塑料风机,化工用废气风机,废气处理风机,防腐耐酸碱风机供应商，顶裕品牌，是致力于成为环保设备市场上的长期配套供货厂家，长期坚守岗位，伴随客户成长，带客户效益，体现价值。
徐州大丰食品有限公司
专业出口级交通信号灯厂家深圳赛诺杰，产品符合CE、ISO等国际标准。提供智能行人信号灯、太阳能信号灯、雷达测速器全套方案，具备丰富的海外项目经验，支持深度定制与批量出口。
蔬菜种子电商化，百蔬网在行动。
在如今飞速发展的现代，大家通通都忙碌于学业、工作，已经有太久没和好伙伴一起好好聚一聚，那小编就准备了四个人玩的游戏给大家，它们促使你能够和心中知己互诉衷肠，你们可以合作或竞争，经历一场又一场刺激的对局，你们的友情也会更为的浓郁，1、，汤姆猫荒野派对，这款游戏的场景图像、人物形象均采用的是Q萌画风绘制，这才让你一见到就觉得亲切万分，游戏...。
豆瓣年度电影榜单豆瓣年度电影榜单下载迅雷下载评分最高华语电影好东西下载地址出走的决心下载地址破路地狱下载地址年少日记下载地址雄狮少年下载地址暂无周处除三害下载地址年会不能停下载地址我们一起摇太阳下载地址走走停停下载地址老狐狸下载地址评分最高外语电影机器人之梦下载地址泳者之心下载地址首尔之春下载地址姥姥的外孙下载地址怪物...
超市成为了人们购买生活必须品的地方，因此好伴超市的出现，给消费者带来了便利，品牌在行业内得到好的发展后，不仅赢得了消费者的认可，也让创业者产生了加盟的想法，这部分看中此品牌的创业者，前来咨询好伴超市怎么加盟，下面介绍的内容可以解答大家的疑问，好伴超市现今具备众多优势，包括商品优势、系统优势、物流优势、配送优势、管理优势、营销优势等，品...。
昨日，继苹果、谷歌、亚马逊之后，Facebook的招聘信息表明其正在布局AI芯片，科技巨头的争相布局说明其正在成为AI芯片领域的新势力，雷锋网今日下午了解到，阿里巴巴达摩院正在研发一款名为Ali，NPU的神经网络芯片，该芯片性价比超传统CPU、GPU的40倍，将应用于图像视频分析、机器学习等人工智能推理计算，阿里巴巴此时宣布自研AI芯...。
馅饼，顾名思义，就是带馅的饼，是一种烤焗食品，由饼皮包著馅料，馅料可以是各类型的食品，例如肉类、蔬菜、水果及蛋酱等，主要按馅料分为咸馅饼和甜馅饼两大类，派的馅料填充方式可分为三类，一类是把派皮铺在烤盘上，接着倒入馅料；第二类是先将馅料倒入盘中，再铺上派皮；第三类是馅料完整的包覆在派皮里，馅饼就是用面做薄皮，包上肉、菜等拌成的馅，在锅上...。
发表在投影仪评测2018，12，2912，31电视的尺寸为何越来越大，原因非常明显，因为大屏幕观看电影会更加震撼刺激，所以没有人会嫌弃电视屏幕尺寸大，但是电视尺寸加大的同时，成本也会成倍增加，结果就会变成平民买不起的局面，那么买不起百寸大电视就不能享受百寸大屏幕带来的观影震撼吗，两者并没有太大的关联性，大屏观影并非只有大屏电视，这也就...。
发表在专业问答2021，8，616，14展示机型信息，品牌型号，小米投影仪系统版本，MIUITV3.0拆小米投影仪的外壳需要先找到前后盖和机身的连接口，然后用撬棒打开前后盖，取下固定螺丝，接着拆解外壳即可，具体的操作步骤如下，小米投影仪怎么拆外壳1.拆解前后盖板找小米投影仪前后盖板的卡口，然后使用撬棒撬开盖板，并将盖板取下；2.取下保...。
准备工作，、u盘、电脑一、百度搜索，当贝市场，，进入官网下载最新版本apk文件，或点击直接下载，http，dlap1.dbkan.com，update，dangbeimarket.apk，，并拷贝进u盘，附，当贝市场官网，http，www.dangbei.com，，如果官网当贝市场被系统自动删除，请安装该版本，http，a...。
俄罗斯，信息报，网站9月25日宣布题为，稀土反抗，的文章，作者是俄罗斯迷信院中国与现代亚洲钻研所初级钻研员叶卡捷琳娜·扎克利亚兹明斯卡娅，全文摘编如下，美国正在拼凑联盟，以削弱中国在稀土元素开采方面的主导位置，如今，以美国为首的西方国度正联手允许开采关键矿物的名目——它们是开展高科技产业无法或缺的，对17种稀土元素的争夺正在开展，假设...。
白羊是亮彩，思思是摩羯，莫纱是狮子，天秤是罗丽，处女是孔雀，巨蟹是茉莉，双子是毒夕绯，双鱼是灵公主，天蝎是王默，金牛是辛灵，射手是白光莹，水瓶是冰公主十二星座代表叶罗丽精灵梦的哪个仙子叶罗丽――白羊座蓝孔雀――天秤座亮彩――射手座茉莉――双鱼座菲凌――狮子座辛灵――金牛座曼多拉――天蝎座光仙子――摩羯座冰公主――巨蟹座水王子――处女座...。
CSS进度条属性优化技巧：progress和value在现代的网页设计中，进度条被广泛运用于显示任务的进程、加载的进度或者表达其他需要进行度量的场景。CSS提供了一些属性和技巧，可以让我们更灵活地定制进度条的样式和行为。本文将介绍两个重要的CSS属性，即progress和value，并提供一些具体的代码示例。progress属性用于定义进
穿越火线iPad版作为全球FPS游戏的领军产品，在移动领域的布局一直备受外界瞩目。在亿万CF玩家的期盼下，穿越火线iPad版游戏官方终于宣布CF正版FPS手游《穿越火线：枪战王者》正式开启首次精英测试，向外界揭开了神秘的面纱;您可以免费下载。
pc6官方下载为您提供QQ一点通,我们的 无论想跟哪个QQ号码聊天一点即通是不是您的好友有没有让您通过验证都没关系。同时,您可以免费下载。
穿越火线iPad版作为全球FPS游戏的领军产品，在移动领域的布局一直备受外界瞩目。在亿万CF玩家的期盼下，穿越火线iPad版游戏官方终于宣布CF正版FPS手游《穿越火线：枪战王者》正式开启首次精英测试，向外界揭开了神秘的面纱;您可以免费下载。
液晶显示器坏点检测(IsMyLcdOK),IsMyLcdOK可以有效的查看您液晶显示器、液晶屏的坏点。IsMyLcdOK软件体积非常小，可以不需要安装直接运行，也不需要其它运行环境。按0-9执行检测，或者按任意键依次进行检测，F1回到菜单,您可以免费下载。
网信证券金典合一版,诚浩证券更名网信证券，网信证券金典合一版是一个可以动态预警的专业级别的证券交易软件，诚浩证券交易软件功能强大，适合各种级别的股民分析行情、下单交易，软件功能完整,您可以免费下载。
江疏影分享生日派对露营随拍照，现场挂轻松欢乐氛围感拉满！她手拿紫色气球，与友人合照，在草地上玩泡泡，笑容满面，心情大好。
