如何让AI像人类一样学习自然语言 CMU博士生杨植麟 (ai怎么让图片变成想要的形状)
雷锋网AI科技评论按 ：近几年，由于深度神经网络的快速发展，自然语言处理借此取得了重大突破，但同时也达到了它的发展瓶颈期。因此，研究如何让 AI 像人类一样去学习自然语言成为了现在研究者们最关心的问题。
近期，在雷锋网 GAIR 大讲堂上，来自卡内基 · 梅隆大学三年级博士生杨植麟同学分享了无监督学习和情景化学习的一些最新进展，其中包括一篇 ICLR Oral 论文的解读。视频回放地址：
杨植麟，卡内基梅隆大学博士三年级，师从苹果人工智能主任 Ruslan S.，主要研究无监督深度学习及其在自然语言理解的应用；过去两年在 ICLR/NIPS/ICML 等人工智能顶会发表 11 篇文章 (9 篇一作)；曾在 Facebook 人工智能实验室从事研究工作，本科以年级第一毕业于清华计算机系。
分享主题 ：让人工智能像人类一样学习自然语言：无监督学习和情景化学习的最新进展
分享提纲
分享内容：
近几年，深度神经网络在自然语言学习任务上取得众多突破，但是仍然依赖于大规模静态标注数据。与此相反，人类学习语言的时候并不需要大规模监督信号，并且可通过与环境的交互理解语言。
先来回顾一下近些年 NLP 发展的状况。NLP 发展的黄金时期出现在 2013 年末和 2014 年这段时间。这段时间出现三个非常重要的技术：Word embeddings；Seq2seq；Attention，这三项技术基本奠定了 2014 年之后的 NLP 发展基础。
从2015年到现在，大家做的主要事情就是把三个技术都用上，做各种各样的变种，用在不同的任务上来检验模型效果。单从效果上来看，还是有到很多突破的。但有两点需要注意，依赖监督学习可能已经做到了极限；监督学习有两个问题，一是依赖大规模标注数据集，二是依赖静态数据集。
反观人类是如何学习语言的？人类只需要非常少的监督信号，通过动态与环境交互，在环境中执行一些行为，得到一些反馈，进行学习语言。
如果让机器像人类一样学习，就需要突破监督学习的瓶颈。接下来讲的就是在这一方面的探索，怎样让机器像人类一样学习自然语言。
先看一下这个，Mastering the Dungeon : Grounded Language Learning by Mechanical Turker Descent。其中的
Mastering the Dungeon 是我们创造的一个游戏环境，Mechanical Turker Descent 是我们发明的算法名字。
图中的两个人（Turker1 和 Turker2）相当于平台上的两个用户。他们每个人负责训练一个 dragon，如果 dragon 赢了，对应的人会获得奖励。这样 Turker 就会受到激励，会给 dragon 更好的样本学习，让它在比赛中击败其他 dragon。
下图反应了 dragon 在游戏环境中具体是如何交互学习的，以及具体的游戏环境是怎么样的。
这个交互学习算法的名字叫 Mechanical Turker Descent。第一步，每一个 Turker 会给 dragon 一些训练数据，第二步，用数据集训练出一个模型。第三步，这些模型会放在其他数据集上交互验证，每个模型会得到分数，获得高分的 Turker 会获得奖励。第四步，所有的数据将合并起来，进入下一轮，直到训练出比较好的 agent。
这个算法其实既有比赛，又有合作。Turker 为了赢得奖励，所以他们之间相互比赛，促使他们提供更好的数据给 dragon。同时他们又是合作的，在每一轮结束后都会把数据合并起来进入下一轮，这些数据在下一轮都会共享。
这样的算法有四个优点：
实验结果
通过实验得出几点结论，实验中的交互学习算法确实比传统通过标记数据的静态学习效果要好。
limit 是指限制 Turker 每一轮给的训练数据数量。在给同样奖励的情况下，发现如果不限制 Turker，他会多给 dragon 30% 的数据，最终的模型表现效果也较好。
在模型有反馈和没有反馈的两种不同情况下，其性能表现也有很大的差别。如果把模型反馈去掉，所有的指标都会下降，说明动态调整训练数据的动态分布是非常重要的。
接下来为大家介绍一篇 ICLR Oral 论文。论文题目为：Breaking the Softmax BOTTleneck A High-Rank RNN Language Model。
我们首先证明了softmax存在表达能力上的根本缺陷，继而提出了混合softmax (mixture of softmaxes)的方法，先算K softmaxes，然后用weighted sum得到最后的概率。这个方法在大家常用的语言模型数据集中，取得了当前最好的结果。
由于篇幅限制，这里就不做文字解读了，大家如果感兴趣可以直接去看这篇论文或者观看视频回放：
未来最重要的两个研究方向，一个是无监督学习，另一个是 language grounding。
无监督学习可以学习有价值的和可传递的特征表示，可以改善低资源和高资源任务； 可以用于监督或无监督任务的元学习。language grounding 可以提供足够复杂的环境，是一种非常有效的学习算法。
以上就是本期嘉宾的全部分享内容。更多公开课视频请到雷锋网 AI 慕课学院观看。
关注微信公众号：AI 科技评论，可获取最新公开课直播时间预告。
原创文章，未经授权禁止转载。详情见 转载须知 。
本文地址： https://www.gpxz.com/article/c88144a1be86ef289a54.html
网址导航――RC0991.COM是最实用的上网导航网站，是方便网民上网的入口平台，及时收录包括网络电视、电景、音乐、视频、小说、游戏等热门分类的优秀网站，与搜索完美结合，提供最简单便捷的网上导航服务，是数千万网民的上网主页。
「紫豹木业」是一家贵港超大的生产基地排名前十的广西专业建筑模板厂家，提供优质建筑模板生产批发，价格合理，服务全国,专注建筑模板,覆膜板,清水模板,建筑红板,酚醛面建筑模板,铁红面建筑模板的生产批发,专业生产建筑模板20年！日产40000张！,经过二次成型,板面光滑,胶合力好,远销国内外受到客户的一致好评。
拉丝机是无锡平盛科技有限公司主要产品,产品有直进式拉丝机,倒立式拉丝机,水箱式拉丝机.联系电话:0510-85260538
北京保安公司,北京七兵堂保安服务公司是北京市公安局批准正规资质高端安保服务保安服务公司,军事化管理,安保业务面向北京市及全国各省市,提供北京保安,北京保安公司,北京安保服务,北京保安服务公司,北京七兵堂保安服务有限公司是七兵堂国际安保集团公司旗下全资保安公司,期待您的合作！
潍坊永诚国际劳务有限公司是一家专业从事劳务派遣的公司。永诚人坚持“我们多努力，让您更满意”的服务理念，以创新的管理理念，全新的管理模式，优秀的服务水准，形成了独具特色的以“以人为本”为主要内涵的企业文化。展望未来，永诚人人将一如既往地用真心铸造品质，用热忱创造价值，为中国劳务服务行业的发展做出更大贡献。
天津中盛恒智网络科技有限公司,中盛恒智,中盛传媒,PR发稿公司,传媒公司,发稿公司
江苏弘盛建设工程集团有限公司集研发中心、房地产开发、设计院、检测中心、培训中心、商务会所、专家公寓为一体。
河北香河朋达无纺布厂专业生产销售无纺布，可生产1.6m.1.8m，2.4m以及3.2m，8g-200g重的无纺布产品，可以按客户来样生产各种颜色产品，强力指标达到国标，还可按客户要求指标生产，并可以生产高强土工布。公司以“专业品质，诚信服务”，期待与您携手合作，共创辉煌！
新滨网是滨州市重点网站之一，读者覆盖了滨州党政机关、企事业单位人员及广大市民，活跃度高。一直以来我们在公益活动和传播正能量。
万物皆可定制，一件起定，免费打印照片，照片打印就在印鸽，智能化工厂解决方案，为工厂节省75%人力
智能化是指事物在计算机网络、大数据、物联网和人工智能等技术的支持下，所具有的能满足人的各种需求的属性。
怎么叫跑腿，微顶跑腿APP
2018年6月7日，美国商务部正式宣布与中兴达成新的和解协议，美将撤销对中兴的封杀禁令，19日，据CNBC报道，美国参议院通过了，国防授权法案，，其中包括一项将继续对中兴实施制裁的条款，不过，此法案仍需与众议院协商，目前尚不清楚中兴的制裁是否会在最终版本中，雷锋网此前报道过，之前的和解协议虽然达成，但中兴将付出惨痛代价，30天内更换董...。
语音播放文章内容由深声科技提供技术支持您的浏览器不支持audio元素，雷锋网消息，据外媒报道，英特尔在向美国第九巡回上诉法院提交的一份法庭文件称，高通公司的垄断做法把英特尔逼出了基带处理器市场，英特尔称，和苹果的芯片业务转让交易让自己损失了几十亿美元，之前，美国联邦贸易委员会，FTC，起诉高通公司实施垄断行为，最终美国法庭裁决高通的确...。
串串作为众多消费群体喜爱的美食，有着多种不同的食材选择，作为新一代的时尚人群，对于特色的美食情有独钟，串串作为成都美食的代表，口感的独特，鲜美的味道，吸引了不少消费者群体，卅卅红油串串是一个一锅多吃的美食品牌，既可以以热锅的方式食用，还可以以冷锅的方式，多种锅型随便选，受到了众多美食爱好者的追捧，那么卅卅红油串串怎么样，发展前景好不好...。
做创业的，就要有发现的眼光，正大优鲜是市面上刚出现不久的品牌，从名字也可以看出，这是一个正大集团旗下的项目，大集团旗下的品牌的口碑和信誉都很值得信赖，那么正大优鲜加盟自然而然也就受到越来越多人关注，这是一个什么样的项目，正大优鲜是加盟还是直营，您想知道这样的问题吗，一起来看看，关于正大优鲜的信息正大优鲜，正大集团旗下专业社区便利超市，...。
把，冷板凳，坐热了，是当今生信人的一大喜悦，在科研舞台上，生物信息学，Bioinformatics，有着杂糅而成的名字，却仅为角落里不起眼的存在，其原因不外乎，太新，太交叉，太应用导向，，以上三者使得很多人认为这一学科不成体系，没有理论根基，此外，生物信息学易学难精，从业人员需要生物学知识的同时，还需掌握计算机科学和统计学等领域...。
发表在明基投影仪2022，6，910，14明基GV30投影仪是一款拥有旋转功能的便携式家用投影仪，不仅拥有内置电池更获得过日本GOODDESIGN设计大奖；外观这么出众精致那这款投影仪的内部配置又是如何呢，四千多的价格适合作为家用投影仪来使用吗，下面一起来看看具体参数分析，明基GV30怎么样?答案是比较好用，原因价格贵，画质不好，但是...。
实不相瞒，我一个人的利润，可能比大多数工作室都高，一个人能赚100万的事，没必要10个人来干，大家好，我是连续6年一个人创业的王叔，上篇文章跟大家分享了我能创业至今，还没回去打工的几点心得，有人私信问我，工作室还缺不缺人?很遗憾，答案会让你失望，不仅工作室不缺人，我连工作室都没有，这么多年，我一直都是一个人创业，或者说，我是一名完完全...。
QQ两年前的朋友能复原，但或许性较低，在QQ中，假设与某个朋友失去了咨询，理论可以经过多种模式尝试复原，首先，可以审核自己的朋友列表和历史聊天记载，看看能否有与该朋友的聊天记载或相关信息，假设有，可以间接经过聊天记载找到该朋友并从新建设咨询，其次，假设朋友列表和历史聊天记载中都没有相关信息，还可以尝试经过QQ的搜查配置来查找该朋友，在...。
国产车品牌一览奥铃[北汽福田]爱迪尔[昌河汽车]爱丽舍[西风雪铁龙]奥德赛[广州本田]A5[奇瑞汽车]翱龙[曙光汽车]翱龙CUV[曙光汽车]傲羚[曙光汽车]奥迪A6L[一汽公众]奥迪A4[一汽公众]B比亚迪F3[比亚迪]比亚迪F3，R[比亚迪]北斗星[昌河汽车]标致307[西风标致]标致206[西风标致]宝驹[西风悦达·起亚]百利[哈...。
华硕灵耀S2代S4300UN笔记本重装系统WIN10步骤(一键重装方法)
2023年MiniLED发展如何？看这一篇就够了！,显示器,显示屏,led,rgb,cob,mini
葫芦岛市龙港区杨帆石油化工厂是1999，03，13在辽宁省葫芦岛市龙港区注册成立的股份合作制，注册地址位于葫芦岛市龙港区锦葫北路，葫芦岛市龙港区杨帆石油化工厂的统一社会信用代码，注册号是B，企业法人李伟凡，目前企业处于开业状态，葫芦岛市龙港区杨帆石油化工厂的经营范围是，润滑油，依法须经批准的项目，经相关部门批准后方可开展经营活动，...。
近日，紫光集团宣布完成100%股权交割，智路建广联合体正式接手，向全体债权人足额支付了全部现金清偿款项，并按时向法院提出了终结重整程序的申请报告，北京一中院裁定确认紫光集团有限公司等七家企业实质合并重整案重整计划执行完毕，终结紫光集团有限公司等七家企业重整程序，至此，各界关注的紫光集团司法重整案取得圆满成功，标志着紫光集团历经重整扬帆...。
发表在专业问答2022，11，1714，08展示机型信息，品牌型号，索尼X80J系统版本，当贝OS定制版sony电视机开不了机闪红灯可能是是电视电源线故障导致，可以更换电源线解决；可能是电视的电源接口故障，建议返厂维修；可能是电视的显像管出现了故障，建议返厂维修，sony电视机开不了机闪红灯sony电视机开不了机闪红灯可能由五种原因造...。
华阳陆地钻研核心、中国南海钻研院和中国国内法学会7月11日在京联结发布了，南海仲裁案判决再批驳，报告，所谓，南海仲裁案判决，出台距今已有8年，报告重申了中国对仲裁案以及仲裁判决的立场，强调中国政府不会抵赖仲裁庭作出的合法判决，也不会接受任何基于判决的主张和执行，近日，中方发布，仁爱礁合法，坐滩，军舰破坏珊瑚礁生态系统考查报告，黄岩岛...。
中元节有过农历七月十三的，听说七月十三是地藏王生日，地藏王是朝鲜王子，跑到中国九华山还俗，发誓，天堂不空，誓不成佛，，所以成了主持天堂的神，相当于法院院长，阎王有十个，分管不同的殿，相当于法院上方的各庭庭长，东岳大帝也是管天堂的，不知道跟地藏王比谁大，但地藏王在天堂位置很高，这是不容置疑的，由于地藏王过生日，所以阴间的鬼可以放假三天，...。
