Compose 神经网络可以帮你写 Gmail 谷歌 Smart 邮件了 (composition)
雷锋网 AI 科技评论按 ：在 Google I/O 2018 上，除了 Google 助手给餐馆打电话的场景赢得现场观众的喝彩外，在用户写邮件时可预测下一句的 Smart Compose 技术同样也引得众人欢呼。近期，谷歌大脑团队首席软件工程师 Yonghui Wu 在 Google AI Po 出了这篇详细介绍 Smart Compose 原理的博文，雷锋网 AI 科技评论将其内容编译如下。
Google I/O 2018 上，谷歌介绍了 Gmail 中的一项新特性，智能预测拼写功能：Smart Compose，该新特性利用机器学习，交互式地为正在写邮件的用户提供补全句子的预测建议，从而让用户更快地撰写邮件。Smart Compose 基于此前智能回复（Smart Reply）技术开发而来，Smart Compose 提供了全新的方式来帮助用户撰写邮件，无论用户是在回一封来件还是从草稿箱起草一封新邮件。
谷歌在开发 Smart Compose 的过程中，遭遇到了以下这些关键挑战：
找到对的模型
比如 ngram，neural bag-of-words（BoW）和 RNN language 这种典型的语言生成模型，它们是基于前缀词序列来预测下一个词的。然而，在一封邮件中，用户在当前邮件撰写会话中打下的单词会给模型一个信号，模型会利用该信号来预测下一个单词。为了结合更多用户想表达的上下文，谷歌的模型还会利用邮件主题和此前的邮件正文（假设用户正在回复一封刚刚收到的邮件）。
谷歌的方法是包含利用额外语境的一个方法，该方法是将问题转换成一个序列到序列（seq2seq）的机器翻译任务，其中源序列是邮件主题和上封邮件正文（假设存在上封邮件）的串联，用户正在写的邮件是目标序列。尽管该方法在预测质量上表现良好，但它的延迟要比谷歌严苛的延迟标准超出了好几个量级
为了提高预测质量，谷歌将一个 RNN-LM 神经网络与一个 BoW 模型结合起来，结合后的模型在速度上比 seq2seq 模型要快，且只轻微牺牲了预测质量。在该混合算法中，谷歌通过把词嵌套们平均分配在每个区域内，来对邮件主题和此前的邮件内容进行编码。随后谷歌将这些平均分配后的嵌套连接在一起，并在每次执行解码步骤时将它们提供给目标序列 RNN-LM，过程如下面的模型图解。
Smart Compose RNN-LM 模型架构。将邮件主题和此前邮件信息进行编码，采用的方法是将它们的词嵌套平均分配在每一个区域内。随后，平均后的嵌套会在每次执行解码步骤时提供给目标序列 RNN-LM。
加速模型训练和服务
当然，一旦选定了这种建模方法，谷歌就必须调整各种模型超参数和使用超过数十亿的样本来训练这些模型，所有的这些操作都相当费时。为了实现加速，谷歌使用了一个完整 TPUv2 Pod 来执行实验。在这情况下，谷歌能够在一天之内将一个模型训练至收敛状态。
在谷歌训练出速度上更快的混合模型之后，初始版本的 Smart Compose 在一个标准 CPU 上运行时，依旧存在几百毫秒的平均服务延迟，这与 Smart Compose 努力预测语句来帮用户节省时间的特点是不相符的。幸运的是，谷歌可在推断期间使用 TPU 来大大地加速用户体验，通过分流 TPU 之上的大部分计算，谷歌可以将平均延迟改良至几十毫秒，同时也能大大增加单一机器可处理的服务请求数量。
公平性和隐私
由于语言理解模型会反映人类的认知偏倚，这样会导致得到多余的词汇联想和句子完成建议，所以在机器学习内实现公平至关重要。Caliskan et al. 在他们近期的「Semantics derived automatically from language corpora contain human-like biases」论文中指出，模型的词联想深陷于自然语言数据的偏倚数据中，这为打造任何一个语言模型都带来了相当的挑战。在模型训练过程中，谷歌积极地寻找方法来持续降低潜在的偏倚。另外，由于 Smart Compose 是基于数十亿的短语和句子进行训练，这与废品邮件机器学习模型的训练方法一致，谷歌已经进行了广泛的测试来确保，模型只记忆多种用户都使用的常识语句，关于常识语句的调查结果源自这篇论文 the Secret Sharer: Measuring Unintended Neural Network Memorization & Extracting Secrets（）。
未来研究
谷歌将持续地研究改良语言生成模型的预测质量，为此谷歌会通过使用最先进的构架（如 Transformer，RNMT+等）和试用最新、最先进的训练技术来实现这一目标。一旦模型的实验结果满足了谷歌的严格延迟约束条件，谷歌就会把这些更加的先进模型部署到自家产品上去。另外，谷歌还在进行结合个人语言模型的研究，该模型的目的是给系统增加一个新特性，让它能够更加准确地模拟每个用户自己的写作风格。
via Google AI Blog，雷锋网 AI 科技评论编译。
原创文章，未经授权禁止转载。详情见 转载须知 。
本文地址： /article/9cb3fb9121733de98dac.html
公司注重新产品的开发与研究，并拥有一批经验丰富的技术人员，不断推陈出新，以高品质产品满足市场需求，产品远销欧美，东南亚，南非，澳大利亚等国家和地区。
卤蛋网为您提供云顶之弈相关攻略、资讯。
手护一生成都中医技能培训中心专业从事小儿推拿、中医技能培训、推拿培训、保健培训、艾灸培训、中医养生培训
www.ft12.com为您提供:,短网址程序,短网址服务,短网址转换,短网址API接口,短链接生成器,批量生成短链接,短网址生成,压缩所有网址包括图片、flash、mp3、rar等所有互联网地址,专业的网址缩短网站！。
武当山北游书院位于中国湖北省十堰市武当山风景区书院名称出道家著作《庄子--知北游》其前身是武当山道教协会武术研究院随着良好的口碑书院得以逐步发展和壮大2018年学校选新址在武当七十二峰之一的聚云峰分别扩建了低学龄段、中学龄段、高学龄段三所校区对不同学龄段的学生进行分阶教学，学校整体建筑采用传统的明清建筑风格以红墙、青瓦、雕梁画栋为主要特色古朴典雅，古色古香，“德才兼备，文武双修”
亚远景提供ASPICE认证,ASPICE评估,ASPICE培训,敏捷SPICE认证,敏捷SPICE培训,ISO26262认证咨询,ISO26262培训,ISO/SAE21434认证标准咨询,可提供ISO26262和ASPICE，敏捷SPICE体系集成和评估认证。
常州晨谷机械有限公司是一家销售BOSCH-REXROTH（博世-力士乐）的液压备件、力士乐气动备件、力士乐工控备件等产品。公司凭借着力士乐产品种类齐全、价格低、供货期快、售后服务完善等特点，已与内地各大力士乐分销商、生产配套厂；力士乐液压系统使用客户，建立了长期供货及合作关系。同时为了缩短供货期保障客户的贴身利益，我们还建立了BOSCH-REXROTH常用备件的库存，并派专人进行管理。
新开传奇网站是一个致力于提供婚庆服务的平台，我们为贵阳市民提供一站式婚礼策划、场地布置、婚纱摄影等服务。我们拥有丰富的婚庆经验和专业团队，为您打造梦想中的完美婚礼。选择我们，让您的结婚礼更加难忘、更具魅力！
B2B网络平台群发帖软件为中小企业提供网站自动发帖系统软件，B2B平台发帖工具将企业的产品在互联网上进行信息发帖营销推广，最大的挖掘互联网潜在客户。B2B全自动批量群发帖软件将您的企业产品广告通过网络群发布推广到上千家高权重B2B网站上。使产品信息发布到整个互联网,实现网络推广群发效果。
上海沃水机械技术有限公司主要以经营橡胶制品及密封产品为主（有O型圈、X型圈、D型圈、PTFE涂层O型圈及截面异型的橡胶圈和橡胶条，还有金属密封圈及金属密封条，油封，液压＆气动成套密封件，橡胶及金属的膨胀节，特殊的工业软管，蓄能系列产品，盘根和垫片），及工业颜料、涂料和染料。
无忧加速器（无忧IP）,支持SK5，HTTP，VPN等协议，API调用实现一机多ⅠP，服务器遍布全国200余省，市地区。随时可修改ip，切换指定地区地址。防止本地真实IP曝露。工作室搬砖神器
家可期是为公积金缴存人打造的信息对称的房产租售信息与服务平台，涵盖一手房、二手房、个人租房、长租公寓，并提供诸如房产评估、交易过户代办、公积金贷款查询等便民工具。
适合幼儿园竞技类游戏有哪些2022，幼儿园的小宝宝正是调皮捣蛋的阶段，为他们找到一款合适的游戏，让孩子收获快乐的同时学习知识，培养他们的逻辑思维能力和判断能力，寓教于乐就显得尤其重要啦，不过小编并没有找到适合幼儿园宝宝的竞技类手游哦，但是一些益智的手游倒是有很多，给大家分享一下吧，1、，压倒火柴人，压倒火柴人，是一款休闲益智类的手机...。
6月5日，高考在即，考生们磨拳搽掌，百度正式上线2019版高考信息服务平台，并首次以智能小程序的形式推出高考信息服务，用户通过百度APP搜索，高考加油，或语音搜索，高考，，就可进入，高考加油，智能小程序，获得备考、估分、志愿填报等方面帮助，这是百度首次以智能小程序的方式推出高考信息服务，小程序联合百度APP、知道、百科、文库、贴吧等1...。
今日在微博上有一条消息，一美女猎头为了挖到阿里P7员工，与其交往3个多月，其间上床2次，成功把其挖到深圳某初创公司后，果断甩了他，对于这种事情，同学们纷纷表示对这种没有职业操守的猎头表示鄙视，然后统统去私下打通是哪家的猎头，难道现在猎头的工作已经难到如此地步了吗?不是说目前是经济危机吗?按理来说很多人找不到工作才是，当然，也有可能是因...。
对于物联网是下一个、而且也是更大的风口，几乎没有人会持反对意见，而除了苹果、谷歌和微软这些当下的领导者之外，包括三星、华为、阿里巴巴等错过了智能手机的头班车的企业，也都努力赶在物联网大局既定前发力抢占地盘，其中，离我们最近的是华为，5月20号，华为在北京召开的华为网络大会上公开了，敏捷网络3.0，方案，该方案被称为，为物联网而生的网络...。
英特尔和高通，PC时代和移动互联网时代的两大芯片巨头，在人人高呼AI的时代，两家公司都在构建自家的AI芯片，但与英特尔全力向AI转型不同，高通还想在研发针对笔记本的骁龙850和骁龙1000处理器，高通打造WindowsARM系统专属处理器雷锋网消息，WinFuture近日称高通正在打造WindowsARM系统专属处理器骁龙850，报道...。
字幕组双语原文，深度学习未来发展的三种学习范式，混合学习，成分学习和简化学习英语原文，TheFutureofDeepLearningCanBeBrokenDownIntoThese3LearningParadigms翻译，雷锋字幕组，小哲，深度学习是一个很大的领域，其核心是一个神经网络的算法，神经网络的尺寸由数百万甚至数十亿个不断改变...。
发表在综合交流大区2019，2，320，20很多朋友都说，为了追剧把家里已经上灰的电视又搬了出来，然后发现电视屏幕太小，又偷偷换成了投影仪，我们一直说，对于小户型来说，客厅可以作为多功能空间使用，那么，电视和投影仪的第一个区别就很明显了，那新房到底是装电视还是投影仪好，电视，移动不方便，投影仪，直接把幕布收起来，超级方便，你要说投影仪...。
近十几年才逐渐发展起来的甜品店，以其新奇舒适的口感和慵懒闲适的用餐环境成为行业新宠，虽然的甜品店加盟市场已经经过十多年的发展壮大颇具规模，但是不可否认的是，如今甜品市场存在品牌缺失的弊端，而甜品店要做的就是瞅准时机钻甜品市场的，空子，，丰富甜品市场的选择，台湾甜品芋观园分析认为，甜品市场品牌缺失的现状不可能维持太久，因为竞争机制下，哪...。
所有的创业，都开始于梦想，而终结于数字你更需要，反励志，的创业故事年前以一篇，相亲估值，的文章收关，果然过年有人后台发消息，给我讲相亲经历，这位读者在一家仅次于BAT的公司做运营经理，女方问他有没有自己，出来做，的打算，他说自己的性格不适合创业，结果女方第二天给了回应，此人不够有追求，世道真的变了，难道现在的人都以为，IT知名企业出来...。
意大利缆车轿厢坠落致14死，这悲剧的一幕是怎么发生的，一、意大利缆车轿厢坠落致14死是什么情况，意大利当地发生了一起非常严重的悲剧，当地有一条缆车线路，平时是作为比较重要的交通工具连接一个小镇和一座山的山顶的，很多的人在平时都会乘坐这条缆车线路，但是有一天，缆车在运行的过程当中，却突然发生了轿厢坠落的事件，当时轿厢里边总共有15名乘客...。
湖南汨罗一河段有堤坝决堤，实拍满载石头卡车进入河中封堵决口7月2日，有网友发视频爆料称，湖南岳阳市汨罗市遭逢暴雨袭击后，罗江镇垉塘村一河流堤坝决口，一辆装满石头的卡车驶入河中阻流，视频颁布者称，，水流太急，填小物品立马就被冲走了，这是最有效最快的阻流方法，7月3日上午，罗江镇政府担任宣传的上班人员接受记者采访时示意，此事是真的，视频...。
重庆分类目录网站将2010年11月共350个网站收录信息按收录时间分类整理归档列表，可以方便网友浏览按年月查询，更好地享受精彩网站的魅力！
重庆分类目录网站将2010年11月共350个网站收录信息按收录时间分类整理归档列表，可以方便网友浏览按年月查询，更好地享受精彩网站的魅力！
上半年贵州资助困难群众参保支出12.85亿元,低保,医保,贵州,资助,医疗保险,参保支出
为什么你的内容没有播放量播放量很大效果很差内容引流的核心组合拳内容引流的核心技巧总结先来看几个我们操盘的案例吧上述的案例截图中左边的截图是我们做的一个传统的引流获客主要吸引都是想学习焊工技术和考焊工证的人群右边的截图呢则是我这几天指导社群里某个成员通过做来引流获客主要吸引的人群都是想要在网络上的粉丝也就是我们俗称的创业...
这辆车是05款的，轴距2700，外廓5196*1880*2030，轮胎650，16，排量2.540，最大功率46KW，驾驶室做工还算可以，就是噪音稍大一点，柴油车广泛现象，可以选装空调一汽红塔自在风货车230马力，前四后四新车价格?36~37万左右，我定的重汽的前四后四8米2的货箱都是35万多，还是290P马力的，然而是自卸的.9米多...。
在汽车市场上，夏利N5和威志V2两款车备受注目，它们不只销量高，而且在外观和内饰方面也具备好处，夏利N5和威志V2哪个更好哪个车型更值得购置，1.外观方面，夏利N5的全新设计使其出现出欧式格调与中国元素的融合，彰显出稳重凝练的外延，满足成熟稳重且器重适用价值的消费者的需求，例如，前格栅的，雕栏式，设计、晶钻一体式单凤眼前大灯、富裕张力...。
