Compose 神经网络可以帮你写 Gmail 谷歌 Smart 邮件了 (composition)
雷锋网 AI 科技评论按 ：在 Google I/O 2018 上，除了 Google 助手给餐馆打电话的场景赢得现场观众的喝彩外，在用户写邮件时可预测下一句的 Smart Compose 技术同样也引得众人欢呼。近期，谷歌大脑团队首席软件工程师 Yonghui Wu 在 Google AI Po 出了这篇详细介绍 Smart Compose 原理的博文，雷锋网 AI 科技评论将其内容编译如下。
Google I/O 2018 上，谷歌介绍了 Gmail 中的一项新特性，智能预测拼写功能：Smart Compose，该新特性利用机器学习，交互式地为正在写邮件的用户提供补全句子的预测建议，从而让用户更快地撰写邮件。Smart Compose 基于此前智能回复（Smart Reply）技术开发而来，Smart Compose 提供了全新的方式来帮助用户撰写邮件，无论用户是在回一封来件还是从草稿箱起草一封新邮件。
谷歌在开发 Smart Compose 的过程中，遭遇到了以下这些关键挑战：
找到对的模型
比如 ngram，neural bag-of-words（BoW）和 RNN language 这种典型的语言生成模型，它们是基于前缀词序列来预测下一个词的。然而，在一封邮件中，用户在当前邮件撰写会话中打下的单词会给模型一个信号，模型会利用该信号来预测下一个单词。为了结合更多用户想表达的上下文，谷歌的模型还会利用邮件主题和此前的邮件正文（假设用户正在回复一封刚刚收到的邮件）。
谷歌的方法是包含利用额外语境的一个方法，该方法是将问题转换成一个序列到序列（seq2seq）的机器翻译任务，其中源序列是邮件主题和上封邮件正文（假设存在上封邮件）的串联，用户正在写的邮件是目标序列。尽管该方法在预测质量上表现良好，但它的延迟要比谷歌严苛的延迟标准超出了好几个量级
为了提高预测质量，谷歌将一个 RNN-LM 神经网络与一个 BoW 模型结合起来，结合后的模型在速度上比 seq2seq 模型要快，且只轻微牺牲了预测质量。在该混合算法中，谷歌通过把词嵌套们平均分配在每个区域内，来对邮件主题和此前的邮件内容进行编码。随后谷歌将这些平均分配后的嵌套连接在一起，并在每次执行解码步骤时将它们提供给目标序列 RNN-LM，过程如下面的模型图解。
Smart Compose RNN-LM 模型架构。将邮件主题和此前邮件信息进行编码，采用的方法是将它们的词嵌套平均分配在每一个区域内。随后，平均后的嵌套会在每次执行解码步骤时提供给目标序列 RNN-LM。
加速模型训练和服务
当然，一旦选定了这种建模方法，谷歌就必须调整各种模型超参数和使用超过数十亿的样本来训练这些模型，所有的这些操作都相当费时。为了实现加速，谷歌使用了一个完整 TPUv2 Pod 来执行实验。在这情况下，谷歌能够在一天之内将一个模型训练至收敛状态。
在谷歌训练出速度上更快的混合模型之后，初始版本的 Smart Compose 在一个标准 CPU 上运行时，依旧存在几百毫秒的平均服务延迟，这与 Smart Compose 努力预测语句来帮用户节省时间的特点是不相符的。幸运的是，谷歌可在推断期间使用 TPU 来大大地加速用户体验，通过分流 TPU 之上的大部分计算，谷歌可以将平均延迟改良至几十毫秒，同时也能大大增加单一机器可处理的服务请求数量。
公平性和隐私
由于语言理解模型会反映人类的认知偏倚，这样会导致得到多余的词汇联想和句子完成建议，所以在机器学习内实现公平至关重要。Caliskan et al. 在他们近期的「Semantics derived automatically from language corpora contain human-like biases」论文中指出，模型的词联想深陷于自然语言数据的偏倚数据中，这为打造任何一个语言模型都带来了相当的挑战。在模型训练过程中，谷歌积极地寻找方法来持续降低潜在的偏倚。另外，由于 Smart Compose 是基于数十亿的短语和句子进行训练，这与废品邮件机器学习模型的训练方法一致，谷歌已经进行了广泛的测试来确保，模型只记忆多种用户都使用的常识语句，关于常识语句的调查结果源自这篇论文 The Secret Sharer: Measuring Unintended Neural Network Memorization & Extracting Secrets（）。
未来研究
谷歌将持续地研究改良语言生成模型的预测质量，为此谷歌会通过使用最先进的构架（如 Transformer，RNMT+等）和试用最新、最先进的训练技术来实现这一目标。一旦模型的实验结果满足了谷歌的严格延迟约束条件，谷歌就会把这些更加的先进模型部署到自家产品上去。另外，谷歌还在进行结合个人语言模型的研究，该模型的目的是给系统增加一个新特性，让它能够更加准确地模拟每个用户自己的写作风格。
via Google AI Blog，雷锋网 AI 科技评论编译。
原创文章，未经授权禁止转载。详情见 转载须知 。
本文地址： https://www.gpxz.com/article/9cb3fb9121733de98dac.html
金投网是专业的金融投资服务平台，全方位提供金融市场行情及行业资讯，包括国际国内黄金、金价、黄金投资、黄金交易、黄金价格行情、黄金现价实时行情等内容，聚力为广大投资者提供全面的信息服务。
联众商务网[www.yiehua.cn]亿商网是免费的B2B发布平台,提供seo建站，seo优化服务,亿华联众®旗下网站!
象过河软件方便、快捷，是一款专业的出库单软件，也被称为送货单软件或销售单软件，以“让每一个企业用好软件管理”为使命，功能全面，性价比高，为企业提高全面信息化管理解决方案，欢迎您的咨询。
南京多丽洋生物技术有限公司
[江苏东奥电梯]专业提供电梯维修|保养，电梯更新|改造，电梯拆除，小型家用电梯定制化服务。B级安装资质，星级维保单位，拥有十几年的服务经验和优良的安装团队。
本站起名网(www.cadjc.cn)，主要为大家整理各类名字，宝宝名字，女宝宝名字，男宝宝名字等内容！
飞航旅游网提供1000余家酒店的优惠预订、特价机票查询和预订、景点门票、旅游度假、深港澳船票、商务会议、港澳游等全方位差旅服务。选择飞航旅游，可信、安全、实惠。0755-83787777
决策者智库致力于创建并运营卓越的行业（“航空动力与燃气轮机”、“海上能源全产业链”）整合平台，将智库的深度研究、媒体的信息传播力以及产业会展的互动体验无缝融合，形成独一无二的“决策者智库+媒体+协会+会展”一体化模式。
上海精荟科学仪器有限公司成立于2015年，是一家专业的实验室仪器设备销售公司。公司为日本Hitachi公司、韩国SEC公司、韩国AMTEK公司、德国StefanMayer公司的签约代理商；同时与美国Thermofisher公司、美国AMETEK公司等多家国外知名仪器公司有着良好的合作关系，负责仪器设备的销售和服务。公司业务涉及教育、科研、检测、工业、医疗健康、农业等多个领域。 上海精荟科学仪器有限公司的核心团队有着多年的仪器行业销售和服务经验，在仪器销售的同时，还能为客户提供专业的技术咨询和应用指导。 提供先进设备和技术，提供及时周到的服务，是精荟人一贯的目标和追求。
美国末日2游戏专题;提供美国末日2中文版下载,美国末日2攻略大全,美国末日2汉化补丁,美国末日2视频解说,攻略视频,修改器,汉化下载,完美存档,MOD,配置,教学,截图,壁纸等资料。更多《美国末日2》相关内容尽在游侠网。
上海弗雷西阀门有限公司(www.shflxfm.com.cn)主营贴板式电磁阀,不锈钢气动放料阀,气动上展式放料阀,弗雷西秉承FLOWX的设计服务理念,在大中华区已经形成执行器,回信器,球阀,蝶阀,闸阀,止回阀等十几个系类产品,并通过ISO,CE,GB等产品质量标准体系认证
上海柳楚柳网络科技有限公司
2018年11月9日，腾讯滨海大厦总部内正在举行20周年司庆活动，在腾讯总裁办成员与员工的Linktime交流环节中，腾讯公司董事会主席兼CEO马化腾、总裁刘炽平、前CTO张志东等人接受了一场特别的提问，由于2018年腾讯突然面临，没有梦想，的质疑，因此现场有人问到，如何评价过去一年的行业发展和公司的表现?在马化腾提到腾讯面向产业互联...。
雷锋网消息，专注终端人工智能解决方案的AI初创公司耐能，Kneron，今日宣布，完成由李嘉诚旗下维港投资领投的1800万美元A1轮融资，维港投资一直参与全球科技项目的早期投资，投资过很多明星项目，如Facebook、Skype、Siri、BitPay、Spotify、Waze、Summly等，耐能于2015年在美国圣地亚哥成立，核心技...。
四年的时间，足以改变一个行业的格局，四年前，不会有人想到，新能源的渗透率会在2024年4月上半月突破50%，为燃油车唱起了挽歌，四年前，不会有人想到，雷军会官宣造车并且经过3年多的筹备、上市的28天时间里，锁单超过7万5千辆，在今年的展馆外墙上贴上大大的海报，四年前，高合、威马、天际、观致这些造车当红，炸子鸡，还站在聚光灯下，但如今却...。
7月8日下午，中国计算机学会，CCF，主办，雷锋网与香港中文大学，深圳，承办的第二届CCF，GAIR2017全球人工智能与机器人峰会继续在深召开，在AI，创投专场上，在真格基金董事总经理顾旻曼的主持下，光速中国基金创始合伙人韩彦、高榕资本创始合伙人岳斌、博将资本管理合伙人徐立新、经纬创投合伙人王华东、联想之星投资副总裁高天垚一起围绕主...。
最新方法怎么看电视台，只需要在电视上装一个当贝市场就可以轻松解决，1、下载当贝市场，http，www.dangbei.com，安装包并拷贝到U盘，2、打开东芝电视，按下遥控器的设置键，打开设置界面，点击，更多设置，3、在设置界面找到，通用，选择，商场模式，，把商场模式改为，开启，状态，4、成功开启以后，把U盘接到电视的USB接口...。
在谷歌已经工作了一年多了，怎么我感觉什么都没干呢?，，是时候来说点什么记录一下吧，也稍微带点对之前老东家腾讯的比较，因为时间过去好几年了，记忆慢慢开始模糊起来，早点写以免日后能想起来的点越来越少，工作环境谷歌MountainView总部的园区超级大，比很多大学园区还大，一栋栋楼排铺开来，吃个饭经常得楼之间到处乱转，还有个玩笑说，要是谷...。
外地期间13日晚间，以色列总理内塔尼亚胡举办资讯颁布会，在谈到加沙地带开战和人员替换协定时，内塔尼亚胡示意，关于美国总统拜登此前发表的协定草案，他没有作出任何修正，也不会阻碍达成协定，然而哈马斯对协定框架提出29项修正需要，对此他向谈判团队和美国方面明白示意，不接受哈马斯关系需要，内塔尼亚胡示意，只要以色列成功一切指标，在加沙地带的军...。
1形状不错，外观大气，空能源也不错外挂美丽，空间真的很大2能源很足，这车设计的思考很周全，出门过节全家人亲戚都做得下3后排出风口后排杯架也很不错4性价比高，空间较宽，底盘高，经过性好，和同性能；景逸X5共有5款车型，售价万元景逸X5的形状比拟硬朗，合乎其SUV的定位除16L奢侈型的ESP是可选性能之外，其余4款车型均标配ESP景逸X5...。
近日，中金一女员工的离世引发了人们对券商员工薪资的探讨，从上市券商年报来看，降薪已成行业理想，人均百万年薪...概略在券商行业达到年薪100万一般是什么职位啊年龄一般多少岁啊在券商行业达到年薪100万一般是什么职位啊年龄一般多少岁啊中高层吧现在企业年轻化优秀者三十多岁吧主要是自己优秀，资源，人脉=薪水电商行业的bd经理一般年薪多少不一...。
YY语音电脑版是由多玩推出的一款流行的团队语音社交软件，深受广大游戏玩家喜爱，全新版本功能强大、音质清晰、安全稳定、不占资源
优启通(EasyU，简称EU)是IT天空精心打造的一款U盘启动盘制作工具，它具有简约、易操作等特点，使用起来十分人性化。以U盘作为使用载体，空间更为充分，携带更为方便。
NVCleanstall(N卡驱动自定义安装),NVIDIA显卡驱动自定义安装工具―NVCleanstall中文汉化版，自定义安装N卡驱动中任意组件，精简优化安装过程去广告，NVCleanstall界面已完全汉化！解压即用,您可以免费下载。
最近当贝在春季新品发布会上发布了新款激光投影仪当贝X5，我注意到当贝X5采用了全新的MT9679芯片，这是这款芯片首次在投影仪产品上发布，在性能方面更强，如果说功能、接口、系统等决定着使用感受，那么芯片就是投影仪的最强大脑，配合显示尺寸，决定了投影仪画质的上限，目前市面上大多数中高端投影都会采用MT9669芯片，这款芯片同样也作为万元...。
小米公司自创办以来，保持了令世界惊奇的添加速度，小米公司在2012年全年售脱手机719万台，2013年售脱手机1870万台，2014年售脱手机6112万台，2015年售脱手机跨越7000万台，2017年Q2季度出货量2316万台，俗话说，常在河干走，哪有不湿鞋，小米公司不免会受到同业与闲人的诬蔑和欺侮，早在2014年的时辰，微博某网友...。
1月最新发布的工业和信息化发展最新数据显示，2023年规模以上工业增加值同比增长4.6%，重点行业生产整体向好，41个工业大类行业中有28个保持增长，工业是综合国力的根基、经济发展的，压舱石，党的十八大以来，新型工业化建设的扎实推进，为工业经济整体向好提供了强有力的支撑，作为新一轮科技和产业变革的重要驱动力，人工智能技术与传统制造业...。
2022年4月27日，明略科技宣布任命郝杰为首席技术官，CTO，，全面主持研发部门的管理工作，负责制定技术方向与路线，搭建研发体系与流程，输出高质量的产品研发能力，保持技术领先性，构建技术壁垒，郝杰于2001年毕业于清华大学电子工程系，拥有信号与信息处理专业的学士、硕士及博士学位，IEEESeniorMember，是国际顶级AI学术大...。
一年一度的计算机领域的国际学术大会CHI2022已经在美国新奥尔良成功召开，作为开启线下参会的代表，其带来的，沉浸式，体验广受好评，但会议完毕之后，据推特，实名认证，的科学家们在线晒新冠核酸检测，很多人得到了新冠阳性结果☹，是的，参加完一场学术会议，某些人变阳了，例如这位哈佛大学计算机助理教授表示，多年未进行面对面的科学交流，在CHI...。
