Compose 神经网络可以帮你写 Gmail 谷歌 Smart 邮件了 (composition)
雷锋网 AI 科技评论按 ：在 Google I/O 2018 上，除了 Google 助手给餐馆打电话的场景赢得现场观众的喝彩外，在用户写邮件时可预测下一句的 Smart Compose 技术同样也引得众人欢呼。近期，谷歌大脑团队首席软件工程师 Yonghui Wu 在 Google AI Po 出了这篇详细介绍 Smart Compose 原理的博文，雷锋网 AI 科技评论将其内容编译如下。
Google I/O 2018 上，谷歌介绍了 Gmail 中的一项新特性，智能预测拼写功能：Smart Compose，该新特性利用机器学习，交互式地为正在写邮件的用户提供补全句子的预测建议，从而让用户更快地撰写邮件。Smart Compose 基于此前智能回复（Smart Reply）技术开发而来，Smart Compose 提供了全新的方式来帮助用户撰写邮件，无论用户是在回一封来件还是从草稿箱起草一封新邮件。
谷歌在开发 Smart Compose 的过程中，遭遇到了以下这些关键挑战：
找到对的模型
比如 ngram，neural bag-of-words（BoW）和 RNN language 这种典型的语言生成模型，它们是基于前缀词序列来预测下一个词的。然而，在一封邮件中，用户在当前邮件撰写会话中打下的单词会给模型一个信号，模型会利用该信号来预测下一个单词。为了结合更多用户想表达的上下文，谷歌的模型还会利用邮件主题和此前的邮件正文（假设用户正在回复一封刚刚收到的邮件）。
谷歌的方法是包含利用额外语境的一个方法，该方法是将问题转换成一个序列到序列（seq2seq）的机器翻译任务，其中源序列是邮件主题和上封邮件正文（假设存在上封邮件）的串联，用户正在写的邮件是目标序列。尽管该方法在预测质量上表现良好，但它的延迟要比谷歌严苛的延迟标准超出了好几个量级
为了提高预测质量，谷歌将一个 RNN-LM 神经网络与一个 BoW 模型结合起来，结合后的模型在速度上比 seq2seq 模型要快，且只轻微牺牲了预测质量。在该混合算法中，谷歌通过把词嵌套们平均分配在每个区域内，来对邮件主题和此前的邮件内容进行编码。随后谷歌将这些平均分配后的嵌套连接在一起，并在每次执行解码步骤时将它们提供给目标序列 RNN-LM，过程如下面的模型图解。
Smart Compose RNN-LM 模型架构。将邮件主题和此前邮件信息进行编码，采用的方法是将它们的词嵌套平均分配在每一个区域内。随后，平均后的嵌套会在每次执行解码步骤时提供给目标序列 RNN-LM。
加速模型训练和服务
当然，一旦选定了这种建模方法，谷歌就必须调整各种模型超参数和使用超过数十亿的样本来训练这些模型，所有的这些操作都相当费时。为了实现加速，谷歌使用了一个完整 TPUv2 Pod 来执行实验。在这情况下，谷歌能够在一天之内将一个模型训练至收敛状态。
在谷歌训练出速度上更快的混合模型之后，初始版本的 Smart Compose 在一个标准 cpu 上运行时，依旧存在几百毫秒的平均服务延迟，这与 Smart Compose 努力预测语句来帮用户节省时间的特点是不相符的。幸运的是，谷歌可在推断期间使用 TPU 来大大地加速用户体验，通过分流 TPU 之上的大部分计算，谷歌可以将平均延迟改良至几十毫秒，同时也能大大增加单一机器可处理的服务请求数量。
公平性和隐私
由于语言理解模型会反映人类的认知偏倚，这样会导致得到多余的词汇联想和句子完成建议，所以在机器学习内实现公平至关重要。Caliskan et al. 在他们近期的「Semantics derived automatically from language corpora contain human-like biases」论文中指出，模型的词联想深陷于自然语言数据的偏倚数据中，这为打造任何一个语言模型都带来了相当的挑战。在模型训练过程中，谷歌积极地寻找方法来持续降低潜在的偏倚。另外，由于 Smart Compose 是基于数十亿的短语和句子进行训练，这与废品邮件机器学习模型的训练方法一致，谷歌已经进行了广泛的测试来确保，模型只记忆多种用户都使用的常识语句，关于常识语句的调查结果源自这篇论文 The Secret Sharer: Measuring Unintended Neural Network Memorization & Extracting Secrets（）。
未来研究
谷歌将持续地研究改良语言生成模型的预测质量，为此谷歌会通过使用最先进的构架（如 Transformer，RNMT+等）和试用最新、最先进的训练技术来实现这一目标。一旦模型的实验结果满足了谷歌的严格延迟约束条件，谷歌就会把这些更加的先进模型部署到自家产品上去。另外，谷歌还在进行结合个人语言模型的研究，该模型的目的是给系统增加一个新特性，让它能够更加准确地模拟每个用户自己的写作风格。
via Google AI Blog，雷锋网 AI 科技评论编译。
原创文章，未经授权禁止转载。详情见 转载须知 。
本文地址： https://www.gpxz.com/article/9cb3fb9121733de98dac.html
腾讯网从2003年创立至今，已经成为集新闻信息，区域垂直生活服务、社会化媒体资讯和产品为一体的互联网媒体平台。腾讯网下设新闻、科技、财经、娱乐、体育、汽车、时尚等多个频道，充分满足用户对不同类型资讯的需求。同时专注不同领域内容，打造精品栏目，并顺应技术发展趋势，推出网络直播等创新形式，改变了用户获取资讯的方式和习惯。
【华图国家公务员考试网】提供2026国家公务员考试,2026国考公告、2026省考公告、国考报名时间/入口/职位表、2026省公务员考试、公务员笔试面试培训等公务员招考公告/大纲,成绩查询,笔试面试备考辅导资料,公考视频,历年试题及答案下载等公务员考试辅导培训机构。
明嘉靖四十三年，在北京城西南取“安定、安宁”之祥意，建右安门，以护城市的安康。建国初期，彭真市长亲临右安门外，规划始建北京第二传染病医院，其建筑规模与学科设置均为亚洲之首。1989年更名为北京佑安医院。首都医科大学附属北京佑安医院是一家以感染、传染及急、慢性相关性疾病群体为主要服务对象和重点学科，集预防、医疗、保健、康复为一体的大型综合性医学中心。
业务涉及冰箱、冷冻、空调设备及配件的批发和销售，高低温试验箱、冷库工程、中央空调工程的设计和安装。根据市场竞争的需求，更好的为西部地区广大用户服务业务涉及冰箱、冷冻、空调设备及配件的批发和销售，高低温试验箱、冷库工程、中央空调工程的设计和安装。根据市场竞争的需求，更好的为西部地区广大用户服务.
山东威克多阀门制造有限公司是一家主营西门子温度调节阀、西门子调节流量调节阀、西门子电动二通三通调节阀、温控阀、电动球阀、电动蝶阀、电动调节阀、蒸汽调节阀、西门子电动阀门执行器、电动调节流量调节阀等多种西门子调节阀的电动调节阀生产厂家。我们为您提供电动调节阀原理及作用的科普，电动调节阀型号规格齐全，西门子执行器型号齐全。电动调节阀厂家哪家好？欢迎致电我司咨询15864155248。
美容美发网提供2024年流行发型，包括男士发型，女士发型，长发短发的发型设计，有丰富的发型图片供你参考。
四川富泰盛安建设工程有限公司是一家从事建设工程施工,建设工程设计,建筑劳务分包等业务的公司，成立于2023年2月28日，公司坐落遂宁市蓬溪县赤城镇锦阳路164号（玉福苑安置房）12幢1楼5号。 公司主要经营建设工程施工、建设工程设计、建筑劳务分包、住宅室内装饰装修、工程管理服务、建筑材料销售、建筑用钢筋产品销售、农副产品销售、涂料销售（不含危险化学品）、五金产品批发、土石方工程施工等。
重庆市兆巍矿山机电制造有限公司专业从事煤矿安全技术研究、产品开发、生产和技术服务的股份制有限公司。公司成立于2000年，位于重庆市九龙坡区，厂区建筑面积10000㎡,其中生产车间约6000㎡,有包括TX68镗床、车床、磨床、铣床、摩擦焊机及C0
常州二建建设有限公司成立于1953年，是常州地区具有影响力的骨干施工企业。公司具有施工总承包壹级资质和机电设备安装专业承包壹级以及建筑装修装饰专业承包贰级、钢结构工程专业承包贰级、消防设施工程专业承包贰级、起重设备安装工程专业承包贰级等专业资质。
第一PPT模板网提供各类PPT模板免费下载，PPT背景图，PPT素材，PPT背景，免费PPT模板下载，PPT图表，精美PPT下载，PPT课件下载，PPT背景图片免费下载；
爱店网作为一家专注于电子商务行业的在线平台，我们致力于为您提供全面、及时、有价值的电商资讯和信息。
具有学习元素的手机游戏很适合给小朋友们下载尝试，在这些学习类手游里小朋友可学习到一些专业的知识，启智又耐玩的游戏机制也是学习版游戏的标配，那么有趣的学习版游戏下载哪个好，文章中介绍的五款专门学习的手机游戏内容都很丰富，特色鲜明的谜题设计足以开发孩子们的脑洞，1、，字母游戏，字母游戏是给小朋友开发的学习版英文类游戏，特殊的学习类玩法会让...。
2017年网咖生意不好做，相信是很多网咖业主的共识，尤其是在资金、管理和人才等方面都相对欠缺的个体网咖，就算是乘着吃鸡热潮的大势，更新设备、组织赛事也是不小的成本和挑战，在天津塘沽开网咖的老杨对此深有体会，老杨开网咖也有些年头了，算是当地行业内的，老人，，几年来一直单打独斗，但业绩一直不温不火，每月营业额在8万左右，去掉房租、人员工资...。
有相关的标准的，你去查查吧，不是你说不危险就不危险了，按照你的化工品种类、名称去查运输标准，如果没有，参考一下下面的管理条例一、从事危险化学品运输的基本要求1、根据，危险化学品安全管理条例，以下简称条例，规定，国家对危险化学品的运输实行资质认定制度，没有经过资质认定的单位不得运输危险化学品，通过公路运输危险化学品的托运人，只能委托具...。
此前并不热衷收购的英伟达近两年接连大手笔并购，先是2019年宣布以69亿美元收购Mellanox，本周日又宣布将以400亿美元收购Arm，英伟达创始人兼首席执行官黄仁勋去年底接受雷锋网等媒体采访时表示，，我们只会用比任何人都高的价格，收购最好的公司，在昨日的线上媒体采访中，黄仁勋说，收购Arm是‘一生仅有一次的机会，，双方的结合能...。
12月16日，腾讯健康发布新版，新冠疫苗接种点地图，，为21省市居民提供疫苗接种点查询服务，助力第二剂次加强免疫接种，同时，覆盖全国100个城市的发热门诊地图也同步发布，国务院联防联控机制日前提出现阶段可在第一剂次加强免疫接种基础上，在感染高风险人群、免疫力低下人群等群体中开展第二剂次加强免疫接种，为助力提高第二剂次疫苗接种覆盖面和接...。
腌制小米辣是一种传统的食品加工方法，可以使辣椒保存更长时间，同时增加风味，以下是一个基本的腌制新鲜小米辣的步骤，准备材料，首先，你需要准备足够的新鲜小米辣，选择成熟、颜色鲜艳、无病虫害的小米辣，此外，你还需要准备食盐、白醋或米醋、蒜瓣、姜片、八角、桂皮等香料，清洗小米辣，将小米辣放入大碗中，加入清水，轻轻搓洗去除表面的污垢和杂质，注意...。
发表在专业问答2024，10，3110，07展示机型信息，品牌型号，当贝X5SPro系统版本，当贝OS4.2当贝投影坏了可以找官方进行维修申请来进行维修，总共可以分为三步，下面为当贝投影坏了去哪修的详细步骤做具体说明，当贝投影坏了去哪修1.关注当贝公众号打开手机微信，搜索当贝投影公众号并关注；2.选择售后维修在公众号菜单栏选择当贝服务...。
说到面食产品，制作上有很多方法，种类也是非常丰富，也是家庭生活饭桌上经常能够见到的食物，对于北方的人们来说，面食更是一日三餐能够见到，早餐的包子、油饼，中午的馒头，晚上的面条，也是非常的平常可见，馅饼大家知道吗，其实也是跟包子类似的产品，在市场也是有着一定的名气，馅饼加盟选择青禾馅饼，前景无限，接下来就由小编来为各位简单的介绍一下吧，...。
据商务部官网网站信息，商务部生产促成司9月2日颁布，郑重申明，商务部及其下属机构从未颁布，对于以旧换新惠民款补贴发放的公证通知，，未组织，以旧换新—共筑中国梦，直播宣讲等优惠，未需要收取放开以旧换新补贴的公证费用，针对此状况，商务部曾经向公安机关报案，请广阔生产者防止受骗受骗，...。
去年买的培训课程，试听的时刻感觉讲的挺好的，正式培训课程发现教员讲话口音比拟重，基本听疑问，我就想退款，他们就不赞同，说我这边期间比拟长，都开局听课了不让退，我就听了几节课，确实不如它之前试讲教员的好，协商无果，我就不时放在哪，如今我想看还须要在付钱，之前购置也存在诱导，他们居然说先帮我付款我在......。
江铃宝典09款皮卡柴油车引擎参数，发起机型号，JX493ZQ5A；排量，2.8L；功率，68KW；扭矩，Nm，rpm，200，2000；转向，能源转向.轮胎，215，70R15.尺寸和重量，mm，5005*1690*1645.货厢尺寸，mm，1480*1470*415.车型规范性能，同色双曲率电动后视镜；奢侈货箱装璜杠；后保险杠...。
qq音乐下载免费-手机QQ音乐是现在主流的几个音乐软件之一，由腾讯官方出品，小编的手机音乐软件就是用的QQ音乐，感觉挺不错的，看个人喜好吧，像酷我、酷狗、网易都是不错的，您可以免费下载安卓手机QQ音乐。
早上浏览资讯在网上看到一个博主发因为影视网站被警察叔叔撂倒的的一个帖子，引起了磊哥的深思，因为现在很多小站长喜欢搞点影视站挂点广告整挣点小钱，觉得没啥，但是随着最近国家对于侵用版权的严打，很多问题没有那么简单了，因此那些手里有影视站的站长们还是早点关站为好，不要因为几百个IP，还没有挂广告，就被请去喝茶了，到时被安排就为时已晚了，附上...。
本周一，高通宣布同意向中国发改委支付60.88亿元，约合9.75亿美元，罚款，了结为期14个月的反垄断调查，这一罚款数额，创造了中国反垄断调查的历史之最，同时，高通在一份声明中还声称，高通还将降低在中国的专利使用费率，由于反垄断调查告一段落，高通股价迎来利好，在周一盘后交易时段，高通股价大幅上涨了2.98%，股价显示为69.11美元，...。
雷锋网消息，近日，国内知名的动作捕捉厂商诺亦腾，Noitom，完成C轮融资，领投方为VMSLegendInvestmentFundI，之前轮次的主要投资人以及信业基金进行了跟投，诺亦腾此前曾于2015年底获得超过2千万美元的B轮融资，由奥飞动漫领投，海通开元、君联资本跟投，估值超过2亿美元；A轮融资为百万美元，投资方君联资本，海通开源...。
生物信息学和医学，能碰撞出什么火花，余光创教授的科研实践，给出了这一问题的答案，作为南方医科大学基础医学院生物信息学系的主任和教授，余光创的关注点在于，生物医学、数学和计算机科学的交叉融合，这不算一条科研捷径，多学科的知识储备曾吓退一众学者，对于余光创来说，其中也有冒险的成分，他的学术之路起于华南农业大学的生物技术专业，到安徽医科大学...。
10月23日，真我GT7Pro官宣11月4日发布，并在同日晚上的，散装发布会，上公布了屏幕的详细信息，真我GT7Pro搭载的Eco²，苍穹屏，非常符合我们机佬对未来屏幕的想象，8TLTPO结果有单脉冲的类DC，而且还可能三星近代首块用类DC调光的手机OLED屏幕，也是首块用在直板手机的无偏光片OLED屏幕，三星自己的GalaxyS系列...。
