回顾Google神经网络机器翻译上线历程 (回顾工作历程经典句子)
雷锋网按：本文作者陈村，剑桥大学自然语言处理（NLP）组， 现为机器学习语义分析工程师。
Google Translate作为久负盛名的机器翻译产品，推出10年以来，支持103种语言，一直作为业界的标杆。
而在前不久，Google官方对翻译进行一次脱胎换骨的升级——将全产品线的翻译算法换成了基于神经网络的机器翻译系统（Nueural Machine Translation， )。从Google官方发表的博文[1]和技术报告[2]中，我们有机会一窥究竟，这个全新的系统到底有什么神奇的地方？笔者借这篇文章，帮大家梳理一下机器翻译的发展历程，以及Google这次新系统的一些亮点。
机器翻译，即把某一种源语言（比如英文）翻译到最恰当的目标语言（比如中文）。
还在几年前，机器翻译界的主流方法都是Phrased-Based Machine Translation (PBMT)，Google翻译使用的也是基于这个框架的算法。所谓Phrased-based，即翻译的最小单位由任意连续的词（Word）组合成为的词组（Phrase），比如下图中的“北风呼啸”。
PBMT是怎么把一句英文翻译成中文的呢？
Statistical machine translation. ACM Computing Surveys, 40(3), 1–49.
传统的PBMT的方法，一直被称为NLP（Natural Language Processing，自然语言处理）领域的终极任务之一。 因为整个翻译过程中，需要依次调用其他各种更底层的NLP算法，比如中文分词、词性标注、句法结构等等，最终才能生成正确的翻译。 这样像流水线一样的翻译方法，一环套一环，中间任意一个环节有了错误，这样的错误会一直传播下去（error propagation），导致最终的结果出错。
因此，即使单个系统准确率可以高达95%，但是整个翻译流程走下来，最终累积的错误可能就不可接受了。
深度学习这几年火了之后，机器翻译一直是深度学习在NLP领域里成果最为卓越的方向之一。 深度神经网络提倡的是end-to-end learning ，即跳过中间各种子NLP步骤，用深层的网络结构去直接学习拟合源语言到目标语言的概率。
2014年，Cho et. al [3]和Sutskever et al. [4] 提出了Encoder-Decoder架构的神经网络机器翻译系统。如下图所示：
NMT这样的过程直接学习源语言到目标语言，省去了训练一大堆复杂NLP子系统的依赖，依靠大量的训练数据（平行语聊库，比如同一本书的中文和英文版本），直接让深度神经网络去学习拟合。熟悉深度学习的朋友可能会意识到，这样的方法一个极大的优势就是 省去了很多人工特征选择和调参的步骤 。听说前两年，有个做神经网络图像处理的教授，在不太了解NLP的基础上，硬生生地搭建了一套可以匹敌传统PBMT的机器翻译系统，后者可是十几年来多少奋战在第一线的NLP同志一砖一瓦垒起来的啊。而且，相比于传统PBMT一个词组一个词组的独立翻译，NMT这样end-to-end翻译出来的语言更加自然流畅。
2015年，Yoshua Bengio团队进一步，加入了Attention的概念。稍微区别于上面描述的Encoder-Decoder方法，基于Attention的Decoder逻辑在从隐层h中读取信息输出的时候，会根据现在正在翻译的是哪个词，自动调整对隐层的读入权重。即翻译每个词的时候，会更加有侧重点，这样也模拟了传统翻译中词组对词组的对应翻译的过程。Attention模块其实也就是一个小型神经网络，嵌入在Encoder-decoder之间的，跟着整个神经网络训练的时候一起优化训练出来的。
Bengio团队的这个工作也奠定了后序很多NMT商业系统的基础，也包括Google这次发布的GNMT。
Google这次在算法上、尤其是工程上对学术界的NMT方法提出了多项改进，才促成了这次Google NMT系统的上线。
学术上的NMT虽然取得了丰硕的成果，但在实际的产品中NMT的效果却比不上PBMT。究其原因Google在技术报告[2]中总结了三点：
1、训练和预测的速度太慢。
要获得更好的模拟效果，就要用更深层的神经网络来拟合参数（下面会提到，GNMT用了8层的Stack LSTM来做Encoder）。这么复杂的神经网络在预测的时候就要耗费大量的资源，远远慢于PBMT的系统。并且在训练的时候拟合这么大规模的预料，可能要很久很久才能训练一次，这样不利于快速迭代改进调整模型参数。
2、NMT在处理不常见的词语的时候比较薄弱。
比如一些数字、或者专有名词。在传统PBMT系统中，可以简单地把这些词原封不动的copy到翻译句子中；但是在NMT中，这样的操作就无法有效的进行。
3、有时候NMT无法对输入源句子的所有部分进行翻译，这样会造成很奇怪的结果。
Google NMT的主要神经网络架构图如下：
仔细看，其实还是带Attenion的Encoder-Decoder逻辑。Encoder是由8层LSTM组成，最下面两层是一个 双向LSTM ，可以从前到后以及从后往前理解一遍输入的源语言输入。中间的蓝色模块就是 Attention模块 ，负责对Encoder的逻辑进行加权平均输出到Decoder层。 Decoder模块 也是一个8层的LSTM，最终连接到Softmax层，一个词一个词输出最终的目标语言词语的概率分布。
算法上，论文中还提到了一些创新点。包括引入Wordpiece来对单词进行更细粒度的建模，来解决上面提到的不常见词语的问题；以及在Decoding结束之后，搜索最佳输出序列的时候，引入coverage penalty的概念，来鼓励Decoder输出更加完整的翻译句子，以解决有时候NMT有时候无法完整的翻译整句的情况。
工程上，报告里面着重谈到了几个 性能优化 的重点：
8层的LSTM堆叠起来，大大增加了神经网络的表达能力，在海量的数据下可以获得更好的模型效果。不过这样的堆叠会直接导致模型太庞大不可训练，在梯度反向传播的时候，很容易出现梯度弥散或梯度爆炸的问题。过去的研究证明[5]，Residual Connection的方式，直接去学习残差可能会带来更好的效果，避免了深度网络中反向传播中出现的梯度反向传播可能会发生的问题。在上面的Google NMT架构图中，从倒数第三层开始都会引入Residual Connection。
与此同时，在工程上Google也进行了非常多的优化，来减少训练和实时翻译时候的延迟问题。比如训练数据的时候，数据会分成n等份，交给不同的GPU去异步训练，然后再汇总到统一的参数服务器；同时，Encoder和Decoder的不同层的LSTM会在不同的GPU上运行，因为更上一层的LSTM不必等到下一层的神经网络完全计算完毕再开始工作；即使对于最后的Softmax输出层，如果最后输出词的维度太大，也会划分到不同的GPU上并行处理。可谓不放过丝毫并行的机会。
底层基础计算平台的支持。 Google NMT采用了自家的Tensorflow深度学习框架，并运行在Google专门为深度学习打造的TPU（Tensor Processing Unit）上，当年的AlphaGo也是由TPU提供支持。在对于模型参数的计算上，也大量应用了Quantized计算的技术：
从软件框架到定制硬件，相互配合，追求最极致的性能。在这篇报告里，有着长长的作者列表，最后赫然列着Google工程架构大神Jeffrey Dean的名字，他是当年一手创造了Map Reduce、Big Table等产品的Google奠基者之一。
Google这次的论文，基本框架仍然是带Attention模块的Encoder-Decoder。而且国内厂商，比如百度和搜狗，也发布了类似的神经网络机器翻译系统。百度早在去年，就发布“工业界第一款NMT系统”。不过，Google毕竟是机器翻译界的标杆，这次披露的论文也揭示了很多他们为了大规模商业化做出的努力，因此在业界引起了不小的震动。
注： [1] A Neural Network for Machine Translation, at Production Scale
[2]Wu, Y., Schuster, M., Chen, Z., Le, Q. V., Norouzi, M., Macherey, W., et al. (2016, September 26). Google's Neural Machine Translation System: Bridging the Gap between Human and Machine Translation.
[3]Cho, K., van Merrienboer, B., Gulcehre, C., Bougares, F., Schwenk, H., and Bengio, Y. (2014a). Learning phrase representations Using RNN encoder-decoder for statistical machine translation. In Proceedings of the Empiricial Methods in Natural Language Processing (EMNLP 2014).
[4]Sutskever, I., Vinyals, O., and Le, Q. (2014). Sequence to sequence learning with neural networks. In Advances in Neural Information Processing Systems (NIPS 2014).
[5]He, K., Zhang, X., Ren, S., & Sun, J. (1512). Deep residual learning for image recognition. arXiv preprint (2015).
原创文章，未经授权禁止转载。详情见 转载须知 。
本文地址： https://www.gpxz.com/article/8fe8e737ae4aba12d3f5.html
春兰除湿机ichunlan.com,3kg/h和6kg/h两类产品,普通型CF3D/A和CF6/C, 低温型CFZ3BD和CFZ6B/E,常年销售各种家用型抽湿器和工业型去湿器,春兰工业除湿器厂家,上海春兰除湿机CF3D/A,江苏春兰除湿机CFZ3BD,春兰除湿机CF6/C价格,春兰除湿机CFZ6B/E报价,电话:021-54296128
雅韩视|Airhans|电动牙刷|吸奶器|无线充电|医疗设备|MCU开发|单片机开发|蓝牙2.4G|加热设备|加湿器|PLCC控制器|成人用品电路设计|消费类电子PCBA|
通过智行车，查看出行线路和同行的人，和当前位置或指定位置的周边用户交流各种需求和话题，出行时也可和沿途用户交流。收到消息自动语音播放，随时查看好友位置。
七七家电维修为您提供最迅速最专业的技师到府维修。我们的服务包括空调维修、冰箱维修、洗衣机维修、壁挂炉、燃气灶维修、热水器维修、太阳能维修、油烟机维修、集成灶维修等各种家电维修。无论您的家电遇到什么问题，我们都能够迅速解决，让您的生活更加便利。
武汉佳德沃博格风动技术有限公司成立于2002年，在2006年成为Wittig系统工程产品的销售机构，是德国Wittig系统工程在中国境内唯一办事机构，负责中国境内Wittig风动系列产品的技术支持、销售推广、售后服务及相关产品的市场开拓及行业应用。 德国Wittig系统工程是世界上最大的生产风机、压缩机和真空泵的专业风动设备制造商，Wittig风动系列产品早在上世纪70年代已经服务于中国，并为当时具有世界领先水平的武汉钢铁集团（现与宝钢集团合并为世界五百强企业-中国宝武集团）一米七轧机生产线提供了整套的风动设备。而武汉佳德沃博格风动技术有限公司自成立以来，仍在持续不断的为武汉钢铁集团生产改造项目提供完备的风动设备及专业技术支持。 Wittig产品线众多，结合中国工业技术的发展特点，工程及移动类产品的应用范围十分广泛，如离心风机、罗茨风机、旋转叶片气体压缩机、旋转叶片真空泵等产品，可大量应用于通风排风、空气供应、空气压缩、气体压缩、气体传输、真空供应等工程及移动车载领域。同时，我们十分擅长于针对不同的工艺、行业进行系统化工程方案定制，能持久的为客户提供更为科学、合理的专业应用支持。 公司自成立以来一贯致力于企业和员工的共同发展，并始终以人才培养作为企业发展的根本基石。我们始终秉承：工作时刻充满激情，愿与公司一起成长；最好成绩努力创造，公司发展之路更广；明确自己肩上责任，不畏困难勇敢前进；愿为客户无私奉献，只求赢得更好口碑。 时至今日，通过团队不懈的努力，我们已将先进的技术广泛应用于冶金、电力、纺织、气体运输和分离、化工、造纸、玻璃制造、环保水处理等行业，在未来的发展中，我们已把视角延伸至全球化合作的海油、石油等可持续发展的能源行业，通过在专业领域的不断求实与创新，致力于成为真空及压力应用的专家，以至诚的服务和奉献精神铸成一个新的质量定义，并以此奉献给我们的客户。
爱漂洋跨境导航是一个推荐优质跨境电商软件和服务的导航平台，基于独立站、平台、卖家、服务商的不同角色，构建跨境电商生态的服务导航，我们的使命是让跨境卖家出海变得更加便捷，以卖家的需求为中心，提供实用的跨境资源对接、活动、资讯、选品、工具、电商平台、跨境支付、收款平台、物流及运营经验，集合跨境电商出海所需的一切资源门户网站。
佳怡物流成立于1999年，总部位于山东济南，是国家5A级物流企业、中国民营物流企50强、改革开放40年中国物流杰出企业，专注于提供以供应链物流为核心的一站式供应链解决方案。
CCHHardwareismanufacturingandexportingfurniturehardwareandkitchenfittings,suchastableleg,drawerslide,hinge,handle，grommetetc.product.
天气百科
ShopNC是国内领先的商城系统提供商，为企业提供java商城系统、php商城系统、多用户商城系统、b2b2c商城系统、b2c单用户商城系统及微信商城，支持B2B2C、B2C、O2O、分销、直播等多种商业模式，庙观服务,庙观系统,庙观,点灯,祈福,上表,法事活动,法物流通,结缘,宗教线上系统,随缘乐助,寺庙系统开发,寺庙管理系统
全国商务人才职业评价网
烟台汇恒包装有限公司
小编在这里收集了几款刺激的坦克作战游戏，接下来分享给大家，那么2024坦克大作战游戏分享有哪些，点击进入游戏上班摸鱼，打发无聊的时光，尽情扮演指挥官的角色，指挥坦克开启激烈的轰炸对战，融入到热血的战场当中，放松自身的压力，收获快乐的游戏时光，1、，坦克世界闪击战，游戏当中以坦克对战为主要玩法，让玩家深入战场，体验坦克大战的畅爽感，上百...。
网上有很多比较受欢迎的mmo手游，那么2023好玩的mmo手游大全有哪些，在游戏中有着充满幻想的世界还能培养喜欢的英雄作战，可以体验多种新鲜的玩法，打发无聊的碎片时光，在游戏中和朋友一起激战，下面就是今天小编分享给大家好玩的mmo手游推荐，1、，托拉姆物语，在这个精美的二次元世界里，有着不同性格的人物设定，玩家可以自由的进行扮演，还有...。
有很多小伙伴对凉屋出品的游戏十分感兴趣，觉得凉屋制作的游戏画面精美，玩法独特，小编今天就给大家分享几款凉屋游戏官网上的游戏吧，这几款游戏都是目前在凉屋官网上最受玩家欢迎的手游，除此之外，每一款游戏都有着自己独特的魅力，能让每一个玩家在游戏里感受到凉屋对制作游戏满满的诚意，并为之沸腾，毕竟，有谁能不爱阿凉呢，喜欢的小伙伴不要错过了，赶紧...。
当常州队三连败后，网友连夜把城市名从“常州”精简到“吊州”再到“丨州”;当徐州和宿迁的赛前海报被P成“刘邦项羽穿越两千年再战”;当南通球迷高呼“我以为在座只是成绩不行”——江苏大地正上演着一场名为“苏超”的全民狂欢。
今年百度安全和世界顶级黑客JeffMoss成功续约，准备开启DEFCONChina1.0版，最大的爆料之一是，，罗宾，要来站台，全世界罗宾那么多，我不知道我说的是哪个，一年前，百度安全总经理马杰把世界著名黑客大会DEFCON引进中国时，还有点忐忑，这个黑客大会久负盛名，已经20多年的历史，百度安全操办这种类型和规模的大会，应该说是第...。
泰捷盒子安装当贝市场教程2、把泰捷盒子接到电视上以后，在，精选，版块里找到，应用商店，3、打开，应用商店，以后，在，系统工具，里找到，沙发助手，，点击下载，安装到盒子上，4、这时把U盘接到盒子的USB接口上，启动沙发助手，在主页找到，文件管理，5、在U盘目录下找到，安装包，选项，点击进入，6、在安装包文件夹中找到，乐视专版，apk文件...。
据部分站长爆料，百度大规模删低质量网站的百度资源站长平台权限，很多网站都被删除了百度站长资源平台后台权限，以前在百度后台添加的网站大量被删除！这里面包含低质量的，甚至也有高质量的网站都被删除了，因为在前段时间百度搜索发了，百度搜索违规低质页面问题说明，，这份说明里提到，一些图片失效、按钮失效、资源空短、死链的、资源与内容不符的都会被列...。
汤唯，常跟章子怡高圆圆交换育儿经了解全职妈妈网易星捕快1月20日报道采访汤唯前，对她的印象是电影中的文艺女神，接触后发现，其实她像邻家小姐姐一样亲切、可恶，第一次性出演时装剧，大明风华，，播出后观众关于她的时装荧屏首秀议论纷繁，从服装外型到人设争议，都不乏一些尖利苛责，但汤唯却心态温和地照单全收一切评估，，谢谢每一位观众对我的关注，对...。
飞驰s350l经常使用的是一辆低功率版3.0升涡轮增压发起机，飞驰s350l是飞驰旗下的一辆大型汽车，这一款车的长宽高区分是5259毫米，mm，，1899毫米，mm，，1497毫米，mm，，轴距为3165毫米，mm，飞驰s350l是一辆四门五座三厢汽车，飞驰s350l的低功率版3.0升涡轮增压发起机最大功率是220kw，最大功率转速...。
知乎电脑版是一款让你在这分享更大世界的软件。在这里，有着提供最高质量讨论各种生活问题，互联网问题，还有各种专业的知识等着你呢。
使命召唤19/COD19将于10月28日正式上线，10月20日开启官方预装通道。在PS等平台预购《使命召唤19》的玩家均可参与。预装后，他们可以在10月20日提前开始玩剧情战斗模式。使命召唤19是使命...
特斯拉车主被宰后发表联合声明：降价20万让人痛心，要求给予合理赔偿,电动车,自动驾驶,电动汽车,汽车行业,model,s,特斯拉(公司),特斯拉价格
9月19日消息，IDC咨询发布，中国可穿戴设备市场季度跟踪报告，显示，2023年第二季度中国可穿戴设备市场出货量为3，350万台，同比增长17.3%，是自2022年以来季度最大规模出货，报告要点如下，智能手表Q2出货量942万台，同比增长11.5%，其中成人智能手表465万台，同比增长10.4%；儿童智能手表出货477万台，同比增长1...。
现在因为电商的冲击，所以好多的实体店都面临倒闭的危机，但是民以食为天，所以餐饮行业不但没有受到冲击，反而生意是越来越不错了，所以现在越来越多的人发现了这样的商机和项目，于是纷纷的想要加盟，所以今天小编就为你介绍一下餐饮创业怎么样这个问题，希望可以对你有所帮助，首先小编就要针对餐饮创业怎么样这一问题为你进行一下解答，那么首先小编想说的是...。
3月，正是安防厂商们洽谈合作，共商战略的好时节，那厢，海康宇视刚在钱塘湖畔宣讲完公司策略和合作伙伴计划；这边，3月末4月初，东方网力的刘光已和川投信产谈好了战略入股事宜——川投信产，将取代刘光，成为东方网力实际控制人，3月26日、4月4日，东方网力先后发布公告，就引入战略股东事宜进行说明，4月4日，东方网力发布关于公司股东签署，股份转...。
天时，地利，人和，从三甲医院到500强跨国公司，再到医疗AI创业公司CEO，乔昕用这六个字概括了自己职业生涯的两次重大转折，2017年初，深睿博联科技有限责任公司，以下简称，深睿医疗，成立，乔昕出任CEO，作为医疗AI赛道上的竞争者之一，深睿医疗颇有些姗姗来迟的意味，友商们大都于2015和2016年先后成立，到深睿医疗入局时，市场上...。
发表在当贝投影仪2024，7，2916，47当贝X5S和爱普生5750是价格接近的投影仪，两款投影仪在外观和性能配置方面差别也不小，具体当贝X5S和爱普生5750有什么区别呢，下面就通过全方面进行实测对比分析，看看当贝X5S和爱普生5750哪款好用，哪款投影仪更值得入手，01，当贝X5S和爱普生5750外观对比当贝X5S延续了X系列的...。
