WMT 2019国际机器翻译大赛 微软亚洲研究院以7项第一成为冠军

文章编号:42455 最新资讯 2024-12-04 微软

雷锋网 AI 科技评论按,近日,由国际计算语言学协会 ACL(The Association for Computational Linguistics)举办的 WMT 2019 国际机器翻译比赛的客观评测结果揭晓,微软亚洲研究院机器学习组在参加的 11 项机器翻译任务中,有 7 项获得了第一名,另外 4 项获得第二名。

WMT 2019国际机器翻译大赛:微软亚洲研究院以7项第一成为冠军

图片来自大赛网站,横向为源语种,纵向为目标语种

7项任务获第一,4项任务获第二

WMT 的全称为 Conference on Machine Translation (,是全球学术界公认的国际顶级机器翻译比赛。自 2006 年至今,WMT 机器翻译比赛已经成功举办 14 届,每一次比赛都是全球各大高校、科技公司与学术机构展示自身机器翻译实力的较量,更是见证了机器翻译技术的不断进步。

在本届 WMT 2019 大赛中(),共有来自全球的 50 多支队伍参加,包括微软、FaceBOOK、百度、字节跳动、平安、日本情报通信研究机构(NICT)等企业、科研机构和高校。大赛共设置了 19 项不同语言之间的翻译任务,微软亚洲研究院参加了 11 项,其中 7 项翻译任务获第一,包括:德语-英语、德语-法语、法语-德语、中文-英语、英语-立陶宛语、英语-芬兰语、俄语-英语。另外 4 项任务获得第二,包括:英语-德语、立陶宛语-英语、芬兰语-英语、英语-哈萨克语。来自微软的另外一支团队则在英语-德语的任务上获得了第一名。

结果显示,此次大赛的亚军团队在 3 项任务中获得了第一,季军团队则有两项获得第一,来自微软亚洲研究院的神经网络机器翻译算法的表现遥遥领先于其他参赛队伍。

机器翻译算法改进

2018 年 3 月,由微软亚洲研究院与微软雷德蒙研究院共同研发的机器翻译系统便在 WMT 2017 大会上发布的通用新闻报道测试 newstest2017 机器翻译系统融合了微软亚洲研究院机器学习组的最近研究成果—— 对偶学习(Dual Learning) 和 推敲网络(Deliberation Networks) ,以及自然语言计算组的最新技术—— 联合训练(Joint Training)和一致性规范(Agreement Regularization) 。

在 WMT 2019 的比赛中,微软亚洲研究院机器学习组再次将多个创新的算法运用在了机器翻译的任务中,从学习机制、预训练、网络架构优化、数据增强等方面,提升了机器翻译结果的质量。

此次使用的创新算法包括:

其中,关于 NAO 的论文已被 NIPS 2018 收录,关于 MADL 的论文已被 ICLR 2019 收录,关于 MASS 的论文则被 ICML 2019 收录。

新的学习机制:MADL 多体对偶学习

在机器翻译中,训练数据的数据量越大、质量越高,其训练的翻译结果越好。基于对偶学习,创新的 MADL 算法利用正向与反向翻译的多个模型对单语数据进行前向和后向翻译并打分,然后将得分最高的数据放置到训练数据中从而获得更多高质量的数据,或者将单语数据的前向后向重建误差加入到损失函数里来增强学习过程。MADL 不局限于某个语种,可以在任何源语种和目标语种之间提供这样的对偶学习能力。

更好的预训练:MASS 屏蔽序列到序列的预训练

MASS 是针对序列生成设计的预训练算法,比 BERT 以及 GPT/2 更加通用。BERT 模型通常是屏蔽掉句子中的一个单词,然后通过分类来预测这个词;GPT 模型是给定前面的词,通过分类生成后面的词,直至一句话或整篇文档;两者都是预训练一个编码器。而翻译则是基于编码器-解码器-注意力框架,因此 BERT 和 GPT/2 并不能很好地适用于翻译任务。但 MASS 则能将句子中的部分连续片断随机屏蔽,然后训练一个编码器-解码器-注意力模型预测生成该片断,从而利用海量单语数据预训练然后初始化翻译模型。因此,MASS 比 BERT 和 GPT/2 都更适用于机器翻译这个应用场景。实验证明,MASS 屏蔽翻译句子中 50% 的片断效果最好。

网络架构优化: NAO 自动神经网络架构优化

NAO 是从神经网络结构优化的角度去提升机器翻译水平。不同的网络结构通常对于翻译结果有着较大影响,NAO 把离散的网络结构嵌入到连续的向量空间,从而通过连续优化找到更好的网络结构。与固定的 Transformer 相比,NAO 可以找到更多样的网络结构,和 Transformer 形成互补优势,使得机器翻译多模型集成的结果更佳。

数据增强:SCA 软性上下文数据增强

所谓 SCA 软性上下文数据增强,是在双语训练数据中随机屏蔽某个词,再基于语言模型利用上下文来预测这个词,随后选择概率最高的几个词,根据预测概率把这些预测的词线性组合到一起,替换原来被屏蔽的词。这样一个句子/句对可以生成多个句子/句对,同一个句子的翻译就可以出现多个合理的翻译结果,这也与实际翻译过程中翻译结果并不唯一这一事实相吻合。通过如此软性上下文数据增强,从而扩大训练数据的规模,增强数据质量,得到更好的翻译结果。

在此次的 11 项机器翻译任务中,微软亚洲研究院的研究员们在每个翻译任务上采用了上述不同的技术。未来,研究团队计划将这四个层面的创新技术整合,并且通过与微软翻译产品部门的合作,将新技术尽快转化到微软翻译产品中。

版权文章,未经授权禁止转载。详情见 转载须知 。

WMT 2019国际机器翻译大赛:微软亚洲研究院以7项第一成为冠军


本文地址: /article/eb66fc2b5efc1b4ce622.html
全局中部横幅
全局中部横幅
360系统急救箱 _360安全中心

360系统急救箱是原360专杀工具大全,具有清除顽固木马,修复濒危系统的功能

【环球搜管网】- 买卖管道、管材、管件的综合信息服务平台

环球搜管网以整合管道行业的市政、民用、电力电缆通信、化工油气、管材管件等塑料类金属类管道管材管件,为上下游生产商、贸易商、采购商、零售企业产业链提供买卖交易服务平台。

防爆吸尘器_工业防爆吸尘器_车间防爆吸尘器_粉尘防爆吸尘器_气动防爆吸尘器_进口防爆吸尘器_电动防爆吸尘器/生产厂家/供应商/价格-昆山科来圣环保

昆山科来圣环保科技有限公司是一家专业提供各种防爆吸尘器的公司,在这里您可以了解到工业防爆吸尘器|车间防爆吸尘器|粉尘防爆吸尘器|气动防爆吸尘器|进口防爆吸尘器|电动防爆吸尘器,金属粉尘/木屑/小型防爆吸尘器等一系列的防爆吸尘器产品信息,科来圣环保欢迎您的来电咨询!

塑料托盘_价格_厂家--山东淄博齐华塑料托盘有限公司

山东淄博齐华托盘有限公司专业生产各种型号的塑料托盘,吹塑托盘,注塑托盘,塑料桶,并承接各种来料加工业务.免费为用户提供塑料托盘价格的报价服务,咨询电话0533-7503374

NSK轴承,进口NTN轴承-日本EZO轴承-NSK轴承官方网站

日本进口轴承公司作为AGMS轴承的授权经销商,我们提供进口NTN轴承,NSK轴承,SKF轴承,HRB轴承,ZWZ轴承,TIMKEN轴承,NSK进口轴承,EZO轴承,NMB轴承,FAG轴承,不锈钢轴承,外球面轴承,带座外球面轴承,圆锥滚子轴承,调心滚子轴承,推力球轴承,圆柱滚子轴承,调心球轴承,角接触球轴承,高温轴承,轴承座,耐高温轴承,外球面轴承座的销售.

好玩的安卓游戏_好玩的手机游戏_手机游戏下载 - 天游快递

天游快递提供好玩的手机游戏下载、苹果手机游戏和安卓手机游戏下载等服务,是国内早期手游分享平台,欢迎广大玩家分享体验

ZhaoJL.Com- 找剑灵 -每日推荐好玩的剑灵私服

找剑灵【www.zhaojl.com】专业为您提供高品质剑灵私服,包括最新剑灵游戏攻略,新开剑灵私服推荐,剑灵sf发布网,免费剑灵私服辅助下载,丰富的bns公益剑灵私服等你来玩!

中海知光(厦门)技术转移有限公司

中海知光(厦门)技术转移有限公司

驾校一点通 - 考驾照 - 驾照考试 - 2026年驾校报名 - 科目一模拟考试

驾校一点通提供考驾照,驾照考试练习,科目一模拟考试,驾校学车,驾校报名等驾考服务。选驾校、选教练、2026年驾驶证资格证题库练习和科目一模拟考试练习,科目四模拟考试练习服务。驾校一点通提供便捷的驾照考试服务。考驾照,找驾校,选教练,驾照考试题练习就选(驾校一点通)

百业信息网

百业信息网是生活帮助资讯平台,包含生活网址导航,便民信息,教育,交通,旅游等实用民生帮助信息。

全局底部横幅