开源首个 Meta AI 闽南话和英语可以直接语音互译！ 语音翻译系统 (开源 mq)
机器翻译是现今人类消除语言障碍、重建巴别塔的新工具。然而，在世界现存的 7000 多种已知语言中，许多低资源语言还未得到足够的关注，尤其是有近一半的语言没有标准的书面系统，这是构建机器翻译工具的一大障碍，所以目前 AI 翻译主要集中在书面语言上。
在利用 AI 推动自然语言翻译这件事上，Meta 一直致力于“No Language Left Behind”（没有一种语言被落下）的目标。
，现在也有了专属的机器翻译系统，讲闽南话的人可以与讲英语的人进行无障碍对话了。
第一个由 AI 驱动的非书面的、语音到语音的翻译系统。 来听听这项工作的负责人、Meta AI 研究员 Peng-Jen Chen 与小扎的对话，Chen 出生于中国台湾。
视频见：
该系统可以将闽南话的语音翻译成英语语音，反之亦可。会讲闽南话的读者可以来检验一下，是不是翻译效果还挺不错？
据了解，这个开源翻译系统是 Meta 的通用语音翻译(UST) 项目的一部分，该项目致力于开发新的人工智能方法，帮助实现所有现存语言的实时语音到语音的翻译。目前，Meta 已经开源了该翻译模型和评估数据集，研究论文如下：
闽南话是汉语方言之一，是一种低资源语言，没有标准的书写系统，人工的英语到闽南话翻译人员也相对很少，所以为模型收集和标注训练数据就变得更加困难。
图注：讲闽南话（Hokkien）的人的数量
为此，来自 Meta AI 的研究团队采用了一种特殊放方案， 利用汉语普通话（属于高资源语言）作为中间语言 来构建伪标签和人工翻译。他们首先将英语（或闽南话）语音翻译成普通话文本，然后再翻译成闽南话（或英语）并将其添加到训练数据中。这种方法通过利用来自类似高资源语言的数据，极大地提高了模型性能。
是训练数据生成的另一种方法。使用预训练的语音编码器，能够将闽南话语音嵌入编码到与其他语言相同的语义空间中，所以闽南话没有书面形式也不造成问题。闽南话语音可以与语义嵌入相似的英语语音和文本对齐，然后从文本中合成英语语音，产生并行的闽南话和英语语音。
图注：无需人类标注的语音翻译模型
许多语音翻译系统都依赖转录或者是语音到文本的系统。但是，闽南话的形式主要是口语，缺乏标准的书面文字系统，无法转录成文本作。所以，Meta 所构建的是一个
研究人员使用语音到单元（speech-to-unit，S2UT）翻译， 将输入语音直接翻译成一系列的声学单元， 这也是 Meta 先前最早开创的一种路径。然后，从这些声学单元中生成 。此外，研究人员还采用了 UnitY 作为双通道解码机制，第一通道解码器生成相关语言（即汉语普通话）的文本，第二通道解码器创建单元。
语音翻译系统的评估工具通常是 ASR-BLEU 指标，该指标首先使用自动语音识别 (ASR) 将翻译后的语音转录为文本，然后将转录文本与人工翻译的文本进行比较，计算 BLEU 分数。
但要评估闽南话的语音翻译系统，难处还是在于它没有标准的书面文字系统。所以，为了实现自动评估，研究人员开发了一个系统，将闽南语语音转录为一种称为 Tâi-lô 的标准化注音符号。这样就能在音节的层面上计算 BLEU 分数，从而比较不同方法的翻译质量。
除了开发这种评估闽-英语音翻译的方法外，研究人员还基于闽南话语料库 Taiwanese Across Taiwan，创建了第一个闽-英双向语音到语音翻译基准数据集。该基准数据集将开源，以方便更多研究人员从事闽南话语音翻译工作。
这项工作所用技术可以进一步扩展到许多其他书面和非书面语言。
为此，Meta 还发布了 SpeechMatrix，它是一个大型的语音到语音翻译语料库，使用了 Meta 的创新数据挖掘技术 LASER， 从欧洲议会录音的真实演讲中挖掘数据。该数据库包含 136 种语言对的语音对齐，共 41.8 万小时的语音。挖掘的数据和模型都是免费的，研究人员可以创建自己的语音到语音翻译 (S2ST) 系统。
图注：LASER 挖掘获得的语音到语音成对数据
Meta 在无监督语音识别 ( wav2vec-U ) 和无监督机器翻译( mBART )方面的研究进展，也为口语翻译工作提供了支持。比如用于预训练语音模型的无监督域自适应技术，提高了下游无监督语音识别的性能，尤其是对于低资源语言，在没有任何人工标注的情况下，可以构建高质量语音到语音翻译模型。
该模型仍在不断推进中，目前一次只能翻译一个完整的句子，但这迈出了未来实现语言间同声传译的一步。
据 Meta AI 的研究员 Peng-Jen Chen 说，这个闽南话翻译系统其实有一部分是出于他的一个私人心愿。他在中国台湾长大，同时会讲普通话，但是他的父亲普通话不好，他希望他的父亲能够用闽南话与每个人都顺畅地交流。这也是 AI 之于人类的意义之一。
版权文章，未经授权禁止转载。详情见 转载须知 。
本文地址： /article/25f6f6f70823fb4ee66f.html
中华网军事频道解读国际政治军事战略格局，见证中国国力军力的腾飞，坚守民族信念与真理，与亿万网友一起守土尽责，缔造中国爱国者的精神家园，共同推进世界和平。主要有以下栏目：军事新闻、每日军情参考、台海形势、中国军情、国际军情、军事专题、网友原创、军事视频、军事图库。
北京洪安科瑞科技集团有限公司
简单可信赖的新房导购平台（吉屋网www.jiwu.com），目前吉屋新房业务覆盖到中国省会城市站点，已经为百万用户提供新房网络导购服务
上海祥耀生物科技有限责任公司
880手游网为全网下载速度最快的手游下载网站，全站游戏皆为绿色免费下载，提供的下载内容包括安卓游戏下载及最新最热门的手机游戏等
来橙宠物网专注宠物猫、狗产业研究，提供信息传播咨询服务，凝聚产业力量、促进行业交流合作，致力于构建宠物产业互联网服务平台。
注册公司找小微律政,小微律政专注为创业公司及中小微企业提供代办公司注册,公司变更,代理记账,商标注册,公司章程拟定等一站式企业服务,服务流程无微不至!
公司始创于2016年6月22日，注册资金6000万人民币，专业从事钢丝网骨架塑胶（聚乙烯）复合管的研发、生产、销售、安装服务的现代化高科技术产业。主导产品钢丝网骨架塑胶（聚乙烯）复合管以其特有的防腐蚀、耐磨、耐高温、抗严寒、耐压、抗蠕变、稳定性好、安装方便等特点逐步取代各类金属管道和塑料管道，被广泛应用于石油、化工、燃气、供水、采矿、海水输送等领域。
追踪全网福利，简单高效薅羊毛
浙江欣奕华智能科技有限公司成立于2018年，隶属于欣奕华科技集团。公司致力于以AI+AMR+赋能智造，以移动复合机器人为载体，为行业客户提供全场景移动机器人解决方案，成为客户的移动搬运专家和自动上下料专家，助力各行各业合作伙伴提高生产经营环节数字化和智能化水平，构建现代智能制造和智慧服务体系，为加速数字中国战略发展持续赋能。
江苏顺泰交通集团科技公司厂家专业供应各类箭头交通信号灯,机动车人行信号灯,交通杆件交通信号灯杆件,电子警察杆监控立杆,高速龙门架免费电话15052509897微信同号,价格实惠,质量上乘,欢迎来电咨询采购！
广州市海珠区慈心养老院建于2009年2月9日，全院占地面积2000平方米，建筑面积约8000平方米，建有四层高的整体楼，内设单人、双人、三人房，现有床位419张。
量子计算机赛道里，挤满了巨头和初创公司，由于量子计算机可以执行工作负载，解决现阶段即使是最强大的计算机都无法解决的问题，因此在全球范围内，量子计算市场正高速增长，数十亿美元流入这个领域，由于这项技术尚处于早期阶段，量子计算带来的收入仍然比支出少很多倍，而且真正的量子计算机何时出现仍然存在争议，构建量子计算机面临许多难题，其中一个关键因...。
提到智能手机时，可能华为并不是你心目中的第一品牌，不过这并不意味着它不是一家重要的公司，事实上，华为的体量相当庞大，它在通讯设备市场更是当之无愧的王者，下面我们就来共同盘点十个关于华为不为人知的趣闻，1、任正非42岁时才创建了华为42岁时你在干嘛?恐怕大多数正在经历自己的中年危机吧，华为老总任正非可不同，他居然大器晚成，人到中年一手打...。
发表在索尼投影仪2018，12，814，51昨天，大雪，节气，在这个寒冷中带着梦幻氛围的日子，索尼向家用投影机市场推出两款暖心宝贝VPL，VW278和VPL，VW578，这两款高性价比的4KHDR家庭影院投影机，相比于前一代型号的基础上进行了多项功能升级，有黑色和白色，专为卧室和客厅设计，让人们憧憬真4K家庭影院的梦想更加接近现实，在...。
邀请函时间，2010年3月4，6日地点，•广州琶洲广交会展馆，亚洲很大展览馆，主办单位，广东省连锁经营协会广州连锁经营协会广州富众展览有限公司举办单位，香港富众国际会展集团广州富众展览有限公司协办单位，香港信达顾问公司韩国泰星商务株式会社支持单位，台湾连锁加盟促进协会意大利特许经营信息网台湾1111创业加盟网官方在线合作伙伴，•创业加...。
导语，随着移动互联网，以及外卖的发展，快餐业又将迎来新一轮的黄金发展期，但未来的快餐业已经不是当年的快餐，消费者消费需求不断升级，快餐业迎来革新，快餐业从业者该如何跟上这次革新呢，正文，快餐仍为增量市场近年我国餐饮业结构调整、转型升级不断显现，餐饮市场一直保持较高速度发展，值得注意的是，除北京外，沪广深三地品类增幅，以快餐类为突出，增...。
外地时期11月11日，美国入选总统特朗普宣布申明，宣布选用纽约州共和党籍联邦众议员爱丽丝·斯蒂芬尼克负责美国常驻联结国代表，△爱丽丝·斯蒂芬尼克，资料图，据悉，爱丽丝·斯蒂芬尼克现年40岁，自2015年起负责联邦众议员，投票纪录不时属于党内平和派，之后成为特朗普的，坚决允许者，在两次针对特朗普弹劾调查时期，她都屡次发声允许特朗普，关...。
申明，1.以上内容仅代表揭发者自己，不代表黑猫揭发立场，2.未经授权，本平台案例制止任何转载，违者将被清查法律责任，3.黑猫揭发处置揭发不收取任何费用，凡以黑猫揭发名义不要钱的均为混充、诈骗行为，请及时报警并与黑猫官网反应，揭发邮箱heimaotousu@vip.sina.com，4.请大家选用官网渠道处置生产纠纷，不要轻信第三方机构...。
时速，240km，h多少钱，48.9，57.2万元排量，3456.0cc好处，温馨、安静、音响成果杰出，各方面性能体现平衡缺陷，储物空间不多，没有智能中控锁，多少钱稍贵雷克萨斯ES系列引见新一代雷克萨斯ES350完美出现LEXUS雷克萨斯L，finesse设计哲学，以人的感官为设计原点，齐全满足驾驶者的一切希冀，洗练的车身线条，为人生...。
于适于适，1996年12月22日出世于辽宁省背阴市凌源市，毕业于辽宁工程技术大学，中国中原男演员，2018年，于适因出演神话抗争电影，封神三部曲...王影璐王影璐，2000年8月19日出世于四川省，中国中原女演员，2020年，王影璐才正式出道，她主演的网剧，四年永世，播出，同年，她客串的励志剧...欢迎到来我身边，欢迎到来我身边，是由...。
普信女指普通又自信的女性。起源于《吐槽大会》杨笠的的一句话：他那么普通，却那么自信用来形容没有自知之明的男性，衍生出普信男，后又有人把这个词用在一些女生的身上，即普信女。普信女什么意思普信女不等于普通的女生不能自信，普信女是指普通又自信的女性，明明很普通却表现的过于自信甚至自负，然后对男生能力、长相、工作、收入、学历、身高等等各种挑
Bluetooth外围设备驱动是一款针对同名硬件打造的驱动。它可以完美的解决用户和蓝牙连接时出现的找不到外围设备的问题，帮助蓝牙用户顺利和设备对接，心动的话可以试试。
E-神加密文件夹,E-神加密文件夹是一款功能完善，界面豪华，操作简便的文件夹加密软件，使用本软件您可以轻易地将您的私人资料实现加密保存，不仅可以将您的文件夹彻底隐藏起来,您可以免费下载。
E-神加密文件夹,E-神加密文件夹是一款功能完善，界面豪华，操作简便的文件夹加密软件，使用本软件您可以轻易地将您的私人资料实现加密保存，不仅可以将您的文件夹彻底隐藏起来,您可以免费下载。
StartOS(起点操作系统),StartOS是一款国产的Linux操作系统，拥有完全自主的核心配置和自己的特色，集办公、娱乐、网络浏览等功能于一身，系统界面仿Windows主题，用户不用担心会使用不习惯,您可以免费下载。
乌空军：针对乌方飞行员驾驶F-16战机的训练已展开,乌方,俄罗斯,核武器,乌空军,f-16战机,乌克兰飞行员
只要肯降价，不愁没销量！这几款车型可以抄底了,降价,豪华品牌,中型suv,小型suv,本田xr-v
7300的显卡是怎样的一种显卡2，显卡上的5200和7300是什么意思3，酷睿7300这个处理器速度快吗4，违章代码7300是什么意思5，电脑显卡7100与7300有什么区别6，处理器amd四核a107300怎么样1，7300的显卡是怎样的一种显卡都是淘汰的显卡了，7300的显卡，不管是GT,还是LE的,或者是GS的，都不怎么样，玩WOW都很卡，到外域，基本就是个位数的帧数，玩个魔兽争霸还是可以的，效果好的3D游戏，别碰，容易眩晕的2，显卡上的5200和7300是什么意思NVIDIA的显卡型号，全称应
