效率提高1000倍 Deepmind语音生成模型WaveNet正式商用 (效率提高10%)

雷锋网消息:2017年10月4日,Deepmind发表博客称,其一年前提出的生成原始音频波形的深层神经网络模型WaveNet已正式商用于Google Assistant中,该模型比起一年前的原始模型效率提高1000倍,且能比目前的方案更好地模拟自然语音。

以下为Deepmind博客所宣布的详细信息,雷锋网摘编如下

一年之前,我们提出了一种用于生成原始音频波形的深层神经网络模型WaveNet,可以产生比目前技术更好和更逼真的语音。当时,这个模型是一个原型,如果用在消费级产品中的计算量就太大了。

在过去12个月中,我们一直在努力大幅度提高这一模型的速度和质量,而今天,我们自豪地宣布,WaveNet的更新版本已被集成到Google Assistant中,用于生成各平台上的所有英语和日语语音。

新的WaveNet模型可以为Google Assistant提供一系列更自然的声音。

为了理解WaveNet如何提升语音生成,我们需要先了解当前文本到语音(Text-to-Speech,

TTS)或语音合成系统的工作原理。

目前的主流做法是基于所谓的拼接TTS,它使用由单个配音演员的高质量录音大数据库,通常有数个小时的数据。这些录音被分割成小块,然后可以将其进行组合以形成完整的话语。然而,这一做法可能导致声音在连接时不自然,并且也难以修改,因为每当需要一整套的改变(例如新的情绪或语调)时需要用到全新的数据库。

另一方案是使用参数TTS,该方案不需要利用诸如语法、嘴型移动的规则和参数来指导计算机生成语音并进行语音拼接。这种方法即便宜又快捷,但这种方法生成的语音不是那么自然。

WaveNet采取完全不同的方法。在原始论文中,我们描述了一个深层的生成模型,可以以每秒处理16000个样本、每次处理一个样本党的方式构建单个波形,实现各个声音之间的无缝转换。

语音生成WaveNet正式商用:效率提高1000倍

WaveNet使用卷积神经网络构建,在大量语音样本数据集上进行了训练。在训练阶段,网络确定了语音的底层结构,比如哪些音调相互依存,什么样的波形是真实的以及哪些波形是不自然的。训练好的网络每次合成一个样本,每个生成的样本都考虑前一个样本的属性,所产生的声音包含自然语调和如嘴唇形态等参数。它的“口音”取决于它接受训练时的声音口音,而且可以从混合数据集中创建任何独特声音。与TTS系统一样,WaveNet使用文本输入来告诉它应该产生哪些字以响应查询。

原始模型以建立高保真声音为目的,需要大量的计算。这意味着WaveNet在理论上可以做到完美模拟,但难以用于现实商用。在过去12个月里,我们团队一直在努力开发一种能够更快地生成声波的新模型。该模型适合大规模部署,并且是第一个在Google最新的TPU云基础设施上应用的产品。

语音生成WaveNet正式商用:效率提高1000倍

(新的模型一秒钟能生成20秒的音频信号,比原始方法快1000倍)

WaveNet团队目前正在准备一份能详细介绍新模型背后研究的论文,但我们认为,结果自己会说话。改进版的WaveNet模型仍然生成原始波形,但速度比原始模型快1000倍,每创建一秒钟的语音只需要50毫秒。该模型不仅仅速度更快,而且保真度更高,每秒可以产生24,000个采样波形,同时我们还将每个样本的分辨率从8bit增加到16bit,与光盘中使用的分辨率相同。

这些改进使得新模型在人类听众的测试中显得发声更为自然。新的模型生成的第一组美式英语语音得到的平均意见得分(MOS)为4.347(满分5分),而真实人类语音的评分只有4.667。

语音生成WaveNet正式商用:效率提高1000倍

新模式还保留了原始WaveNet的灵活性,使我们能够在训练阶段更好地利用大量数据。具体来说,我们可以使用来自多个语音的数据来训练网络。这可以用于生成高质量和具有细节层次的声音,即使在所需输出语音中几乎没有训练数据可用。

我们相信对于WaveNet来说这只是个开始。我们为所有世界语言的语音界面所能展开的无限可能而兴奋不已。

原创文章,未经授权禁止转载。详情见 转载须知 。

语音生成WaveNet正式商用:效率提高1000倍


本文地址: https://www.gpxz.com/article/1874fcd40591a8068958.html
全局中部横幅
全局中部横幅
电视牛

电视牛是千万人喜爱的网络电视在线直播网站,以全新的视觉为您呈现各大卫视、央视、体育等多频道在线直播,让您耳目一新观赏精彩直播。

苏州空调回收

15851418889爱德申物资回收公司经营苏州空调回收,苏州中央空调回收以及废旧二手空调回收,高低床回收ktv设备回收酒店办公家具回收变压器回收配电设备回收办公家具回收上下床回收宾馆设备回收酒店设备回收厨房设备库存物资回收旧设备回收

昆明创飞餐饮官网

昆明创飞餐饮实训数十年沉淀,专门从事餐饮实训,小吃技术实训,小面实训,特色小吃实训,特色烧烤实训等,技术行业领先;学餐饮技术到云南创飞餐饮实训!

UBE
UBE

UBE,宇部兴产机械(上海)有限公司,主营业务为压铸机、注塑机、挤压机等油压、电动机械和窑、立磨、选粉机、料仓、堆取料机、气浮皮带输送机等散料装卸系统一般工业用机械及铁基桥梁、铁构筑物的制造和销售。

陶瓷过滤板

扬中市华鑫磨具厂「www.jshxmj.com」专业的陶瓷过滤板生产厂家,主营产品有:陶瓷过滤板,微孔陶瓷过滤板,陶瓷刮刀,陶瓷摩擦圈,气化板,滤芯及零部件,销售价格实惠,欢迎咨询.

创想电商网站建设

创想商务,10年电商网站建设公司,提供.NET企业级高端电子商务建站服务,DaMall商城系统、淘宝供货商系统,创想b2b系统,在线支付系统免费试用,我们致力帮助企业快速建立自己的电子商务服务平台。

香山游艇

携艇会—游艇会运营管理领航者。厦门携艇游艇俱乐部为您提供香山游艇,五缘湾游艇出租服务.厦门游艇出租热线:4008-931-898

大型吸塑车标制作

购得棒(原博邦标识)是一家大型立体车标制作厂家,生产面积达2万多平米,制作各种吸塑车标、电镀车标、大型车标、金属车标、立体车标、4S店车标、汽车展会车标、亚克力车标、门头吸塑车标、厚片吸塑车标,产品远销欧美。电话18721750736

深圳市脸萌互娱有限公司

Faceu用相机记录属于你的故事

湖州闹捞门户网

湖州门户网是湖州视窗提供湖州租房、二手、交友、兼职、人才招聘等湖州生活分类信息,同时提供昆山外卖、便民服务、湖州视窗湖州二手信息、生活黄页一切近在湖州生活门户网。

圆弧派博客

圆弧派博客,是一个专注于网络技术分享的个人博客,包括但不止记录与分享编程知识、实用工具、开源项目,愿与更多志同道合的朋友共享网络乐趣!

全局底部横幅