效率提高1000倍 Deepmind语音生成模型WaveNet正式商用 (效率提高10%)

雷锋网消息:2017年10月4日,Deepmind发表博客称,其一年前提出的生成原始音频波形的深层神经网络模型WaveNet已正式商用于Google Assistant中,该模型比起一年前的原始模型效率提高1000倍,且能比目前的方案更好地模拟自然语音。

以下为Deepmind博客所宣布的详细信息,雷锋网摘编如下

一年之前,我们提出了一种用于生成原始音频波形的深层神经网络模型WaveNet,可以产生比目前技术更好和更逼真的语音。当时,这个模型是一个原型,如果用在消费级产品中的计算量就太大了。

在过去12个月中,我们一直在努力大幅度提高这一模型的速度和质量,而今天,我们自豪地宣布,WaveNet的更新版本已被集成到Google Assistant中,用于生成各平台上的所有英语和日语语音。

新的WaveNet模型可以为Google Assistant提供一系列更自然的声音。

为了理解WaveNet如何提升语音生成,我们需要先了解当前文本到语音(Text-to-Speech,

TTS)或语音合成系统的工作原理。

目前的主流做法是基于所谓的拼接TTS,它使用由单个配音演员的高质量录音大数据库,通常有数个小时的数据。这些录音被分割成小块,然后可以将其进行组合以形成完整的话语。然而,这一做法可能导致声音在连接时不自然,并且也难以修改,因为每当需要一整套的改变(例如新的情绪或语调)时需要用到全新的数据库。

另一方案是使用参数TTS,该方案不需要利用诸如语法、嘴型移动的规则和参数来指导计算机生成语音并进行语音拼接。这种方法即便宜又快捷,但这种方法生成的语音不是那么自然。

WaveNet采取完全不同的方法。在原始论文中,我们描述了一个深层的生成模型,可以以每秒处理16000个样本、每次处理一个样本党的方式构建单个波形,实现各个声音之间的无缝转换。

Deepmind语音生成模型Net正式商用:效率提高1000倍

WaveNet使用卷积神经网络构建,在大量语音样本数据集上进行了训练。在训练阶段,网络确定了语音的底层结构,比如哪些音调相互依存,什么样的波形是真实的以及哪些波形是不自然的。训练好的网络每次合成一个样本,每个生成的样本都考虑前一个样本的属性,所产生的声音包含自然语调和如嘴唇形态等参数。它的“口音”取决于它接受训练时的声音口音,而且可以从混合数据集中创建任何独特声音。与TTS系统一样,WaveNet使用文本输入来告诉它应该产生哪些字以响应查询。

原始模型以建立高保真声音为目的,需要大量的计算。这意味着WaveNet在理论上可以做到完美模拟,但难以用于现实商用。在过去12个月里,我们团队一直在努力开发一种能够更快地生成声波的新模型。该模型适合大规模部署,并且是第一个在Google最新的TPU云基础设施上应用的产品。

Deepmind语音生成模型Net正式商用:效率提高1000倍

(新的模型一秒钟能生成20秒的音频信号,比原始方法快1000倍)

WaveNet团队目前正在准备一份能详细介绍新模型背后研究的论文,但我们认为,结果自己会说话。改进版的WaveNet模型仍然生成原始波形,但速度比原始模型快1000倍,每创建一秒钟的语音只需要50毫秒。该模型不仅仅速度更快,而且保真度更高,每秒可以产生24,000个采样波形,同时我们还将每个样本的分辨率从8bit增加到16bit,与光盘中使用的分辨率相同。

这些改进使得新模型在人类听众的测试中显得发声更为自然。新的模型生成的第一组美式英语语音得到的平均意见得分(MOS)为4.347(满分5分),而真实人类语音的评分只有4.667。

Deepmind语音生成模型Net正式商用:效率提高1000倍

新模式还保留了原始WaveNet的灵活性,使我们能够在训练阶段更好地利用大量数据。具体来说,我们可以使用来自多个语音的数据来训练网络。这可以用于生成高质量和具有细节层次的声音,即使在所需输出语音中几乎没有训练数据可用。

我们相信对于WaveNet来说这只是个开始。我们为所有世界语言的语音界面所能展开的无限可能而兴奋不已。

原创文章,未经授权禁止转载。详情见 转载须知 。

Deepmind语音生成模型Net正式商用:效率提高1000倍


本文地址: /article/1874fcd40591a8068958.html
全局中部横幅
全局中部横幅
专升本考试时间_专升本报名入口/条件/考试科目-中公专升本

【中公专升本】提供2025年专升本考试时间、专升本报名入口、专升本考试科目、专升本要什么条件、如何专升本等专升本考试资讯,包括各地专升本网上成绩查询、准考证下载打印、分数线、招生院校等。

火车浏览器官网-合肥乐维-可视化采集软件|网站抓取精灵|网站抓取工具|验证码自动识别|自动发布软件

火车浏览器采集软件,是一款可视化采集软件,是一款网络爬虫工具软件、网站抓取工具,模拟人工操作浏览器的采集发布软件,可生成EXE。

广州微电影拍摄公司_广州宣传片拍摄_广州影视公司-盛点影视

盛点影视,专业影视制作公司,业务范围包括:宣传片制作,广告片制作,微电影制作,动画制作,微电影拍摄,视频制作等,欢迎来电咨询020-34318971

宁夏矿用枕木_宁夏垫木_宁夏包装板-宁夏瑞兴合商贸有限公司

宁夏瑞兴合商贸有限公司主营:宁夏矿用枕木、宁夏垫木、宁夏包装板等,是集木方、矿用枕木、垫木、包装板等产品加工生产、批发、销售服务为一体的企业。

德普华检测集团(STS)-CE认证,FCC认证,BQB认证,CCC认证,TELEC认证,IC认证,SRRC认证,CB认证,UKCA认证-专注于无线通讯产品检测&认证

德普华检测集团(STS)是国内专业从事产品检测和认证咨询服务的第三方检测认证机构(CNASL7649实验室),主要致力于电子电器无线通讯产品的CE认证、FCC认证、蓝牙BQB认证、CCC认证、TELEC认证、JATE认证、SRRC认证、IC认证、CB认证、UKCA认证等服务。同时,STS遵循“公正、科学、准确、高效”的质量方针,以“品质至上,用心服务”为服务宗旨,专注于无线通讯产品检测&认证

首页_昆山市苏光义发电机服务中心

JinchenMachineryisaprofessionalcompanyinr&dandproductionofphotovoltaicsolarcrystallinesiliconandamorphoussiliconcellmodulepackagingautomaticproductionline.

防护虹吸排水收集系统厂家_高分子防护排水异型片自粘土工布+HXC虹吸排水槽-佳美新材料有限公司

佳美新材料有限公司电话:400-003-0538邮箱:3190007777@qq.com地址:山东省泰安高新区龙腾路3333号

澳门威尼克斯人网站-澳门威尼克斯人网站正式版下载v6.8.8

澳门威尼克斯人网站【W68K.com】是一家专注于研发、生产和销售高品质体育运动产品的企业,致力于为全球运动爱好者提供创新、安全、耐用的装备。通过不断提升技术和设计,我们帮助用户实现更高效、更健康的运动体验。

合肥物流公司_合肥货运公司-徽商物流

徽商物流公司是一家从事合肥到全国的陆运、空运、海运物流服务的合肥物流公司。徽商物流以快捷、准时、安全、优惠的服务宗旨为广大客户服务!

全局底部横幅