中国科学技术大学副教授凌震华 基于表征解耦的非平行语料话者转换 (中国科学技术大学)
雷锋网按：2020 年 8 月 7 日至 9 日，全球人工智能和机器人峰会（CCF-GAIR 2020）在深圳圆满举行。CCF-GAIR 2020 峰会由中国计算机学会（CCF）主办，雷锋网、香港中文大学（深圳）联合承办，鹏城实验室、深圳市人工智能与机器人研究院协办。
从 2016 年的学产结合，2017 年的产业落地，2018 年的垂直细分，2019 年的人工智能 40 周年，峰会一直致力于打造国内人工智能和机器人领域规模最大、规格最高、跨界最广的学术、工业和投资平台。
8 月 8 日，在由深圳市人工智能学会、CCF 语音对话与听觉专业组协办的「前沿语音技术」专场上，中国科学技术大学电子工程与信息科学系副教授凌震华做了题为《基于表征解耦的非平行语料话者转换》的主题演讲。
凌震华副教授
凌震华副教授主要研究领域包括语音信号处理和自然语言处理。主持与参与多项国家自然科学基金、国家重点研发计划、安徽省语音专项等科研项目，已发表论文 100 余篇，论文累计被引 4000 余次，获国家科技进步奖二等奖和 IEEE 信号处理学会最佳青年作者论文奖。在 Blizzard Challenge 国际语音合成技术评测、Voice Conversion Challenge 国际语音转换技术评测等活动中多次获得测试指标第一名。
凌震华副教授现为电气电子工程师学会（IEEE）高级会员、中国计算机学会语音听觉与对话专业组委员、中国语言学会语音学分会学术委员会委员、全国人机语音通讯学术会议常设机构委员会委员。2014-2018 年曾任 IEEE/ACM TASLP 期刊副编辑。
在演讲中，凌震华副教授主要从语音转换所基于的语料类型出发，介绍了平行语料下实现语音转换的技术演变过程，并由此延伸到非平行语料下的语音转换。
其中在平行语料条件下，传统语音转换基于 GMM （高斯混合模型）实现。 2013 年后深度学习技术被引入语音转换任务，基于产生式训练的深度神经网络（Generative Trained Deep Neural Network, GTDNN）等模型相继被提出。不过无论是 GMM 还是 DNN，都面临源与目标语音帧对齐过程中出现的误差和不合理问题。近年来提出的序列到序列（seq2seq）语音转换方法可以有效改善这一问题，提升转换语音的自然度与相似度。
进一步，凌震华副教授谈到了在非平行语料条件下的语音转换，并表示这种场景普遍存在于实际应用中，也更有难度。基于非平行数据构造平行数据，以及分离语音中的文本与话者表征，是实现非平行语音转换的两条主要技术途径。
随后，凌震华副教授重点介绍了所提出的基于特征解耦的序列到序列语音转换方法，该方法在序列到序列建模框架下实现语音中文本相关内容和话者相关内容的分离，取得了优于传统逐帧处理方法的非平行语音转换质量，接近使用同等规模平行数据的序列到序列语音转换效果。
最后，凌震华副教授表示：
以下是凌震华副教授在 CCF-GAIR 2020「前沿语音技术」专场中的演讲内容全文，雷锋网对其进行了不改变原意的编辑整理：
谢谢大家，今天我的报告题目是《基于表征解耦的非平行语料话者转换》。
之前各位老师已经介绍了语音技术领域的若干研究任务，如声纹识别、语音分离与增强等。话者转换是一种语音生成的任务，同时这个任务也和说话人的身份信息相关——之前介绍的声纹识别是从语音中识别身份，而话者转换是对语音中身份信息的控制和调整。
我的报告会围绕三个部分进行：
话者转换，又称语音转换，英文名为 Voice Conversion，指的是对源说话人的语音进行处理，使它听起来接近目标发音人，同时保持语音内容不变。
类比于计算机视觉领域的人脸替换工作，如 Deepfake 等，话者转换是对语音信号中的说话人身份信息进行处理，其应用领域包括娱乐化应用和个性化的语音合成等。同时，身份的匿名化、一致化也会使用到话者转换技术。
话者转换技术经过了从规则方法到统计建模的发展历程。现阶段的基于统计建模的话者转换方法，其转换过程通常包括三个主要步骤：
今天我们介绍的内容主要围绕中间的统计声学模型展开。在对于话者转换任务的背景介绍后，下面着重介绍平行语料和非平行语料条件话者转换任务的区别、主要方法，以及我们做过的一些相关工作。
那么什么是平行语料？
在训练阶段，如果源和目标两个说话人朗读过同样的文本，就可以得到他们之间的平行语料。基于平行语料，可以直接建立转换模型描述两个说话人声学特征之间的映射关系。在转换阶段，输入新的源说话人声音，就可以通过转换模型进行目标说话人声学特征的预测。
在深度学习出现之前，在平行语料语音转换中，最经典的方法是基于高斯混合模型(GMM)的方法。
其基本的策略是，两个说话人录制了平行语料后，考虑到两个人的语速、停顿等不一致带来的声学特征序列长度差异，需要先利用动态时间规整（DTW）算法进行序列的对齐，得到等长的 X 序列和 Y 序列。接着，将每个时刻的源说话人声学特征与目标说话人声学特征进行拼接，进一步训练得到两个发音人声学特征的联合概率模型P(X,Y)。
进一步，我们由 P(X,Y) 可以推导出 P（Y|X）。在转换的时候我们就可以把源说话人的声学特征X 送到模型中，将目标发音人声学特征Y预测出来。使用的预测准则包括最小均方误差(MMSE)和最大似然估计(MLE)等。
不过，基于 GMM声学建模的语音转换质量还是不尽如人意。一方面转换的音质不够高，声音听起来有机械感；二是和目标人的相似度不够好。这些都和声学模型的精度不足有关系。
针对以上问题，自2013年开始，深度学习被广泛应用与语音转换的各个技术环节，如特征表示、声学建模、声码器等。今天重点关注的是声学模型，即如何更好的建模P(Y|X)。
现在来介绍我们早期所研究的一种基于深度神经网络(DNN)的语音转换方法，该方法使用的是逐帧转换的DNN声学模型。由于将DNN模型直接用于源说话人声学特征到目标说话人声学特征的映射，并基于传统MMSE准则进行模型参数更新，所取得的性能提升有限。因此，我们设计了一种产生式训练方法，用于训练语音转换DNN 模型参数。其思路是，先训练两个受限玻尔兹曼机(RBM)模型，将 X 和Y分别映射到相对紧凑、高效的二值表征；然后再建立一个双向联想记忆(BAM)模型，描述两个发音人二值表征间的联合概率；最后组合RBM和BAM，形成 DNN 模型，该模型参数不再需要基于MMSE准则的参数更新。实验结果表明，该模型对比 GMM在主观质量上具有明显优势。
不管是前面说到的 GMM 模型还是 DNN 模型，描述的都是帧到帧的映射关系，在模型训练阶段都离不开帧对齐步骤。对齐的过程难免产生一些对齐的误差与不合理的地方，这会影响语音转换的效果。
另外，这样的帧到帧映射模型不能转换时长。而实际情况是有的人说话比较快，有的人说话比较慢，怎么把说话人的语速特点体现出来呢？
后来，我们受到序列到序列神经网络在机器翻译、语音识别、语音合成等领域的应用启发，将序列到序列建模引入话者转换，以改善以上问题。我们的策略是利用结合注意力机制的编码器-解码器模型，直接建立输入源说话人声学特征序列与目标发音人声学特征序列之间的转换关系，中间不需要对齐操作，可以实现对于时长的控制和调整。将序列到序列建模用于话者转换任务，面临序列长度较长、数据量有限等困难。因此我们在模型结构设计上也做了一些针对性的考虑。
这是我们设计的模型结构。模型输入除了从源说话人语音中提取的声学特征序列外，还拼接了利用语音识别声学模型提取的文本相关特征，以协助序列对齐。模型输出就是从目标说话人平行语句中提取的声学特征序列。其中输出与输入序列长度并不一致。
模型采用结合注意力机制的编码器-解码器结构。为了降低序列长度过长对于建模的影响，我们在编码器中使用了金字塔结构的递归神经网络，以保证对齐效果。
以下是实验结果。图中横坐标是真实目标说话人语音的时长，纵坐标是转换后的语音时长。如果语音转换模型有比较好的时长调整效果，那么数据点应该落在对角线上。图中绿色点所示的是传统逐帧转换方法的结果，从中可以看出源与目标发音人之间显著的语速差异。红色点对应的是所提出的序列到序列语音转换方法，可以看出其取得了良好的时长转换效果。
进一步，我们来探讨非平行语料条件下的语音转换。这是一个更有挑战性的任务。由于很多时候我们需要使用已有数据构建话者转换系统，因此非平行数据条件在实际应用中普遍存在。
已有的非平行语料语音转换大体上有两个思路：
以Voice Conversion Challenge 2018 (VCC2018) 国际话者转换评测为例。其包括两个任务，主任务是平行数据条件，辅任务是非平行数据条件。我们针对此次评测，设计实现了基于PPG的语音转换方法。该方法利用语音识别模型从源话者语音中提取瓶颈特征作为话者无关的文本内容表征，同时利用目标说话人数据建立文本内容表征到声学特征的映射模型。由于该映射模型针对每个目标说话人分别建立，因此不需要平行语料就可以实现。
在VCC2018评测结果中，我们提交的参测系统在两个任务上均取得了转换语音自然度与相似度指标的第一名，其中自然度平均意见分(MOS)达到 4 分，相似度达到 80% 以上。
最后我再介绍一下我们近期开展的基于序列到序列模型框架的非平行语音转换方法的研究工作。虽然前面介绍的VCC2018方法可以取得较好的非平行语音转换效果，但是其仍存在一些不足。例如，基于语音识别器提取的文本内容表征中难以保证不含有说话人相关信息、语音识别模型和转换生成模型没有联合训练、仍采用帧到帧映射的模型框架等。
因此，我们提出了一种基于表征解耦的序列到序列非平行语音转换方法。该方法在序列到序列建模框架下，可以实现对于语音中文本相关内容和话者相关内容的有效分离。其核心思想如图所示。在训练阶段，利用识别编码器和话者编码器分别提取语音中的文本和话者相关表征。同时我们通过训练准则的设计保证这两种表征相互独立，不会纠缠。在训练过程中，我们也会利用语音对应的转写文本。从转写文本中提取的信息可以为从语音中提取文本表征提供有效参考。在合成阶段，通过组合从源说话人语音中提取的文本表征，以及目标说话人的话者表征，可以实现从源说话人语音到目标说话人语音的转换。
整个的模型结构如下图所示，由文本编码器、识别编码器、话者编码器、辅助分类器、解码器共5个主要模块构成。其中识别编码器和解码器类似与语音识别与语音合成模型，均采用结合注意力机制的编码器-解码器结构。文本编码器用于从转写文本中提取文本表征。解码器可以接收来自识别编码器或者文本编码器的输出，结合话者编码器给出的话者表征，进行声学特征的重构。辅助分类器用于实现与识别编码器的对抗学习，以保证识别编码器提取的文本表征中不含有说话人相关信息。由于时间原因，各模块具体的模型结构不再一一展开介绍。
以上各模块在训练阶段联合优化。为了实现有效的表征解耦，我们共设计了7种损失函数用于指导模型参数更新，包括音素分类损失、话者表征损失、对比损失、对抗训练损失、重构损失等。
以下是一些实验结果。从客观评测结果中可以看出，对比CycleGAN和VCC2018两种非平行语音转换方法，我们提出的方法可以取得最优的梅尔倒谱失真(MCD)以及清浊判决错误(VUV)。在转换时长误差(DDUR)上，所提方法由于采用了序列到序列建模框架，也显著优于其他两种方法。在主观评测中，我们所提出的非平行语音转换方法，也取得了接近序列到序列平行语音转换的性能。
总结报告内容，序列到序列话者转换方法在时长调整、长时相关性建模等方面有其优势，但是将该方法从平行数据条件推广到非平行数据条件存在挑战。特征解耦是解决这一问题的有效途径，通过序列到序列框架下的模型结构与损失函数设计可以获取相对独立的文本与话者表征，进一步实现非平行数据条件下的高质量语音转换。
另一方面，现阶段的话者转换技术还面临一些挑战，包括跨语种转换、低质数据场景、可控转换、实时转换等，这些都是后续值得进一步深入研究的内容。
以上是我的介绍，谢谢大家！
原创文章，未经授权禁止转载。详情见 转载须知 。
本文地址： https://www.gpxz.com/article/8f05dc47c385293fad2f.html
沧州博川网络科技有限公司成立于2008年,为您提供标准高效的网站建设开发,软件定制开发服务,沧州做网站请致电:15690260700
www.3.biz|商业搜索引擎，是中小企业实现采购搜索和网络营销的B2B电子商务平台。帮助中小企业更快，更有效的达成交易。
广东莞彩广告有限公司专业从事喷印,喷绘,东莞喷绘,东莞喷绘制作,东莞广告喷绘,东莞喷绘广告,东莞喷画公司,东莞广告喷画,平板UV彩印,卷材UV喷绘,实体工厂,拥有喷绘生产制作车间面积3000多平米，是广东喷绘行业规模最大的基地之一。
东莞市仁信五金制品有限公司专业生产道路护栏、标线标牌、波形护栏、铸钢减速带、铸铁护栏底坐、水码围栏围档等
平安国际融资租赁有限公司成立于2013年1月,注册资本138.96亿人民币,是中国平安下属专门从事融资租赁业务的全资子公司。金融融资租赁平台,我选平安。
港盛国际海外公司注册机构提供香港注册公司,香港公司开户,注册香港贸易公司,香港开户,注册香港公司,香港公司注册,离岸账户,香港银行开户,香港离岸账户,香港公司银行开户,开离岸账户,香港账户,新加坡银行开户,海外银行开户,离岸银行开户,注册美国公司,美国公司注册,注册香港公司多少钱,注册新加坡公司,新加坡公司注册等服务。
中安在线网站由安徽新媒体集团主办，是安徽省惟一重点新闻门户网站。网站提供权威、及时的安徽新闻，并汇集了安徽社会、经济、文化、生活等各个方面最新信息资讯，是安徽最具权威性最快捷全面的新闻网络传播平台。
昆明高德建筑装饰工程设计有限公司拥有各类行内资深设计师，专注于酒店设计，会所设计，夜场设计，别墅设计的高端设计师团队。与港台知名设计公司长期有着深度合作，已成功服务多项大型工程设计，在酒店娱乐会所项目的设计理念上已经处于领先地位。本设计机构将以独特的设计，优秀的品质，合理的价格，专业的服务作为自己的追求。
MedixBiochemica是一家拥有芬兰背景的真正全球性公司，数十年来一直致力于为IVD行业服务。
广东金雷环保设备科技有限公司系高科技民营企业,主要产品有:加湿机,工业加湿机,工业加湿器,高压微雾加湿机,超声波加湿机,超声波加湿器,园林景观喷雾机,食用专用加湿机,烟叶加湿机等工业加湿设备
上海苏昌广告工厂是一家集设计，制作，施工一体化广告标牌服务商，主营：标识标牌制作生产厂家,精神堡垒广告牌,工地围挡厂家,导视牌厂家,酒店门牌等广告牌制作服务。
FoxJK工作室专注于互联网应用开发，帮助您利用互联网创造价值。
战争，是一个经久不衰的话题，许多玩家或许，都曾拥有一个在战争时期的梦，今天，豌豆荚小编就为大家整理了战争生存游戏大全，在游戏中体验战争中的刺激与惊险，在这个战乱纷飞的时期，只有一次次的谨慎选择，才能步步为营，1、，无悔华夏，每每说起过去的种种历史，总有让人尤其热血澎湃的时段，其中最为著名的就有三国时期，烽火连天，诸候将相，在这乱世谁主...。
香港服务器想要备案该怎么办?使用香港服务器的用户基本都是国内用户，为了方便节省时间成本的目的，而且对网站各方面还没什么影响，开通即用，而国内服务器在建设网站时，上线需要进行备案才能开通访问，香港对网站服务器的管理也比较宽松，所以很多用户在网站服务器上都喜欢选择香港服务器，对优化排名效果也是很好的，然而最近由于对互联网的进一步管理，使得...。
滴滴曾向外宣称，截至2016年9月，在国内移动出行市场，滴滴出行有不少于3亿人的，注册，用户，有不少于1300万人的滴滴司机，2016年10月28日，根据腾讯科技发布的一则消息，现任滴滴出行总裁的柳青在，华尔街日报，全球峰会上明确表示，滴滴出行的下一步，大战略，是要发展成为一家全球型，科技巨头，公司，国内有不止一名专业人士认为，柳青至...。
法律解决人们各种困难，还有各种纠纷，也解决人们之间的矛盾，所以法律的出现，就受到广大消费者的青睐，易法通法律是一家连锁品牌店，主打经营法律咨询和服务，专业的团队，利用专业的知识，给顾客带去专业的服务，所以受到很多人的喜爱和追捧，看到人们十分的好奇，想要知道，易法通法律服务专业吗，收费高吗，易法通法律服务专业吗易法通法律已经专注企业法律...。
一、引言，逃离方块是一款备受欢迎的益智解谜类游戏，以其独特的游戏设计和富有挑战性的谜题而闻名，从第一代开始，逃离方块就吸引了无数玩家的喜爱，并且随着时间的推移，开发团队不断推出新作，丰富了游戏内容，提升了玩家的游戏体验，本文将带您全面了解逃离方块全系列游戏的玩法与攻略，二、游戏背景，逃离方块全系列以一个被困在神秘立方体中的角色为主角，...。
雷锋网按，2018年12月20日，雷锋网将在深圳会展中心举办一场，AIoT，智慧城市峰会，在峰会前期，我们会对AIoT和智慧城市领域的公司进行梳理和报道，本文是对该领域中阿里巴巴公司的报道内容，2018年对于阿里巴巴来说是不平凡的一年，这一年，马云宣布一年后退居幕后，现任CEO张勇接棒董事局主席；这一年，阿里巴巴拓展生态，，平头哥，...。
安徽的一本大学有，1.安徽大学2.中国科学技术大学3.合肥工业大学4.安徽师范大学等，解释如下，安徽省是中国的一个教育大省，拥有多所高水平的一本大学，其中，安徽大学是安徽省的一所综合性重点大学，设有多个优势学科，为国内外培养了大量优秀人才，中国科学技术大学是安徽省的一所顶尖学府，以理工科见长，是国内著名的科研和教育基地，合肥工业大学也...。
破解版，严厉来说这不属于一种授权版本，由于它是针对商业版、试用版、共享版这类有经常使用限度的软件启动二次开发之后构成的不凡版本，也就是说，经常使用者可以在没有任何经济付出的条件下有限度的经常使用该软件的所有配置，普统统过改写原软件、制造算号器、阻拦注册消息等等形式成功，就是相当于要付费的道具不用人民币买了，难的关卡被简化了，有点相似盗...。
长安之星、长安V3等，依据查问长安汽车官方得悉，长安面包车一切车型为，长安之星、长安V3、长安V5、长安之星7、长安之星9、长安之星3，中国长安原名中国南边工业汽车股份有限公司，成立于2005年12月，2009年7月1日更为现名，长安面包车有哪些，长安面包车有，长安V5、长安之星7、长安之星5、长安之星9、长安V3等，以2021款长安...。
丰田小霸王商务车定位于小型商务车市场，其长宽高区分为4915mm，1830mm，1980mm，车身外观驳回了时兴的设计理念，以流利线条和大面积的镀铬装璜为主，车内空间宽阔明亮，具有丰田品牌一向的，人文关心，理念，不论是安保性还是行驶温馨性都是体现优秀的，以下是丰田小霸王商务车的几个值得留意的特点，丰田小霸王商务车驳回的独立悬挂系统，可...。
不平庸的2018当然就用不平庸的b8k3介绍什么软件看电视不要会员无广告有啊，破解版的PPTV或迅雷看看，你就可以间接看没有广告的电影电视节目标，我就是用的PPTV的，有什么能在电视高低载的影视软件，不要VlP就能看，普通不行吧，有这样的方法，那vip失去意义了，我试过电视家阅读器，全网搜查，或者能看到一些，但这个阅读器比拟卡，起初卸...。
多队竞争1米98前锋！休媒劝火箭别签他：一项缺陷和泰特相似,泰特,火箭,乌度卡,热火队,史蒂文斯,明尼苏达森林狼队
卡牌游戏长期以来便以其休闲和益智的特点而闻名，而国际上韩国的卡牌游戏知名度还是很高的，今天小编就为大家分享韩国卡牌游戏排行榜前十名2022，帮助大家了解一些非常好玩的韩国卡牌游戏，感兴趣的小伙伴一定要看下去哦，1、，召唤英雄，召唤英雄是一款放置类休闲养生的卡牌对战游戏，游戏的故事背景以人族和魔族之间的长达数世纪的战役为线索，让玩家在体...。
市面上很多模拟经营题材手游都能种花，那些漂亮鲜艳的花卉总是能让人心旷神怡，今天小编就来盘点高人气经营类种花游戏推荐，你是否也在向往田园种花的生活呢，在这里不仅能享受经营商铺的乐趣还能自由浇花种花、无论是月下赏花还是围炉煮茶都可以，赶紧一起来看看吧，1、，童话镇大冒险，童话镇大冒险，是一款比较受欢迎的模拟经营手游，你将在一座童话镇经营...。
门窗是每个家庭不可缺少的装修，而且现在人们对门窗的要求较高，不仅具备隔音，而且款式也要好看，所以市场上出现很多门窗品牌，其中就有安柏瑞门窗，安柏瑞门窗是大家熟悉的品牌，经营的门窗产品质量很好，受到广大消费者的青睐，创业者看到门窗行业的发展前景，想要了解一下，安柏瑞门窗的款式有哪些，今年发展如何，安柏瑞门窗的款式有哪些安柏瑞门窗集中产品...。
姚期智、VictorLessor、刘铁岩、NoamBrown、田源栋、漆远、叶杰平......无论是哪一位，在学术界和工业界都是举重若轻的存在，而在将于10月13日至15日在北京召开的国际分布式AI学术会议——DAI，DistributedAI，上，这几位大咖都将悉数出席！大家对于DAI这一学术会议可能还比较陌生，然而对于AI领域尤其...。
消息，根据国外科技媒体TomsHardware2月21日报道，英特尔，老将，RohitVerma将从AMD回到英特尔，担任英特尔GPU部门首席产品架构师，在过去的八年间，RohitVerma在AMD参与了台式机和笔记本的独显设计以及CPU、GPU、电源等更广泛的SoC架构设计，出走八年，，老马，重回最初的起点其实英特尔与Rohi...。
