思必驰俞凯 端到端与半监督语音识别的技术进展 (思必驰俞凯个人简介)
雷锋网按：如何低成本高效率地利用少量带标注的数据，挖掘大量语音数据中的有效信息，半监督学习正成为当下研究趋势之一。在这种趋势背景下，端到端的训练方法也正尝试结合预训练或先验知识，投入在语音识别网络的探索中。
在8月8日的CCF-GAIR 2020全球人工智能与机器人大会·前沿语音技术专场上，俞凯教授分享了端到端和半监督学习技术在语音识别问题中的最新研究思路及进展。
俞教授指出，在深度学习发展以来，语音识别研究领域现在所面临的问题，除了在工程技巧和数据对接上做一些工作之外，最重要的事情是长尾的非配合语音识别。
其中，具备高效率的高精度系统和高质量的精准大数据构建是两个比较重要的进展和趋势。
一是具备高效率的高精度系统。高精度语音识别在前几年已经超过人的识别，但是高精度语音识别在长尾上仍有很多工作值得研究。很重要的一点是，现在大家的关注点由一般意义的高精度语音识别变成高效率的语音识别。如何在保持高精度的同时，还要保证系统构建和复杂度、响应速度、规模化能力和灵活性都必须同等提高，这是目前端到端语音识别引起很大兴趣的原因。
二是高质量精准大数据。大数据很有用，但有了大数据，精度就能提高吗？其实并非如此，越来越多的人发现真正的大数据应该是结构上的大，而不仅仅是数量上的大，也就是要在声学因素的分布、监督信号获取和识别系统适配方面，有高质量的精准数据。于是，也就出现了很多半监督、生成式的数据扩充方法。
何为端到端，以及为什么需要端到端？
在俞教授看来，传统的识别框架是结构不同的模型模块组成，称之为异构识别系统。首先，它本质上不是统一的参数化模型，中间需要WFST解码器，对各个模块分别建模训练；其次，声学、语言、字典等模型的类型和结构本质上完全不同，且解码器是不可缺少的连接模块信息的核心，需要构建复杂的搜索网络。
端到端识别框架不同之处在于，在大数据的背景下，能通过完整神经网络实现声学信号到识别结果的直接映射，各个组成部分是“同构”的。今天报告中谈到的端到端更多指的是，直接或简单转换后输出结果是“词序列”。
从优势上讲，端到端能够降低复杂度，减少参数量（不是声学上的减少，有神经网络语言模型的参数来描述语言空间），从而使得训练的流水线得以简化。其次，大数据资源的使用更为简单，数据驱动更为友好；此外，搜索解码速度加快，但是否真的需要构建搜索网络，俞教授指出，这项研究目前存在争议。
端到端的定义与分类
端到端主要分为两类，一类是同步框架，另一类是异步框架，主要解决语音识别的两个基本问题：分类与对齐。解决“对齐”问题通常采用的思路包括：马尔可夫模型（HMM）、标签填充、序列解码网络等方法。其中，后两种是端到端中比较常用的方法。
同步端到端框架采用的是，与输入同步逐帧输出，通过引入blank标签实现变长序列对齐；异步端到端框架采用的是，输入与输出使用两个网络分别处理，使用attention（注意力机制）解决对齐问题。
同步端到端框架最典型的就是CTC和RNN-T：前者通过引入相应的标签填充，同时在条件独立性假设上，每一帧输出之间条件独立，而后者没有条件独立性的假设。
随后，俞教授详细讨论了异步端到端存在的研究价值和争议。
俞教授表示，异步端到端最大的特点是输出与输入没有统一的时钟，是两个不同的网络。
在encoder-decoder架构上，encoder对整体输入序列提取所有信息，然后根据输出的要求再进行输出，时钟和输出标签是逐词进行的。这时，会通过attention的方式处理对齐。一般情况下，输出序列的个数会远远小于时间帧的个数，这种情况下，输出序列信息速率会远低于输入信息速率，beam搜索效率会变得很高。
不少研究指出，异步端到端的识别精度会优于同步端到端模型（上文讲到的CTC 、RNN-T），但这目前也是存在争议的。
端到端的问题与挑战
即便端到端存在一定优势，但问题在于，类似于encoder-decoder这样的架构，实时响应迟延可能会变长；同时，端到端的提出主要是在声学数据上的训练，对语言数据使用的讨论不够充分，直到最近才有一些新的工作。那么，端到端具体会有怎样的挑战？
这种情况下双向的神经网络无法使用，只能用单向网络，这就造成输入的信息变少。这时，如果通过注意力机制进行在线化解码，从而得到即时的、短迟延识别结果，就会变得非常有挑战性。
为此，俞教授指出，当下解决端到端的在线解码迟延问题，已有的思路主要有三类：一是固定短时窗口预测（Neural Transducer）；二是基于单帧触发的变长窗口方法（MoChA，Triggered Attention）；三是基于多帧累计触发阈值的方法（Adaptive Computing Steps）。其本质都是只用历史信息或非常小的前探信息。
再回来上文所提到的，早期的端到端模型是融合声学语料文本的超大声学模型，它并不包括语言模型，那么海量的文本数据如何使用？
当前端到端框架下的文本数据使用的解题思路主要有三种：一是模型融合（Fusion）——将文本数据训练的神经网络LM，在decoder输出层进行插值融合； 二是语言模型模块嵌入——将端到端系统的部分网络作为LM建模，允许额外文本数据训练更新； 三是半监督训练——利用文本数据做端到端模型训练的数据扩充（无显示的语言空间建模）。
从海量数据到高质量精准大数据
想要从海量数据中提取到高质量、精准的大数据，最大的挑战在于没有监督信号、标注起来也很难。解决该问题主要会运用到三个思想：一是自监督预训练，二是半监督训练，三是使用生成数据训练。
首先是自监督预训练，这种思路下数据自身就是标注，不需要额外标注，这与自然语言处理使用词序列作为标注，设计一些训练任务使得能够提取比较好的预训练特征是比较一致的方法。比较典型的是wav2vec或结合了预训练模型BERT的方法，以及重构任务DecoAR。
其次是半监督训练，可以是海量无标注音频或海量文本加适量有标注音频的方式。大体思路也有三种：置信度选择、先验知识蒸馏、音频文本一致性训练。
在报告最后，俞教授还表达了对精准的环境数据扩充及语音合成研究方向的看好。对于语音合成，俞教授认为合成语音数据的难点在于，不同于语音识别，语音合成是一个信息增加的过程，这个过程需要解决的问题会更为复杂，往往这种“无中生有”的过程基本上是通过引入生成模型进行解决。比方说，在低资源数据下使用VAE建模说话人空间，或者不使用句子级的VAE，而是通过逐个Phone的音频提取隐变量序列z。这些都是当下比较主流的解决问题的思路。
（雷锋网雷锋网）
原创文章，未经授权禁止转载。详情见 转载须知 。
本文地址： https://www.gpxz.com/article/c46c052e5f1d391495c4.html
天元建设工程设计研究院隶属于建筑工程施工总承包、市政公用工程施工总承包双特级大型企业天元建设集团有限公司。
四川国恒建筑设计有限公司是一家专长于建筑设计、规划设计、策划咨询、景观设计，以及相关服务的综合性专业化设计机构。公司创建于1998年9月，执有中华人民共和国住建部颁发的建设工程设计甲级资质。经过多年的发展，现有二百余名工程设计人员，已成为区域综合排名前列的民营设计单位，成都市勘察设计协会副会长单位，四川省勘察设计协会理事单位，也是四川省拥有工程设计大师的民营设计单位。
中国数字科技馆是中国科协、教育部、中科院共建的一个基于互联网传播的国家级公益性科普服务平台
亿个村是关于乡村的网站,在这里可以找到一个村的介绍,相关图片,村里过去与最近发生的事
东莞市松联环保通风设备有限公司专业从事:东莞通风工程,东莞环保空调,东莞厂房降温,工业环保空调等,欢迎来电咨询,服务热线:13302618938/潘先生.
杭州冠航机械设备有限公司主营进口手拉葫芦、进口手扳葫芦、进口链条等，我们销售的高端优质手拉葫芦品牌源自美国、德国、日本生产厂家一手供货渠道进口正品专业售后满足您的需求！
地心科技
中国电子口岸数据中心
诚材培训学校开设东莞叉车培训,铲车培训,叉车证复审,挖掘机培训,电工培训,焊工培训,氩弧焊工培训,二氧化碳保护焊工培训，挖土机培训等培训，电话13713201360。
主要设备包括：矿山机械，工程机械装备，挖改潜孔钻机，钻孔爆裂一体机，挖掘凿岩机。
中宏建资（北京）管理咨询有限公司已为数百家建筑设计、施工、勘察、监理企业提供资质升级、并购、新办、增项、转让等专业业务。与2021年成立长沙全资子公司，实现南北双总部运营。
最近有消息称，经过记者耗时3个多月的调查，发现饿了么和美团外卖等平台，存在App麦克风，偷听，情况文中，，IT时报，的记者通过模拟使用场景，对安卓手机、iPhone和iPad上的饿了么和美团外卖进行多轮测试后发现，谈话提及某种食物后，出现相关推荐的概率高达60%，70%，此外，也有用户反映，在刚谈到想吃什么后，打开外卖App就可见到对...。
站在今天看过去，我们在上个世纪学到的大部分东西都是错的，因为过去的知识和技术是建立在产品生产和资本运作的基础上，最后的结果是东西多的卖不掉而钱都转移到少数人手里了，今天的知识和技术是建立在人的消费需求和人工智能，Ai货币公平分配和智能机器定制生产，基础上的，，人工智能基础应用，Ai货币，是新知识、新思维、新消费、新收入和新经济，带来全...。
9月27日，有网友发视频反映，江苏南通崇川区天生港镇街道一小区内，一阿婆被空中坠落的火钳扎到后背，29日，极目资讯记者采访得知，阿婆已可怜逝世，火钳是空中作业人员有意掉落，警方已找到关系责任人，据网友发布的视频显示，一阿婆趴在急救床上，左肩后侧被一把火钳扎伤，现场有急救人员正在处置，阿婆被一把火钳扎伤，现场视频截图，29日上午，辖区村...。
高通骁龙8Gen4+2K纯直屏，iQOO13通过认证,联发科,vivo,iqoo,智能手机市场,高通骁龙8ge
7月8日，中国人造资源部南海生态核心和南海开展钻研院独特颁布考查报告，揭发菲律宾合法，坐滩，军舰破坏仁爱礁珊瑚礁生态系统，△2024年较2011年，仁爱礁礁盘造礁石珊瑚笼罩面积总体增加约38.2%，图源，仁爱礁生态考查纪实短片，仁爱礁，南沙之泪，翌日，菲方宣布，申明，，对中方考查的论断予以否定，并经常使用大段篇幅诬称中国破坏南海陆...。
QQ电脑版的登陆入口是QQ官方网站或许QQ电脑版运行程序，首先，经过QQ官方网站启动登陆是最经常出现的模式之一，用户只有在阅读器中输入QQ的官方网站地址，而后在页面中找到登陆选项，填写自己的QQ号码和明码，点击登陆按钮即可成功登陆，这种模式的好处在于繁难快捷，用户无需装置任何软件，只有一个阅读器即可成功登陆，其次，经过QQ电脑版运行程...。
InnoSetup是一个免费的安装制作软件，小巧、简便、精美是其最大特点，支持pascal脚本，能快速制作出标准Windows2000风格的安装界面，足以完成一般安装任务。
FreePascalIDE是一款pascal语言编译器，软件运行稳定，步骤简练，且支持在多个处理器架构中运行，有需要的用户可以下载使用。
重庆分类目录网站收录黄页相关的优秀网站大全分类检索，为上网用户提供黄页网站排行榜与您分享、收藏！
拼返是指参与商品拼团，您参与拼团可随机获得一个拼团码，当这期商品拼团成功后，系统按取余规则抽取一个拼团码作为“幸运码”，此“幸运码”的拥有者即可获得鼓励金。例如：价值500元金条的百人团，这期拼团需要百人参与，每人支付50...
王者荣耀滕王阁皮肤全新重磅上线，从官方发布的最新角色人物皮肤预告视频内容，滕王阁联动皮肤造型非常的别致精美，吸引众多王者荣耀玩家的关注，很多玩家都不知道王者荣耀滕王阁皮肤怎么获得？下面就把详细的王者荣耀滕王阁联动皮肤获取攻略分享给大家。,王者荣耀滕王阁皮肤怎么获得王者荣耀滕王阁联动皮肤获取攻略
沈阳，一座传统的制造业城市，近年来，一直在探索发展数字经济之路，2021年10月18~19日，全球工业互联网大会在沈阳新世界博览馆再度召开，大会延续，赋能高质量·打造新动能，主题，省部级领导、院士、国内外专家、企业代表等出席大会，徐工汉云受邀参会参展，大会首日，辽宁省委书记、省人大常委会主任、党组书记张国清，中国科协党组书记张玉卓，工...。
全球治理的中国方案是一带一路，一带一路，TheBeltandRoad，缩写B&，R，是，丝绸之路经济带，和，21世纪海上丝绸之路，的简称，2013年9月和10月分别提出建设，新丝绸之路经济带，和，21世纪海上丝绸之路，的合作倡议，依靠中国与有关国家既有的双多边机制，借助既有的、行之有效的区域合作平台，一带一路旨在借用古代丝绸...。
提起适宜终身做头像的图片女卡通，大家或许会想到寻觅一些动漫图片，有些人想要寻觅适宜做头像的动漫图，而另一些人则宿愿找到几张难看的动漫女生图片，用来做头像，关于这种状况，上方将提供一些适宜做头像的卡通图片，宿愿能够协助到大家，1.适宜终身做头像的图片女卡通2.求适宜做头像的卡通图片3.谊仓男消坛还麦锣勾富4.愿你俩恩恩，意笃情深，此生恋...。
途乐xe售价是60万元左右，1、19款尼桑途乐Y624.0排量能够满足越野喜好者短途跋涉，穿沙，穿梭，只是低调的它覆盖在了陆地巡洋舰和帕杰罗的辉煌之下；2、尼桑途乐在越野行驶时，悬架系统能够施展最大行程，不会像防倾杆那样限度车轮行程，从而使一切车轮坚持紧抓低空，同时又坚持车身颠簸；3、新款途乐在越野方面也是十分强悍的，毕竟作为联结国维...。
不是，依据查问业百科得悉，起亚远舰2005款不是出口的，属于国产，远舰起源于起亚OPTIMA，与北京现代的索纳塔是同永世产平台，国际上市的这款车型的性能相当完全，领有电动天窗、前排两座椅电动调整等奢侈性能，安保装备有4安保气囊和气帘、倒车雷达以及车速感应式智能车门锁止系统，起亚远舰是继千里马和起亚嘉华之后，西风悦达起亚在中国汽车市场推...。
