商业语音识别系统存在高错误率 研究发现 (商业语音识别软件)

文章编号:40799 最新资讯 2024-12-03 语音识别系统 特征提取 ASR

雷锋网讯,“某些语音识别系统(ASR)的准确性可能要比之前假定的差很多。”这是最近约翰·霍普金斯大学、波兰波兹南工业大学、弗罗茨瓦夫科技大学以及初创公司Avaya的研究人员一项正在进行的研究主要发现。

这项研究对内部创建的数据集上的商业语音识别模型进行了基准测试。共同作者声称,词错误率(word Error Rate, WER)(一种常见的语音识别性能指标)要显著高于最佳报告结果,这可能表明自然语言处理(NLP)领域存在更多待克服的问题。

据了解,目前ASR已广泛应用于诸多场景中,如电话会议、电子邮件、智能设备等。ASR模型的综合基准中,标准语料库的WER仅有2%~3%,而正是这一统计数据遭到了上述作者的质疑。他们声称,大多数ASR的交互场景都是在“类似于聊天机器人”的背景下进行的,说话人往往因为意识到跟他们的交互对象是聊天机器人,因此通常会将命令简化成结构紧凑的简短词语,而非正常的自然对话。

作者基于来自1595个供应商和1261个客户的50个呼叫中心对话数据集对几套ASR系统进行了评估。其通常时间长达8.5个小时,其中2.2个小时是对话。通过测试,作者发现ASR系统的错误率基本在15%以下,这与基准测试中的2%相悖。

研究发现,商业语音识别系统存在高错误率

研究人员将这一问题归结为领域适应性问题——基准测试使用了单一性语料,例如Librispeech(1000小时英语有声读物录音)、WSJ(新闻口述的谈话)和Switchboard(电话交谈),这些都可能太过简单而无法真正挑战ASR系统的可靠性。

而且,尽管他们试图刻意模仿真实、自发的对话,但本质上还是受约束的,比如需要配音演员,就某一合适主题进行脚本/半脚本对话,而且正是由于配音演员的存在,几乎都不需要考虑因性别、母语因素而产生的发音问题。

作为一种补救措施,研究人员建议ASR和NLP社区收集和注释音频数据集,使其更好地与ASR系统的实际应用场景保持一致,他们还呼吁建立更具包容性的声学模型,更广泛的方言语料库,这些改变将会促进音频信号处理的技术改进。

因此,这些问题并非无法克服。“学界和工业界应该深思熟虑,考虑可以创建高质量的测试数据集。我们认为,对ASR准确性的过于乐观会损害NLP领域下游应用程序的开发。”研究人员最后表示。

雷锋网讯,“某些语音识别系统(ASR)的准确性可能要比之前假定的差很多。”这是最近约翰·霍普金斯大学、波兰波兹南工业大学、弗罗茨瓦夫科技大学以及初创公司Avaya的研究人员一项正在进行的研究主要发现。

这项研究对内部创建的数据集上的商业语音识别模型进行了基准测试。共同作者声称,词错误率(Word Error Rate, WER)(一种常见的语音识别性能指标)要显著高于最佳报告结果,这可能表明自然语言处理(NLP)领域存在更多待克服的问题。

据了解,目前ASR已广泛应用于诸多场景中,如电话会议、电子邮件、智能设备等。ASR模型的综合基准中,标准语料库的WER仅有2%~3%,而正是这一统计数据遭到了上述作者的质疑。他们声称,大多数ASR的交互场景都是在“类似于聊天机器人”的背景下进行的,说话人往往因为意识到跟他们的交互对象是聊天机器人,因此通常会将命令简化成结构紧凑的简短词语,而非正常的自然对话。

作者基于来自1595个供应商和1261个客户的50个呼叫中心对话数据集对几套ASR系统进行了评估。其通常时间长达8.5个小时,其中2.2个小时是对话。通过测试,作者发现ASR系统的错误率基本在15%以下,这与基准测试中的2%相悖。

研究人员将这一问题归结为领域适应性问题——基准测试使用了单一性语料,例如Librispeech(1000小时英语有声读物录音)、WSJ(新闻口述的谈话)和Switchboard(电话交谈),这些都可能太过简单而无法真正挑战ASR系统的可靠性。

而且,尽管他们试图刻意模仿真实、自发的对话,但本质上还是受约束的,比如需要配音演员,就某一合适主题进行脚本/半脚本对话,而且正是由于配音演员的存在,几乎都不需要考虑因性别、母语因素而产生的发音问题。

作为一种补救措施,研究人员建议ASR和NLP社区收集和注释音频数据集,使其更好地与ASR系统的实际应用场景保持一致,他们还呼吁建立更具包容性的声学模型,更广泛的方言语料库,这些改变将会促进音频信号处理的技术改进。

因此,这些问题并非无法克服。“学界和工业界应该深思熟虑,考虑可以创建高质量的测试数据集。我们认为,对ASR准确性的过于乐观会损害NLP领域下游应用程序的开发。”研究人员最后表示。

(雷锋网雷锋网)

原创文章,未经授权禁止转载。详情见 转载须知 。


本文地址: /article/d1b734217917ef356053.html
全局中部横幅
全局中部横幅
化妆品护肤品品牌_美妆行业门户网站-思梦肽美妆网

思梦肽美妆网是美容护肤行业门户网站,报道美妆行业发展趋势,市场分析与新闻动态,汇聚国内化妆品公司、化妆品品牌、护肤品品牌及专营店动态信息.

凉拌鸡腿怎么做_凉拌鸡腿的做法_晴晴的减脂食记_豆果美食

凉拌鸡腿的做法,凉拌鸡腿怎么做请看步骤:1.如图所示2.拌匀即可✅3.成品✌️

洛阳氟钾科技股份公司

洛阳氟钾科技股份公司洛阳氟钾科技股份公司隶属于万向集团,公司主要从事萤石资源的勘探开采、开发利用及销售,钾长石资源研发、生产等,以高新技术产品的研发和综合利用为发展方向,主要产品有萤石原矿、萤石粉、无水氟化氢、氟石膏、氟硅酸、白炭黑等产品。

义乌市事营信息科技有限公司

每天更新超多的游戏攻略,很多不同的游戏攻略都有,让您轻松领先别人一大步

禾川科技首页-松下伺服电机,松下PLC工业自动化产品厂家-禾川科技

浙江禾川科技股份有限公司(HCFA)成立于2011年11月,是一家专注于工业自动化产品的研发、制造、销售及应用集成的高新技术企业。其产品广泛应用于光伏、3C、锂电、机器人、包装等领域。

软件下载中心_绿色免费软件_装机软件-超人软件站

超人软件站是一个多种免费软件下载站,集合了手机软件,应用软件,图像软件,视频软件,聊天软件,安全软件,系统软件等多种软件下载为主,供用户选择,更是没有违规的广告软件下载中心.

精密-五金-汽车-平板-手机-灯杯-灯具冲压件-冲压拉伸件-和润能源科技东台有限公司

和润能源科技东台有限公司是一家集模具设计、模具制造、精密冲压、CNC加工、组装,并可代客户进行产品开发、加工、融五金、塑胶制品为一体的复合型配套生产企业。专业从事NOTEBOOK零组件,手机零组件,LED灯杯,灯壳等数码电子产品冲压零件加工

东莞市创音电声科技有限公司_喇叭_耳套_喇叭,耳套,耳机头条,耳机包,耳机盒,头带

东莞市创音电声科技有限公司成立于2005年,专注电声配件领域17年,年产喇叭6000万只,耳套3000万只,为中、高端耳机提供合适的喇叭、耳套、头带_电子电工

热镀锌钢格板_镀锌格栅_水沟盖板_钢格栅盖板_镀锌踏步板-无锡益圣达钢格板

无锡益圣达钢格板有限公司是生产钢格板,钢格栅盖板,格栅类产品的厂家,主要产品有热镀锌钢格板,镀锌格栅,水沟盖板,钢格栅盖板,镀锌踏步板等,规格齐全,库存足,厂家直销价格更加优惠,同时接受定制服务,专业设计师服务,提升客户体验

四川发展(控股)有限责任公司

“5.12”汶川大地震发生后,为创新投融资体制、解决四川跨越发展中的资金难题、推动重大基础设施项目建设和“5.12”灾后重建,四川省委决定通过资产重组、分类整合存量资产的方式组建省级综合型投融资公司和专业产业投资公司,并于2009年1月正式授牌成立了四川发展(控股)游戏那责任公司,公司注册资本金800亿元。

昆明公司团建_昆明拓展训练_昆明户外团建_齐扬团建管家

齐扬团建管家是一家专注于提供创意团建活动策划服务的平台,业务涵盖公司部门员工团建,企业团队拓展训练,青少年户外拓展活动,中小学劳动研学社会实践,党建带团建红色文化旅游,商务会议会务培训,周末休闲度假游玩,暑期军事夏令营,组织体育运动赛事等策划内容。

全局底部横幅