腾讯AI手语解说亮相冰雪赛事 业务能力媲美真人 (腾讯手语识别)

文章编号:46317 最新资讯 2024-12-10 腾讯 数智人 AI

2022北京的冰雪赛场热闹非凡,相信即使没有看比赛这几天来你也一定被金牌、谷爱凌等热词刷屏了。

而和我们一起在屏幕前关注中国健儿们表现的还有一群处于无声世界中的特殊人群,尽管他们能够看到赛场上的精彩画面,不过对于赛场细节的解说却无法传入耳中。这些听障人士了解世界、对外沟通主要借助手语,以往我们经常能够看到央视等电视台的新闻节目中伴随的手语播报。而为了提升听障人群的观赛体验,手语解说这次也应运而生。

腾讯AI手语解说亮相冰雪赛事:业务能力媲美真人

在日前央视频APP的赛事视频中,一位担任手语解说的漂亮小姐姐出现在画面下方,见证了中国队夺金的各场比赛。与过往那些经验丰富、身经百战的手语老师们不同,这是她首次进行手语解说工作,却有着完全不逊于前者的准确度和反应速度。

仔细了解后才知道原来这次为央视频提供手语解说服务的并非真人,而是由腾讯打造的3D手语数智人“聆语”。

业务水平高超,“聆语”是怎样炼成的?

腾讯AI手语解说亮相冰雪赛事:业务能力媲美真人

如你所见,“聆语”有着高度接近真人的面部形象以及肢体动作,这为其塑造了与真人手语翻译无异的亲和力,在手语表达能力上,“聆语”具备以下四大特性:

为了打造这样一个具备拟真形象和高超手语翻译能力的数智人,腾讯云小微联合了腾讯PCG AI等技术团队,综合运用了3D数字人建模、多模态交互技术、机器翻译、语音识别和自然语言理解等技术。

比如“聆语”的外观形象和动作便依托了3D光照扫描还原、面部肌肉驱动、表情肢体手势捕捉等技术,做到了高度还原真人发肤,动作自然不生硬。

在最关键的手语表达上,“聆语”基于《国家通用手语词典》的标准手语,和深度的机器学习训练,以及针对体育、艺术等专业领域的优化补充,目前共掌握约160万词汇和语句。在解说比赛时,会先通过机器翻译将比赛解说的健听人语言低延迟转化为高准确率的手语语言表征,再运用腾讯多模态端到端生成模型,进行联合建模及预测生成高准确率的动作、表情、唇动等序列,实现自然专业且易懂度高的手语效果。

并且“聆语”具备快速学习补充新词热词、根据业务场景快速学习专业用语的能力,像应对本次赛事手语解说就针对体育赛事方面的用语做了定向优化,覆盖了超过15000个相关词汇。

赛事解说之外,手语数智人前景可期

投入多部门的技术力量打造服务于少数弱势群体的手语数智人,除了基于腾讯“科技向善”的理念和愿景外,也有手语翻译/解说在现实运用层面的需求。

虽然手语是听障人士沟通和理解事物所依赖的重要方式,但由于精通手语翻译的人才偏少,在面向大众的视听内容中手语翻译覆盖范围低,以往国内多数电视新闻、文娱节目无法保证能配备同步的手语翻译,更遑论网络视听内容;同时手语存在较大的区域方言差异,国家在2015年推出的通用手语,仍需要持续的推广,传媒节目由于需要对大量复杂语句进行肢体动作上的实时表达,往往准确度、可懂度并不高,也依赖于全国性的媒体节目进行手语“普通话”的持续普及。

而像“聆语”这样以数智人形象呈现的AI手语翻译出现,正有利于解决上述的两大困难。作为AI产品的“聆语”能够几乎无限制地广泛部署,解决专业手语翻译数量不足的问题;而其基于机器学习的表达能力随着时间推移相比真人也会更为精确可懂。

2021年10月广电总局在《广播电视和网络视听“十四五”科技发展规划》也提到,要推动虚拟主播、动画手语广泛应用于新闻播报、天气预报、综艺科教等节目生产,创新节目形态,提高制播效率和智能化水平。

因此可以预见的是,在国家及相关企业推动下,未来“聆语”及类似的AI手语翻译、手语主播将会被部署运用在体育赛事之外的其它视听节目当中,给予听障人群更友好的观看体验,在大型会议、活动直播、影视作品等方面的运用也有着可期的前景。

值得一提的是,AI手语主播只是腾讯在数智人业务探索方面的其中一个方向,据了解腾讯云小微联合PCG AI、AI Lab等团队打造了多个数智人方案,涉及金融、传媒、政务、家居、教育、展会等多个领域。

比如用于为在线客户进行智能化服务的银行数智员工,用于引导开户的证券交易客服,协助旅客查询信息办理业务的民航数智地勤,以及展会导览助手、景区导览助手等,这些数智人都有着强大的AI能力,未来在各行业中无疑将扮演越来越重要的角色。

原创文章,未经授权禁止转载。详情见 转载须知 。

腾讯AI手语解说亮相冰雪赛事:业务能力媲美真人


本文地址: /article/6ee9040f931bdf4d8d4d.html
全局中部横幅
全局中部横幅
百度智能门户AIPage - 网站建设设计制作开发 - 小程序开发

百度智能云官方推出,无需代码,快速搭建“PC网站、手机网站、百度智能小程序、微信小程序、支付宝小程序、微信公众号、百家号、微博号”八合一站点。

缩链短链接-短信社群营销-短网址SaaS-专属域名提升推广效果

缩链网址缩短服务,支持企业用品牌域名或多个专属生成短链,提升用户点击率,减少域名封禁损失,支持企业多级账号管理,专业服务支持,提供推广数据分析,防广告劫持,全面API支持,高性价比

微信编辑器 微信模板 - 站长工具

微信编辑器是一款免费的微信公众号在线图文排版工具,提供微信图文、微信文章、内容排版、文本编辑、素材编辑、指纹识别在线制作、手机预览等功能,微信编辑首选站长工具微信公众平台编辑器。

行测_行测答题技巧_公务员行测题库_中公教育网

【中公教育行测-行测备考平台】提供行测答题技巧、行测题库、行测常识,涉及公务员、事业单位、教师、银行、国企招聘等行测资料及试题。

金山云-全球高品质云服务专家

金山云,全球高品质云服务专家,云计算领先平台,云产品解决方案,游戏云平台,先进医疗云平台,专业政务云、音视频解决方案

雨后池塘-我的小屋:心灵疗伤“治愈系”社交空间

雨后池塘“心灵疗伤”小屋,让房主在紧张快节奏的社会里,拥有一个放松心灵、疏解压力的“治愈系”社交空间。

洛阳做网站800元起|网站制作_洛阳云搜网络科技有限公司

洛阳做网站800元,快速制作企业X立官方网站!欢迎咨询:13938854949

乐清市东博机电有限公司

乐清市东博机电有限公司创办于2003年,座落有“国家精密模具生产基地”之称的浙江省乐清市,公司已通过IS09001:2015&IATF16949认证,具有严密的品质控制体系,信奉“质量可靠,客户至上,精心精作,竭诚服务”的管理理念。

手信宝

手信宝、家校通、微信公众号家校通、幼儿园接送系统、安全接送、校车接送、校车管理、校信通、中小学进出管理、中小学安全

房屋查验咨询师技能培训证书报考_找验房师验房机构_就上验房师人才网

验房师人才网:专注于房屋查验咨询师职业技能培训及技能证书报考工作,同时收录大量验房师人才及第三方独立验房机构信息,为广大有验房需求的业主提供免费信息咨询服务。

农特产品_美食餐饮_生活服务_大凉山建设网_会东尊卓建筑劳务有限公司

大凉山建设网是会东尊卓建筑劳务有限公司基于互联网打造的线上销售平台,用于销售农特产品,美食餐饮等产品及生活服务,咨询电话:15283472690

全局底部横幅