解读AI手语翻译机的技术硬核 (爱手语手势)

文章编号:37329 资讯动态 2024-11-30 优图实验室 手语识别

雷锋网按:据2019年3月份世界卫生组织公布的最新数据,超过全世界人口的5%(约4.66亿人)患有残疾性听力障碍。据估计,到2050年这一数据将达到9亿。与此同时,手语作为听障者使用较多的语言,能正确理解手语的健全人士却寥寥无几。

5月16日,腾讯优图实验室联合深圳市信息无障碍研究会发布“优图AI手语翻译机”。据官方资料显示,用户通过面对翻译机摄像头进行手语表达,翻译机屏幕界面便能快速把手语转换为文字。

解读AI手语翻译机的技术硬核

据公开资料显示,腾讯优图实验室创立于2012年,是腾讯三大人工智能实验室之一。去年,腾讯优图实验室已升级为腾讯计算机视觉研发中心。此外,更与国际期刊《科学》达成战略合作,共享在计算机视觉领域的资源和信息。

手语识别技术,潜行多年

任何技术的发展都不是一蹴而就的,尤其是近些年来,优图AI手语翻译机也并不是第一款针对手语应用的的产品,在此之前,手语识别技术已经发展多年,包括国内IT企业级科研院校都曾针对这一技术进行研究,并有此类成果和产品推出:

2013年7月, 微软团队和中国科学院计算技术研究所进行合作,通过Kinect For Windows创建手语识别软件,可根据手语动作的追踪识别转换成正常人能够读懂的内容;

2018年2月, 中科大发布了一篇手语识别的论文被人工智能顶级学术会议AAAI 2018收录;该论文提出一种新型连续手语识别框架 LS-HAN,无需时间分割;

2018年3月, Magic Leap的头戴式设备识别手语和文本“感官眼镜”,据3月新专利申请,相关信息概述了使用头戴式设备检测和翻译手语的方法,并介绍了如何识别标牌和店面上的文字;

2018年7月, 软件开发者 Abhishek Singh展示了一款能够理解手语手势的 MOD,通过摄像头的捕捉和深度学习,让亚马逊 Alexa 对手语手势作出反馈;

解读AI手语翻译机的技术硬核

2018年12月, 爱奇艺研发的AI手语主播在中国网络视听大会上首次亮相,可识别用户语音并转换为文字,还能对健听人自然语言进行理解,并智能翻译为手语表达。

手语识别技术的困境与突破

传统的手语识别方法通常会针对特定的数据集设计合理的特征,再利用这些特征进行动作和手势的分类。受限于人工的特征设计和数据量大小,这些方法在适应性、泛化性和鲁棒性上都非常有限。

近年来,得益于大数据和深度学习技术不断的进步,人工智能算法的发展也水涨船高,尤其在计算机视觉、音频处理和自然语言处理等方面,这助推了AI算法在许多应用和场景中实现落地,研究人员开始尝试应用深度学习和数据驱动的算法来解决手语识别中的难题。

然而,不同于大部分的计算机问题,手语特有的地域性、复杂性和多样性给AI算法带来了难度。不仅增加了数据采集和清洗的成本,也使得这门技术的落地存在很大的挑战,难以被实际应用。

目前,针对解决听障人群沟通问题的研究,其研究方向多集中在将文字转化成手语;反过来,将听障人群的手语转化成文字就比较难了。

据公开资料显示,雷锋网了解到腾讯优图实验室手语识别数据集覆盖了近千句日常表达,900个常用词汇。此外,优图AI手语翻译机能够实现整句的识别和翻译,用户表达的时候可以将整个句子连贯表达完毕,不需要设定特定的结束或起始动作,也无需在句中故意停顿或放慢速度。

优图AI手语识别技术的实现方法

据官方资料显示,优图AI手语翻译机核心技术是与听障者手语表达高度符合的数据集与手语识别算法。

解读AI手语翻译机的技术硬核

针对AI手语翻译机的手语识别数据集、特征提取器等关键技术能力,雷锋网根据官方资料整理如下:

手语识别数据集

目前,AI手语翻译机的数据集覆盖近千句日常表达,900个常用词汇。此外,采集数据集还考虑了手语表达的地域性和多样性,包含了不同的表达习惯和速度。

特征提取器

结合普通2D卷积网络和3D卷积网络的优势,通过2D卷积网络来提取手语中的手势和身体姿势等静态信息,同时通过3D卷积网络来提取手语中普遍存在的细微而快速的变换动作的动态信息,最后将这两个信息相结合,产生最后的特征表达。

通过结合应用视频中的动态、静态信息,从而实现利用单纯的RGB视频图像进行手语识别。

句子表达中挖掘词级信息

该算法在视频帧与最后的输出之间加入了词级信息提取单元,词级信息提取单元利用长短时网络充分考虑特征提取器所提取出的信息,并结合视频中相邻的信息计算出词级的特征表达。这个单元使得算法能够更好地在句子中找到词语表达的边界,并提升对各种地域性表达的总结能力。

单句切分并充分考虑句中上下文信息

算法在提取词级信息的基础上还会充分将整句中的上下文信息进行综合考虑,然后再输出最后的识别结果。同时,为了减少用户在使用过程中的限制,技术团队在手语识别之前加入人脸检测和动作检测两个模块,用人脸检测确定手语表达者的位置,然后用动作检测判断用户是否在进行手语表达。

优图AI手语翻译机的“剑走偏锋”

目前来看,虽然AI手语识别技术受限于计算机性能、语料库丰富程度等因素的影响,但是随着人工智能和图像识别技术不断受到关注,目前包括旷世、商汤等国内独角兽企业,以及国内的BAT、国外的谷歌、微软、亚马逊,无不针对这一技术砸重金立项研究。

在智能语音技术带来了智能音箱后,AI视觉技术是否能带来类似的爆款硬件产品,此前大家更多关注的是受众人群更大的智能摄像机,腾讯优图此次发布的“优图AI手语翻译机”虽然难免有些“剑走偏锋”,却也不失为是一种更为场景化的应用和尝试。至于是否能为特殊人群带来真实便利,还有待真实应用场景中的用户反馈数据来呈现。

原创文章,未经授权禁止转载。详情见 转载须知 。


本文地址: https://www.gpxz.com/article/8f7d4b214f1c7dbe0d7c.html
全局中部横幅
全局中部横幅
京通招聘网

为求职者提供免费注册、求职指导、简历管理等服务,职位真实可靠,上京通招聘网-北京通州招聘网站,找到满意工作

我就是要红

《我就是要红》是一款好玩的娱乐圈互动小说,免费文字avg,可以玩的视觉小说。本游戏的作者是【情商女王】。你原本只是个七八线小明星,却被暗害毁容。换脸隆胸不换心,抱着复仇的决心重回娱乐圈。逆袭的路上,冷漠的霸道总裁迅速让你搏出位,邪魅风流的投资人为你豪掷千金。你在这个名利被无限放大的修罗场,披着华丽的战袍,戴着奢华的皇冠,一步步走向属于你的王座,复仇恋爱两不误!

重庆久韵盈科技有限公司

重庆久韵盈科技有限公司www.cqjiuyunying.com经营范围含:摄像摄影、防洪工程、棉织物、试验机、节气门清洗、物流设备、运输、水果批发、玩具配件、服装纺织(依法须经批准的项目,经相关部门批准后方可开展经营活动)。

重庆洁洛环保科技有限公司

重庆洁洛环保科技有限公司是一家专注于污水治理产品的研发、生产、批发的高科技企业。公司主要生产销售:聚丙烯酰胺(PAM),聚合氯化铝(PAC),醋酸钠,工业葡萄糖,葡萄糖酸钠,柠檬酸,草酸,片碱,纯碱,活性炭,COD去除剂等多种药剂。产品广泛用于:洗砂、洗煤、造纸、酿酒、食品、屠宰、养殖、制药、电镀、纺织印染、市政污水处理、工业污水处理等行业领域。

威马汽车官网

威马汽车科技集团(WMMotor)成立于2015年,公司名字取自德语世界冠军(Weltmeister)。作为扎根于中国的硬科技创新代表,威马汽车自创立之初便制定了明确的集团发展“三步走”战略。威马汽车始终秉持”科技普惠“的初心,以“用得爽、用得起”的产品和服务,让每个中国家庭都拥有属于自己的新能源智能出行生活。

快米

百城人才网专注于百城的人才招聘网站,提供百城人才网招聘信息以及求职信息,打造百城地区具有影响力的网上人才市场,及时高效地为企业和人才服务。

乐变平台

乐变是专注于为应用开发者提供应用内热(自动)升级服务,以及加固技术的平台,目前乐变平台已经可以支持95%以上的应用的App实现分包和自升级的功能,帮助应用开发者实现零流失的产品升级,以及高效的产品线上和线下推广服务。

YY
YY

YY致力于打造全民娱乐的互动直播平台,以多样的美女互动、优质的直播内容、极致的互动体验,满足用户音乐、舞蹈、户外等直播及绝地求生、王者荣耀等热门游戏直播的观看需求。

瑞世佳华

瑞世佳华是一家专业的仪器代理服务商,引进世界先进的测试测量技术,经营激光测振仪,多普勒激光测振仪,模态分析测试系统,示波记录仪,应变及振动监测分析系统,振动试验系统,振动传感器校准,信号调理等仪器设备,为客户提供完整的解决方案。

云快付国内领先移动支付平台

云快付致力于为企业提供便捷高效的第三方支付接入服务

广州市领航阁楼货架

广州市领航阁楼货架成立于2007年,专业从事于重型货架、阁楼货架的设计、生产、销售、安装以及售后为一体的仓储货架制造企业。


全局底部横幅