一帮不懂手语的工程师研发出了会比手语的AI主播 (不懂的手语)
雷锋网消息，5月17日，搜狗CEO王小川在搜狐科技5G&AI峰会对外发布了新一代搜狗AI合成主播——手语AI合成主播“小聪”。
作为搜狗AI合成主播经过两年多时间迭代后的新品，手语AI合成主播集成了超写实3D数字人建模、机器翻译、多模态数字人生成、迁移学习、实时面部动作生成及驱动技术。据搜狗官方信息显示，在组织的聋人可懂度测评中，搜狗手语AI合成主播可懂度达到了85%以上。
搜狗这款手语AI合成主播研发初衷是什么？
为什么有了语音识别生成字幕技术后，还要做搜狗手语AI合成主播？
搜狗手语AI合成主播与一脉相承的语音识别、AI分身在技术研发过程中又有何异同？
这些问题都在5月19日的媒体沟通会上由搜狗AI交互技术部总经理陈伟及他的团队进行了一一解答。
研发初衷：听障人士看字幕如学外语般艰辛
2018年11月，搜狗与新华社合作研发的AI合成主播正式问世，几经迭代后，在2020年5月，又与新华社联合推出了3D AI合成主播。
当时陈伟和他的团队在为搜狗为3D AI合成主播规划未来发展方向时，着重考虑了三个方面：
第一，要把3D能力做好；
第二，我们希望搜狗在“数字人”这个方向上有自己更高的技术壁垒；
第三，我们要找到有强烈需求的场景。
综合考虑场景、渠道和技术迭代中的创新后，2020年5月，手语AI合成主播在搜狗内部正式立项。
既然有字幕了，还要手语干什么？
这也是搜狗手语AI合成主播立项之初，陈伟当时需要考虑的问题。
对此，陈伟总结了三方面原因：
第一，并非所有听障人士能看懂字幕。
在我国2700万听障人士中，整体受教育程度参差不齐，有高中、大学学历的听障人士在这一群体中仍然只占非常小的比例，现在大家对字幕获取的能力还在逐渐培养中，要想让绝大部分听障人士看懂字幕还有很长的路要走。
第二， 「有字幕」这件事儿和「做手语」不是必须二选一的。
我们在了解信息、获取信息过程中必然会通过多种方式，我们自己在看电影的时候，有时候尽管中文的电影我们可能也会看字幕，大家本能的想法是我怎么能更快更高效的获取信息，他能看懂字幕更好，如果看不懂，还有手语可以提供信息。
第三，手语语言和有声语言之间是完全不同的语言体系，听障人士对有声语言的接受程度类似健听人对第二外语的接受程度。
听障人士即便学习了汉语，对他来说也是第二语言，就像我们在学习英语过程中，尽管我们学习了很长时间，但还是很难产生熟悉的感觉。
与此同时，听障人士在学习汉语的过程中其实天生是有障碍的，因为汉语或者普通话更多的是表音文字，每个字都有发音，我们之所以能够快速学习语音，是因为有语境。我们跟别人沟通的时候，沟通的前提是眼睛看着大家，看到了唇形，同时听到了声音，结合在一起是多模态的，但是听障人士在听力上天生有障碍，就少了一个因素让他更快地学习有声语言。他们之所以学手语学得快，是因为手语是视觉语言，不需要辅以声音进行理解。从这个角度来看，手语短期内不可能完全被字幕替换掉，它仍然是听障人士的主要学习方式，手语表达也更符合听障人士的习惯。
就在搜狗手语AI合成主播发布的同时，搜狗还对外发布了柳岩同款明星“数字人”。
据陈伟透露，柳岩同款明星“数字人”从录制到上线用了有一个月的时间，其中录制仅用了两个半天（合计一天），数据标注花了30%-40%的时间，剩下的则是技术研发和迭代用的时间。
而 手语AI合成主播“小聪”的技术难度要远远大于明星“数字人”。
研发历路：手语是门“视觉语言”
搜狗研发了多代AI合成主播，在语音识别技术上也积累颇丰。然而，手语AI合成主播对于搜狗而言，仍是一个全新的领域。
据陈伟介绍，搜狗在做手语AI合成主播“小聪”时，主要做了三方面工作：
「语言侧手语的研究」、「语言体系的翻译」和「表征表达」。
首先，在研发“小聪”过程中，搜狗最先遇到的就是手语数据库建立的问题。
搜狗开始接触手语发现了一个问题：手语语言和所有其他（有声）语言都不一样，它是一个视觉语言。
随之而来的一个问题是：“小聪”的训练数据从何而来？
陈伟解释称，手语语言如何转换成计算机语言，之前行业在做手语语言体系时并没有特别明确的做法，要么是纯语言学，要么是计算机相关背景的人根据自己的想象做手语。
在搜狗团队的认知中，手语本身是没有可记录的文字信息的，因为它本身就是视觉信息。
《国家通用手语词典》一共8000多个词，“小聪”基于《国家通用手语词典》进行健听人语言与听障者手语语言的机器翻译，在这个过程中，为了构建用于模型训练的数据库，搜狗做了三方面工作：
第一，从语序到选词，我们会考虑把健听人的语言和听障人士的语言做一个平行的翻译，这样就可以积累大量的资源，用这样的资源作为翻译系统的数据；
据陈伟透露，从翻译角度来讲，现在初步建立起来的精标数据达到几万。
其次，搜狗要考虑的第二个问题是——语言体系如何构建。
手语和汉语本质上不是一个语言体系，存在着诸多结构、表达上的差异。在这之中，“小聪”研发团队特别提到三个难点：
为此，搜狗建立了相应的语言规则尝试做相应的语序转化，通过搜狗构建数据库给算法进行训练。
为此，搜狗建立了手语到汉语之间的映射辞典，尝试去解决手语和汉语之间词汇上的差异问题。
表情、身体姿态、口动等非手控信息是搜狗在做“小聪时”遇到最大的难题，目前也在尝试通过一些建立一些表情库或存在表情标记的数据库驱动算法的设计等规则的方式来解决这一问题。
最后，搜狗还需要用这样的语言体系驱动“数字人”“小聪”完成自然连贯的手语动作、面部表情表达。
“手语翻译是一个新的话题”
陈伟一语道破研发团队立项初期的窘境。
在进行过深入研究后，陈伟发现，手语翻译是一个新的话题。
为此，陈伟请来了制定手语标准的残联及相关协会专家、教手语的手语老师、做手语推广的专业人士，由这些人组成了搜狗手语AI合成主播语言体系、产品体系、研发体系之外的智囊团作为顾问团队。
从立项之初，搜狗就一直与这一顾问团队保持着紧密联系，这也成为搜狗手语AI合成主播在技术迭代过程中不至于偏离最终用户的一个保障。
“数字人”的一个终极目标是手、嘴、表情、姿态的实时联动，完美复刻真人表达能力，这也正是手语对表达能力的需求。
据搜狗官方信息显示，“小聪”在测评中可懂度已经可以达到85%以上，能够进行有效信息传递。
对此，陈伟也向雷锋网解释：
与此同时，陈伟也指出：
原创文章，未经授权禁止转载。详情见 转载须知 。
本文地址： https://www.gpxz.com/article/95c10d18db2f1720c81c.html
河北网站排名,根据网站的综合值按照不同的河北网站进行筛选排名结果,通过筛选河北网站可以看到每个河北网站里面的网站排名优质的网站是哪些
维美整形网创办于2008年12月份，专注在线医疗美容整形咨询预约服务，拥有超过20人以上的专业医学美容顾问，与国内多家整形医院签约合作，打造为医院、医生及求美者服务的网上医疗美容综合信息服务平台。
广西南宁志成佳合电子科技有限公司，是广西一家专业提供图文广告设备与办公设备租赁解决方案的公司。公司主要服务：提供图文广告设备与办公设备租赁、维修、配件、耗材配送于一体的专业服务公司。
河南富米网络科技有限公司为中小企业提供品牌网络推广方案，解决让客户找到你、了解你、信任你三大难题，包括网络推广、网站建设、网站优化、关键词排名。
探索我们的在线文档翻译工具，轻松将文档翻译成多种语言。我们提供快速、准确的翻译服务，帮助您实现全球交流。免费文档翻译服务，保持原格式，体验AI翻译技术，让您的沟通更畅通无阻！无论您的需求是PDF翻译、Word文档翻译还是跨境文档翻译，我们都能满足您的需求。
中钢天源股份有限公司成立于2002年3月27日,是中央企业中国中钢股份有限公司控股的上市公司，2006年8月在深圳证劵交易所成功上市，股票代码002057。
点石网络传媒有限公司专业提供网站建设、营销型网站的建设、B2C商城系统开发、行业网站、模板网站建设、小程序开发、APP等平台开发等服务。
妙镜是一款聚合国内外海量优质VR内容的APP，提供丰富的VR游戏、视频、图片的下载和使用。妙镜可以对优质VR内容， 比如OculusStore内容的获取进行加速、代购，帮用户解决注册海外帐号和翻墙付费等困难。妙镜内置强大的播放器，可以播放多种VR格式。
亲亲小保,上市公司,专注行业20年，致力于通过互联网提供高效便捷的人事服务,提供人事代理、社保管理、社保托管、工资代发、个税申报、灵活用工、社会化用工、人力资源外包、工资代发、个税申报、福利保险、劳务派遣等服务
昆山高效检测设备有限公司主营产品包括硬度计，金相切割机，金相镶埋机，金相研磨抛光机，显微镜，光谱仪，材料试验机，地址：昆山市正泰隆国际工贸城2号馆2055-2056号,热线电话:13773168873联系人：康先生
填写表单，提交数据
浙江永达输送机械设备有限公司
来自@二喵乐园喵喵爆料，360的好搜开始K站，在360的站长论坛上逛了好久，本次K站波及范围比较广，5、6年的老站或新站被K都是大有站在的，根据论坛工作人员的说法是策略检查，具体也没有正式回复，目前官方论坛上还有很多人的收录问题还未被解决，甚至有人反映域名的标题竟然显示的是之前持有者建的站！虽然有工作人员也在对帖子里站点处理，但显然是...。
2025年的手机国补在1月20日开始，各大手机厂几乎都放出了国补后的价格，在京东，淘宝的产品页就能直接看到，很多广东的彦祖亦菲，都在1月21日下午收到了国补的短信通知，在微信，广东粤焕新公共服务平台，小程序或在，云闪付，的，以旧换新，专区就能领取，废话不多说，我们先做个简单的手机推荐，因为超过4000元的机型，国补的效果不大，大概率会...。
一年一度的科技界春晚苹果2016秋季新品发布会落下了帷幕，苹果依旧按照惯例先从夸奖自己的业绩开始，再循环渐进的发布硬件新品，来一点点吊起大家胃口，iPhone7无疑是本次事件的主要焦点，但身为苹果产品的，老司机，，半夜看苹果发布会直播肯定不仅仅是为了第一时间得知消息，更是享受苹果带来的激情四射的演讲，雷锋网独家整理了本次发布会的演讲者...。
冲击着人们眼球的无人车方兴未艾，航空公司又来挑战人们的想象力了！如果你觉得无人车足够炫酷，那么，飞着的无人车，怎么样呢，近日，空客集团，AirbusGroup，在其官网公布了构造未来空中城市的绚丽构想，无人机自动运输系统以及网约飞行出租车服务，空客集团是成立于1970年的全球第二大跨国航空航天与防务公司，经营商用飞机、防务和航天、商用...。
4月18日消息，今天上午，努比亚在微博宣布，将于4月28日在北京RNG电子竞技中心举办红魔电竞粉丝节暨新品发布会，届时推出红魔3电竞手机，在官方的宣传海报中有一句明显的标语，有风才是真的狂，，这又一次暗示红魔3搭载风冷散热，此前努比亚总经理倪飞透露，红魔3有PC级涡轮风扇，安装在红魔3内部，不用挂在手机外面，也不用夹在机身背部，红魔...。
12月3日晚，被誉为中国健康产业，奥斯卡，的重磅荣誉——2022年第四届中国健康产业创新平台，奇璞奖，在上海颁出，历时11个月，经过专业评审的层层筛选，北京鹰瞳科技发展股份有限公司，简称，鹰瞳Airdoc，的，视网膜影像人工智能检测系统，最终摘得第四届医疗器械创新奇璞奖！鹰瞳Airdoc首席医学官陈羽中发表获奖感言中国健康产业创新平...。
现代人都喜欢自由，不喜欢被拘束，对于服装的要求也是如此，休闲服装是人们在无拘无束、自由自在的休闲生活中穿着的服装，将简洁自然的风貌展示在人前，休闲服装成为人们的心头爱，现代一种新兴流行服装类别名称，是一种运动衣式的服装，如网球装、慢跑装、高尔夫球装等，是运动服和平时的生活服的结合，常用于晨间的拳操、爬山、郊游、打球等，休闲服装的特点是...。
交通银行3位快捷码是信用卡背面签名栏后三位数字是无卡交易密码验证码，背后签名条处的7位数字的最后3位，是CVV信用卡安全码，是信用卡在进行网络或电话交易时的一个安全代码，安全码叫做CVV，CardVerificationValue，，有3位数字，平印在信用卡背面签名栏上卡号后4位处，信用卡安全码就相当于信用卡的身份证，可以凭此码进行消...。
外地时期8月25日，美国总统拜登发表纽约州进入紧急形态，并下令为纽约州8月18日至19日的严重风暴和洪水形成的紧急状况提供联邦声援，拜登授权疆土安所有、联邦紧急事务治理局，FEMA，协调一切救灾上班，以减轻紧急状况给外地居民形成的影响，并为所需的紧急措施提供适当的声援，总台记者赵淼，...。
酉时一刻是下午五点十五分，一天一共有十二个时刻，下午五时正至下午七时正，鸡开局归巢，古时刻的一个时刻分八刻，一刻钟为十五分钟，因此酉时一刻为下午五点十五分，在中国现代，人们用，铜壶滴漏，的方法计时，把一昼夜分为十二个时刻，即子、丑、寅、卯、辰、巳、午、未、申、酉、戌、亥，对应于如今的二十四小时，中午十一点到一点的期间为子时，一点到三点...。
1、2021款奥迪a6l落地价大略元奥迪A6L是一汽公众奥迪公司在德国新A6的基础上开收回的车系，是A6的换代产品2012年6月奥迪换代A6L上市，该车搭配35TFSI能源，外观如同就有那么一点像A4L全新版全新一代奥迪A6L基于；奥迪A6L2021款是一款奥迪旗下的中大型车，其官网指点价为元元左右，所以这款车；元，车船经常使用税40...。
VHDL中有位、位向量、逻辑、整数、实数、物理、时间、字符串、枚举、记录等基本数据类型。详细介绍：1、位，用于描述单个的二进制位；2、位向量，可以表示多个位的值；3、逻辑，用于表示布尔值；4、整数，用于表示整数值，可以是正整数、负整数或零；5、实数，用于表示带有小数部分的数值；6、物理，用于表示具有单位的数值；7、时间，用于表示时间值，可以表示某个时间点或时间间隔等等。
随着智能电视的普及，电视处理器性能逐渐受到消费者重视，的确，对于智能产品来说，芯片和处理器这些核心配置很大程度上决定了产品的使用体验，今天ZNDS智能电视网就为大家总结了目前市面上电视处理器排行，正值电视选购重要节点，希望这份攻略能够为大家提供参考，电视处理器排行榜从芯片处理器综合性能来看，排行如下，华为海思V900＞联发科Pento...。
餐饮行业是我国第三产业中的重要组成部分，有相关的数据显示，2017年，我国餐饮行业的市场交易额高达4万亿元，是各行各业中发展比较快的行业之一肠粉是我国一种传统小吃，因为色香味俱全，很受消费者的喜爱，一些智慧之选商想要智慧之选开哦肠粉店，为了降低智慧之选成本，一些智慧之选商不想招聘工人，但是，开肠粉店一个人可以吗，接下来，小编来为大家揭...。
据国外网站TheVerge报道，ElonMusk的SpaceX最近又赢得了NASA的一份新合同，在未来五年内，SpaceX将为NASA发射观测地球海洋水域的卫星，该卫星主要被用来探测地表水和海洋地形随时间的变化情况，这也是首次对地表水进行的全球性调查，据了解，此次任务将由SpaceX的，猎鹰9号，Falcon9，火箭完成，预计发射时...。
发表在峰米投影仪2021，5，615，09年5月6日，北京讯，峰米科技全新推出峰米激光电视Cinema系列C2套装，以下简称，峰米C2，，并于今日10点在小米有品正式开启众筹，小米生态链企业峰米科技作为全球领先的激光电视及投影仪品牌，旗下拥有的激光电视Cinema系列一直凭借高性价比、高性能等优势，深受消费者的青睐，此次发布的全新峰...。
发表在当贝投影仪2021，11，1814，33导语，很多人都关注投影仪的镜头，当贝newf3也上市近达一个月，很多网友都在问当贝newf3镜头材质，当贝newf3镜头材质是玻璃和树脂组合的，镜头由7块镜片组成，两片树脂镜头，1.当贝newf3镜头材质当贝newf3镜头材质是玻璃，树脂的，当贝newf3镜头由七片镜片组成，其中有五片为玻...。
