用语音和文字驱动数字人打手势 北大刘利斌团队斩获 Asia 最佳论文奖 SIGGRAPH 2022 (用语音和文字交互)
2022 年 12 月 6 日，SIGGRAPH Asia 2022 大会官方公布了最佳论文等多个奖项。其中，最佳论文奖由北京大学刘利斌团队的论文“Rhythmic Gesticulator: Rhythm-Aware Co-Speech Gesture Synthesis with HierArchical Neural Embeddings”获得，论文第一作者为北京大学 2020 级研究生敖腾隆。
在日常生活中，我们的语言行为时常会伴随着一些非语言的动作进行：在公开演讲时使用手势让内容更有感染力，一个突然降临的好消息令人不由自主地鼓掌，陷入沉思时的来回走动和紧握的拳头......这些非语言的动作像是“调味剂”，有时可以帮助形象化我们口头所说的一件事物，强化语言所传递的态度，让人类的表达才会更加生动且高效。
在这项工作中，刘利斌团队提出了一个新的由语音和文字来驱动3D上半身人体模型进行手势表演的跨模态生成系统，通过输入一段时序同步的语音和文字，系统就能自动生成与之对应的上半身手势。
一段手势动作由单个手势单元（gesture unit）组成，其中，每个手势单元可根据语调点、例如强调重音等，被划分为单个手势阶段（gesture phase），每个手势阶段就代表了一小段特定的动作，比如抬手、摆臂等，在语言学中，这些手势阶段通常被称为手势词（gesture lexeme）。由于日常交流中的手势词数目有限，将这些手势词进行集合后，即可获得一个手势词典（gesture lexicon）。
特定演讲者在讲述过程中使用的手势词，就是手势词典中的子集，每个手势词上还会叠加轻微的变动（variation），研究人员通过假设此类表动无法直接由输入推断，将其编码为一些隐变量（latent variable），这些代表轻微变动隐变量的手势风格编码（gesture style code）。演讲者风格不同，因此手势风格编码一般跟演讲者的风格相关，会受到演讲者的音调等低层次音频特征影响。
图 2：系统所使用的字符模型
对此，该系统依据手势相关的语言学研究理论，从韵律和语义两个维度出发，对语音文字和手势之间的关系进行建模，从而保证生成的手势动作既韵律匹配又具备合理的语义。
基于上述理论，刘利斌团队梳理了一个层次化结构：需要检测节奏点（beat），划分出手势词，每个手势词本质上已具备明确含义，由输入语音的高层次语义特征决定；而基于每个手势词的变动，即手势风格编码，应该与输入语音的低层次音频特征，例如音调、音强等因素相关。
因此在系统中，研究人员首先需要分离出不同层次的音频特征，由高层次音频特征决定手势词，低层次音频特征决定手势风格编码。当推断出整段音频对应的手势词和手势风格编码序列后，依照检测出的节奏，研究团队会显式地将上述手势块“拼接”起来，确保生成的手势韵律和谐，同时明确的手势词和手势风格编码保证了生成手势的语义正确性。
图 3：第一行为右手高度、第二行为手速、第三行为手半径的样式编辑结果，右侧图表显示编辑输入（平线）和输出运动的相应值，箱形图显示输出的统计数据
系统由数据（Data）模块、训练（Training）模块和推断（Inference）模块三个部分组成。
其中， 数据模块的任务是对语音进行预处理，根据节拍将语音分割成标准化块，并从这些块中提取出语音特征。此次研究中共使用了三个数据集，分别是 Trinity 数据集、TED 数据集、以及为这项工作所收集的中文数据集。
训练模块会从标准化运动块中学习手势词汇，并训练生成器合成手势序列，当中要考虑的条件就包括了手势词典、风格代码以及先前运动块和相邻语音块的特征。随后的推理模块中，会使用解释器将语音特征转换为手势词典和风格代码，并使用学习生成器来预测未来的手势。
图 4：借助系统从 Trinity Gesture 数据集的四个样本语音摘录中合成的手势的定性结果，在说“好”时会做出一个隐喻的手势，当在捍卫时会做出一个标志性的手势，遇到 thing 和 selling 等词会做出节拍手势，当说到“我”时会出现指示手势
为了验证该研究是否可以实现“高层次音频特征决定偏语义的手势词，低层次音频特征则影响当前手势词内的轻微变动”，刘利斌团队通过找到一类相似语义的高层次音频特征，其对应的文本为 many、quite a few、lots of、much、and more 等，就这类高层次音频特征的每个音频特征对应生成的手势序列，并对这些手势序列编码到手势词典空间进行可视化（图 4）。
图 5：手势词典空间动作特征向量的 t-SNE 可视化结果
可以发现，手势动作序列仅出现在特定的手势词内，当中所出现的手势词对应的动作，图 5（a）中的红、橙和紫色所对应的骨骼动作），的确为“many、lots of、 etc”的意思表征。与之相对应的是，当对同类的低层次音频特征进行可视化后，如图 5（b）可见，属于该低层次音频特征类的动作序列不再集中于特定几类，而分散到整个手势词典空间内，由此可以验证“高层次音频特征决定偏语义的手势词”。
图 6：手势词典空间动作特征向量的 t-SNE 可视化结果
当不加入手势风格编码 z 时，如图 6（a）所示，所生成的手势密集地集中在当前手势词的类中心，于真值分布存在较大差距。当加入手势风格编码后，如图 6（c）所示，所生成的手势跟真值分布接近，这说明手势风格编码已成功建模了手势词的类内轻微变动。由此可以看到，手势风格编码主要由低层次音频特征推断得到，从而证明“低层次音频特征影响当前手势词内的轻微变动”。
除了上述结果外，该系统还具备以下几项特性：
刘利斌，北京大学人工智能研究院前沿计算研究中心助理教授，2009年本科毕业于清华大学数理基础科学专业，后转向计算机科学与技术专业，2014年获得清华大学博士学位，曾在加拿大不列颠哥伦比亚大学及美国迪士尼研究院进行博士后研究，之后加入 DeepMotion Inc. 任首席科学家。刘利斌教授的主要研究方向是计算机图形学、物理仿真、运动控制以及相关的优化控制、机器学习、增强学习等领域，曾多次担任图形学主要国际会议如 SIGGRAPH、PacificGraphics、Eurographics 等的论文程序委员。
未经「AI科技评论」授权，严禁以任何方式在网页、论坛、社区进行转载！
未经「AI科技评论」授权，严禁以任何方式在网页、论坛、社区进行转载！
版权文章，未经授权禁止转载。详情见 转载须知 。
本文地址： https://www.gpxz.com/article/80f56de03bb531cf0f0b.html
天下新闻头条为您精选当天最热门的新闻资讯，最受关注的社会新闻时尚八卦等，看新闻就来天下新闻头条！
天也网络为企业提供上海虚拟主机，上海做网站，公司小程序开发，微信公众号开发，企业邮箱，mssql数据库、mysql数据库等，上海虚拟主机服务热线：021-68310879
易教网是专业北京家教网,全国连锁,家教行业领导品牌★十五年家教服务,二十万教员在线挑选★上门一对一家教,省时省力★师资包括在职重点中小学老师及名校大学生★提供小学、初中、高中以及大学课程的一对一上门家教
武汉鑫丰强电气有限公司专注电缆桥架研发生产，主营大跨距桥架、铝合金桥架、槽式电缆桥架、托盘式电缆桥架及不锈钢桥架，作为武汉电缆桥架厂，种类齐全质量可靠，欢迎咨询！
Rmall全生活广场，集“购物、娱乐、餐饮、商务、办公、家居、休闲、运动、旅游”等九大功能于一体，打造全天候一站式生活广场，倡导体验式购物、娱乐引导消费。
二维码注册认证平台是在中国二维码注册认证中心的指导下，由中国电子商会和中国质量认证中心联合发起成立中国第三方二维码注册认证平台。面向国际国内企业、机构及商户提供二维码注册、认证、制作和统一编码、发放、验证等二维码应用服务。可实现各行业企业的信息展示二维码、产品二维码、溯源二维码、防伪二维码、网站二维码、支付二维码等展示营销服务，并提供各行业企业示范试点认证通道，打通企业品牌与产品品质的双飞跃。
临安科达认证技术咨询服务有限公司致力于普及MSDS相关知识，为广大客户提供MSDS文件翻译，MSDS报告、MSDS证书办理、编制，同时提供MSDS查询以及检测认证行业的法律法规等信息。官方联系电话:0571-61101910
山东精正重型渣浆泵有限公司,渣浆泵生产厂家,提供液下|潜水|卧式|立式|耐磨渣浆泵定制与批发.山东精正重型渣浆泵有限公司主要生产ZJA重型渣浆泵、YZ系列液下渣浆泵、立式渣浆泵、电厂烟气脱硫泵、压滤机专用泵、加气混凝土专用泵、隧道专用泵、YZS液下重型砂浆泵、SB砂泵，CHX抽芯机等。
上海咖啡机租赁公司的办公室咖啡服务覆盖上海黄浦区，徐汇区，长宁区，静安区，普陀区，虹口区，杨浦区，闵行区，宝山区，嘉定区，浦东新区，金山区，松江区，青浦区，奉贤区，崇明区及全国，提供庆典咖啡机租赁，雀巢咖啡机租赁，手冲咖啡机租赁，半自动咖啡机租赁，全自动咖啡机租赁，现磨咖啡机租赁，商务咖啡机租赁，展会咖啡机租赁，自助咖啡机租赁，速溶咖啡机租赁，便携式咖啡机租赁，浓缩咖啡机租赁，办公室咖啡机服务。
iso认证中心是iso9001体系认证机构，为客户提供iso9001认证咨询服务。许多客户有疑问：iso9001认证机构哪家好？iiso质量认证机构咨询？iso咨询公司？iso9001认证费用一般是多少钱？iso27001认证多少钱？iso认证费用？中科企服帮您解答。iso9001体系认证机构，iso认证选中科企服iso认证中心。
丹东通达科技有限公司丹东通达科技有限公司做为国内行业先锋企业，自成立以来就以专业的团队，专业的精神为客户提供先进的产品和优质的服务。为科研，商用等领域对于衍射分析，样品结构，定性定量等应用提供效率更高，性能更可靠的产品是我们一贯追求的目标。同时与各大院校以及国内顶尖科学家合作，不断升级产品，开发新产品以打破国际垄断，为社会造福，为用户创造价值。
汕头市澄海区凤翔锦裕达塑料玩具配件厂位于素有“中国玩具工艺城”之称的广东省汕头市澄海区，锦裕达塑料玩具配件厂是一家专门以生产和经营精密塑胶齿轮、塑料零件、齿轮箱设计和制作为主的企业。我厂拥有近30年的设计及生产经验，拥有模具设计、多种精密注塑机，测量检测设备，可以为客户提供开发建议、来样逆向设计、改进设计等服务。
随着互联网技术的飞速发展，数字广告已逐渐成为现代营销的重要组成部分，在众多广告平台中，脉动网络广告传媒凭借其精准的广告投放与数据分析能力，在广告行业中占据了一席之地，然而，面对激烈的市场竞争，脉动网络广告传媒究竟如何才能在数字广告的洪流中脱颖而出，精准捕获消费者的心呢，一、依托数据分析，实现精准广告投放脉动网络广告传媒的核心竞争力之一...。
从2016年到2017年，或许是翻译行业的从业者们最人心惶惶的年头，科技企业挟AI令，翻译，，隔几天就发布一个新数字，不断推高机器翻译的准确程度，似乎这个行业已然成为，AI替代人类，最早的炮灰，机器翻译的进步，得益于神经网络的应用，不过，即便比统计模型基础上的机器翻译大有进步，神经网络翻译，NMT，的质量，其实也还远未达到专业人类译员...。
消息，3月2日，据，新言财经，报道，京东已经完成对德邦快递的收购，对此京东方面暂未回应，德邦回应称一切以公告为准，关于德邦快递被收购的消息，市场上一直传得沸沸洋洋，早在今年1月6日，就有京东收购德邦的消息在坊间流传，近日，网络流传的一张截屏显示，德邦内部已经官宣了收购消息，同时出现一则，京东已收购德邦，崔总离开，京东派高层接管，...。
烤鱼喷香火辣谁人不爱，不过这并不是一个适合一人用餐的项目，为了迎合商机，也为了抓住机遇，青馋口小份烤鱼的出现让市场瞬间轰动起来，这一品牌的出现是在市场行情深度考察以后推出的，并且这一品牌店推出科学合作的概念，全面的餐厅市场定位、餐厅经营方向、餐饮定位、餐厅布局设计、人员配置以及原材料采购等等项目都足以令人心动，那么青馋口小份烤鱼加盟费...。
国际有很多磁力搜查引擎，其中一些知名的有，磁力猫、磁力天堂、BT兔子、磁力狗等，磁力搜查引擎，是依托磁力链接启动资源搜查的工具，磁力链接是一种不凡链接，但是它并不间接指向某个资源，而是经过哈希值来定位资源，因此磁力链接也被称为，资源的指纹，用户只有经过磁力搜查引擎输入资源的主要词，即可找到对应的磁力链接，进而经过下载工具失掉资源，在...。
飓风，贝丽尔，外地期间7月8日登陆美国南部，已形成至少8人死亡、近300万用户断电，据美国媒体报道，，贝丽尔，8日在得克萨斯州休斯敦西南约140公里的马塔戈达地域登陆，强度为一级飓风，最高风速约为每小时130公里，目前已形成得克萨斯州大休斯敦地域7人死亡、路易斯安那州1人死亡，美国航班跟踪网站信息显示，休斯敦重要机场8日敞开了1100...。
水瓶座是从1月20日到2月18日；双鱼座是从2月19日到3月20日；白羊座是从3月21日到4月19日；金牛座是从4月20日到5月20日；双子座是从5月21日到6月21日；巨蟹座是从6月22日到7月22日；狮子座是从7月23日到8月22日；处女座是从8月23日到9月22日；天秤座是从9月23日到10月23日；天蝎座是从10月24日到11...。
不要钱追剧的软件有很多，然而哪个最好用呢，上方我为大家介绍几个，1.腾讯视频，作为国际最大的视频平台之一，腾讯视频领有海量的高清影视资源，涵盖了电影、电视剧、综艺节目、纪录片等多种类型，用户可以依据自己的喜好选用观看，而且腾讯视频还提供了离线下载配置，繁难用户在无网络环境下观看，2.爱奇艺，作为国际出名的视频平台之一，爱奇艺领有少量的...。
1、8月21日，全新飞驰AMGCLA45S4MATIC，亮相并正式上市，新车共推出两款性能车型，售价区间为万元外观方面，新车采用了较为保守的设计格调，前脸处，直瀑式进气格栅搭配保险杠两侧外型夸张的空气导流槽，看起来；总感觉95号汽油比92号贵，汽油应该会更纯更好目前飞驰只推出了两款车型，区分是入门级的CLA45AMG和更进一步的CLA...。
Xshell7中文破解版是最牛逼的Linux远程连接工具，最强大的SSH终端管理器、SSH远程连接主机客户端。Xshell7可以轻松管理远程服务器，会话管理器
用于计算父作用域中的变量时，CSS作用域自定义属性无法识别，我正在尝试通过var自定义属性来缩放大小，以便类可以在不耦合的情况下组合。期望的效果是3个列表将具有3个不同的比例，但正如CodePen上所示，所有3个列表的比例相同。我正在寻找范围界定和CSS自定义属性技术的解释，该技术可以通过可组合的松散耦合代码来实现此目的。:root{--size-1:calc(1*var(--scale,1)*1rem);--size-2:calc(2*var(--sca
深圳市乔安科技有限公司，创立于2010年深圳，是一家经营音视频安防类智能家居产品的研发、制造、营销、服务于一体的国家高新技术企业。凭借着在音视频安防领域的多年深耕投入，以及对安防市场敏锐的触觉，乔安布局了：国
比特大陆持续了一年多的内斗大戏，终于告上一个段落，2021年1月26日，比特大陆联合创始人吴忌寒通过一封加密信件，宣布正式辞去比特大陆CEO兼董事长职务，吴忌寒表示，吴忌寒还表示，把最真挚的祝福送给詹克团和他领导的比特大陆，信中的措辞和祝福话语之温和，与吴忌寒和詹克团在过去内斗过程中的剑拔弩张，形成了极为强烈的反差，让人大跌眼镜，吴忌...。
雷锋网AI科技评论消息，日前，谷歌正式发布TensorFlowLite开发者预览版，这是针对移动和嵌入式设备的轻量级解决方案，TensorFlowLite是一种全新的设计，具有三个重要功能——轻量级，Lightweight，、跨平台，Cross，platform，、快速，Fast，下面是来自GoogleDevelopersBlog的...。
针对极个别账号试图通过发布不实信息、剐蹭热点不当获利的行为，抖音官方账号近日发布治理，违规蹭热不当获利，言行的最新规范，新规，明确表示，将对涉及利用，虚假身份，虚假内容，虚假营销，虚假流量，不当获利的行为整体从严处置，具体包括，，账号不得借热点事件仿冒、不当关联当事人与涉事品牌，并借此引发关注后不当获利，整体治理利用虚假，身...。
彩妆和护肤品是女性顾客经常要使用的产品，这些类型的产品不仅可以对面部肌肤进行基础的护理，而且经过化妆也可以提亮整体的气色，因为各地女性消费者对于化妆品的需要，所以不同国家都会有众多致力于护肤品研发的企业，随着护肤和化妆品企业的不断增多，消费者在选择不同肌肤护理产品和彩妆的时候，就会得到更多一些的护肤品选择空间，鲜女美妆加盟费多少，鲜女...。
发表在投影仪评测2022，6，2715，25甜粽子还是咸粽子，甜豆浆还是咸豆浆，这个选择其实不难，只要选一个自己喜欢的口味即可，但投影仪的选择，总会有人觉得会后悔，我自己选择投影仪时也是做足了功课，看全了评测，最终也迟迟未定；所以我决定自己上手测评，今年新发布的联想YOGA7000和当贝F5便成为了我的目标，下面就来看看我对这两款投影...。
