跟着蔡徐坤跳起了 鸡你太美 AI把特朗普变成了dancer (跟着蔡徐坤跳舞的是谁)

文章编号:42191 资讯动态 2024-12-04 特朗普 AI

“好家伙!”

“现在的Paper也是越来越皮了”。正在开心摸鱼的同事,边说边给我发过来一段Demo。

原来『宝藏男孩』特朗普又被玩坏了。

AI把特朗普变成了dancer,跟着蔡徐坤跳起了『鸡你太美』

『被逼着』跟蔡徐坤跳起了“鸡你太美”(谐音梗)。

(川宝:AI不讲武德!)

AI把特朗普变成了dancer,跟着蔡徐坤跳起了『鸡你太美』

二次元萝莉跳起了萌系宅舞。

川宝:给我顶小红帽,跳的比她好[傲娇脸])

AI把特朗普变成了dancer,跟着蔡徐坤跳起了『鸡你太美』

跟印度小哥跳起了Jackson的经典舞步。

(川宝:快看我的舞姿是不是很性感?)

看完Demo,正为找不到选题疯狂薅头发的小编我,一时也是惊住了:好家伙!今天的选题有了!!

AI把特朗普变成了dancer,跟着蔡徐坤跳起了『鸡你太美』

火速让同事把资料推给了我。

原来逼着川宝大秀舞姿的是上海科技大学研究团队的最新AI,这篇AI论文名为——《Liquid Warping GAN with Attention:A Unified Frame work for Human Images Synthesis》

AI把特朗普变成了dancer,跟着蔡徐坤跳起了『鸡你太美』

简单理解就是,基于特定框架的AI,能够完成运动仿真、外观转换以及新视图合成等人体图像处理任务。上面特朗普的舞蹈Demo是AI合成的最终展示效果。 (获取完整视频见文末)

接下来,我们来扒一扒它背后的合成原理。

『注意型液化GAN』模型

人体图像合成,在影视制作、游戏制作、角色动画/转换、虚拟服装试穿等方面有着巨大的潜在应用。

一般来讲,在给定一个源人体图像和参考图像下,它需要完成三项任务:

1、运动仿真:生成一个具有源人类纹理和参考人类姿势的图像。

2、新视图合成:从不同视角捕捉人体新图像并合成。

3、外观转换:在参照人体图像穿着衣服时,生成保持源面部身份的人类图像。(不同人可能穿同样的衣服)

AI把特朗普变成了dancer,跟着蔡徐坤跳起了『鸡你太美』

在处理以上任务时,现有方法主要采用2D关键点来估计人体结构。

然而,它们仅表达位置信息,无法表征人的个性化形状并模拟肢体旋转。对此,研究人员提出了一套全新的模型处理框架:

它包括身体网格恢复模块(Body Mesh Recovery),流合成模块(Flow Composition),以及带有液体翘曲块(Liquid Warping block ,LWB) 的GAN模块三个部分。

AI把特朗普变成了dancer,跟着蔡徐坤跳起了『鸡你太美』

Isi为给定源图像,lr为参考图像

其中,使用3D身体网格恢复模块用来解开人体姿势和形状,不仅可以模拟关节的位置和旋转,还可以表征个性化的身体形状;使用带有液体翘曲块(AttLWB)的GAN,保留纹理,样式,颜色和脸部身份等源信息;将图像和特征空间中的源信息传播到合成参考,通过去噪卷积自动编码器提取源特征,以很好地表征源身份。

具体方法如下:

Body Mesh Recovery: 其作用是预测运动姿态(肢体旋转)和形状参数,以及每个图像的三维网格。主要使用HMR进行三维姿态和形状估计。

Flow Composition :在已有估计基础上,利用摄像机视图,为每个源网格和参考网格绘制一个对应图和一个权重索引图。主要使用完全可微的渲染器—神经网格渲染器(NMR)来完成。

Attentional Liquid Warping GAN: 该阶段负责合成高保真的人体图像。它需要完成:

1)合成背景图像。

采用Three-stream的方法:包括GBG流,对被遮罩的背景图像和在颜色信道中获得的掩模进行级联;源标识流GSID,引导编码器提取能够保留源信息的特征;源标识流GT-SF,由双线性取样器接收扭曲前景,对应映射作为输入,以合成最终结果。

2)基于可见部分预测不可见部分的颜色。

采用鉴别器进行识别,它是一个全局-局部内容导向(Global-Local Contentorientation)架构,包括全局鉴别器DGlobal,身体鉴别器DBody和面部鉴别器三个部分。

3)从SMPL重建中生成衣服、头发等像素。

这里主要采用了注意力液化块(如下图),它在旧有方法上解决了在人体运动仿真中,源图像多视点输入,以及在外观传递中,服装的不同部位来自不同的人等问题。

AI把特朗普变成了dancer,跟着蔡徐坤跳起了『鸡你太美』

除此之外,为了提高泛化能力,研究人员引入了一种一次/几次学习策略。

创建数据集

除了模型外,要想得到高保真输出效果,还需要有高质量的数据集。

研究人员建立了三个测试/训练数据集和一个评估数据集。分别为Impersonator、MotionSynthetic、FashionVideo和Youtube-Dancer-18.

Impersonator(iPER),是一个具有多种样式、不同人物穿不同衣服的数据集。

AI把特朗普变成了dancer,跟着蔡徐坤跳起了『鸡你太美』

它有206个视频、241564帧画面。涉及30名受试者,每个受试者穿着不同的衣服(共103件衣服。),表演一个A形视频和一个随机动作的视频。

另外,iPER还包括了他们的动作、服装、身高和体重分布等统计信息。

AI把特朗普变成了dancer,跟着蔡徐坤跳起了『鸡你太美』

MotionSynthetic运动合成数据集,创建该数据集的目的是便于对人体穿着的真实感进行综合评价,特别是通过合成的图像数据集,可以对不同的服装外观进行综合评价。

该数据集总共有120个网格,所有这些具有UV纹理图像的网格都已在SMPL中注册。对于每个网格,从Mixamo中选择一个姿势序列,从互联网上选择一个背景图像。基于网格、UV图像、姿势序列和背景图像等信息,采用核磁共振(NMR)对合成图像进行渲染,总共得到39529帧。

再根据不同的网格划分为8:2的训练/测试集,如下图中的合成图像。

AI把特朗普变成了dancer,跟着蔡徐坤跳起了『鸡你太美』

FashionVideo:它包含500个训练和100个测试视频,其中每个女模穿着Fashion的衣服,服装和质地千差万别,手势却很少。每个视频大约有350帧。另外,这个数据集缺乏背景的多样性,所有的背景都是黑色的。如图:

AI把特朗普变成了dancer,跟着蔡徐坤跳起了『鸡你太美』

Youtube-Dancer-18:是作为评估数据集,对该方法的有效性和通用性进行检验。它全部是从YouTube平台下来来的,总共18个,每个视频持续4到12分钟。(如上图Dancer)

需要说明的是,研究人员没有在这个数据集中训练模型,只是对SN帧进行了个性化采样,并直接对该数据集进行测试,以评估现有所有方法的泛化能力。

经过实验分析,与现有其他方法,该方法在运动仿真、外观转换以及新视图合成三项综合任务上均达到了最佳性能。我们再来看一组展示Demo:

AI把特朗普变成了dancer,跟着蔡徐坤跳起了『鸡你太美』

研究团队

如之前所述,这项AI研究团队来自上海科技大学。

高盛华,是上海科技大学副教授,博士生导师。也是该项研究的通讯作者。他2008年获得中国科技大学理学学士学位(优秀毕业生),2012年获得南洋理工大学博士学位,2012至2014年,在新加坡高级数字科学中心担任博士后。

他的研究兴趣包括计算机视觉和机器学习。

AI把特朗普变成了dancer,跟着蔡徐坤跳起了『鸡你太美』

该项研究的一作是上海科技大学在读博士—Wen Liu。

他的研究方向主要集中在人体三维重建、图像合成、运动传递、新视角合成、神经绘制和视频异常检测等方面。

AI把特朗普变成了dancer,跟着蔡徐坤跳起了『鸡你太美』

其他作者还有:深圳腾讯AI实验室的首席研究员Lin Ma,主研计算机视觉、多模式深度学习领域;上海科技大学硕士Zhixin Piao,主要研究课题是人体三维重建和运动传递;上海科技大学本科毕业生Zhi Tu,研究课题是人体运动传递和医学图像分析;英国伦敦帝国理工学院博士罗文汉,其研究方向包括计算机视觉和机器学习的几个主题,如运动分析、图像/视频质量恢复、目标检测与识别、强化学习等。

论文地址:

YouTube地址:

引用链接:

原创文章,未经授权禁止转载。详情见 转载须知 。


本文地址: https://www.gpxz.com/article/9359c0814e3a583aafea.html
全局中部横幅
全局中部横幅
吉林市昌邑区爱妮母婴休养会所

吉林市昌邑区爱妮母婴休养会所,一家居家式医学产后护理会所。

宣讲家网

宣讲家网是全国独家高端报告视频智库、首家专业理论网站,传播马克思主义中国化的创新理论,辅导受众学习科学理论,学习贯彻党的理论和路线方针政策。以思想性、政治性、理论性、文献性为主要内容,是全国党委中心组和党委讲师团网上学习、交流的平台,是广大网友提高思想理论素养、增强人文知识底蕴,掌握时事政策的网上课堂。

幸福的相册

小K网-我在人间凑数的日子

程力专用汽车股份有限公司销售二十五分公司

程力专用汽车股份有限公司销售二十五分公司

阿里伯乐

阿里伯乐是一家专业的电子商务及商业服务网站,提供线上和线下全面的商务资讯服务.提供免费网上开店服务,含企业名录及供求信息,提供后台管理及二级域名.阿里伯乐24小时客户服务热线:0371-60967123

达尔文9号重疾险官方投保入口

慧择达尔文9号重疾险在哪里买?达尔文9号重疾险是慧择保险经纪公司独家产品,本站为官网购买通道。达尔文9号重疾险怎么样?慧择保险专注保险服务19+,为您提供达尔文9号重疾险保障条款解读和保险方案定制服务。选慧择,会更好!

武汉佳德沃博格风动技术有限公司

武汉佳德沃博格风动技术有限公司成立于2002年,在2006年成为Wittig系统工程产品的销售机构,是德国Wittig系统工程在中国境内唯一办事机构,负责中国境内Wittig风动系列产品的技术支持、销售推广、售后服务及相关产品的市场开拓及行业应用。 德国Wittig系统工程是世界上最大的生产风机、压缩机和真空泵的专业风动设备制造商,Wittig风动系列产品早在上世纪70年代已经服务于中国,并为当时具有世界领先水平的武汉钢铁集团(现与宝钢集团合并为世界五百强企业-中国宝武集团)一米七轧机生产线提供了整套的风动设备。而武汉佳德沃博格风动技术有限公司自成立以来,仍在持续不断的为武汉钢铁集团生产改造项目提供完备的风动设备及专业技术支持。 Wittig产品线众多,结合中国工业技术的发展特点,工程及移动类产品的应用范围十分广泛,如离心风机、罗茨风机、旋转叶片气体压缩机、旋转叶片真空泵等产品,可大量应用于通风排风、空气供应、空气压缩、气体压缩、气体传输、真空供应等工程及移动车载领域。同时,我们十分擅长于针对不同的工艺、行业进行系统化工程方案定制,能持久的为客户提供更为科学、合理的专业应用支持。 公司自成立以来一贯致力于企业和员工的共同发展,并始终以人才培养作为企业发展的根本基石。我们始终秉承:工作时刻充满激情,愿与公司一起成长;最好成绩努力创造,公司发展之路更广;明确自己肩上责任,不畏困难勇敢前进;愿为客户无私奉献,只求赢得更好口碑。 时至今日,通过团队不懈的努力,我们已将先进的技术广泛应用于冶金、电力、纺织、气体运输和分离、化工、造纸、玻璃制造、环保水处理等行业,在未来的发展中,我们已把视角延伸至全球化合作的海油、石油等可持续发展的能源行业,通过在专业领域的不断求实与创新,致力于成为真空及压力应用的专家,以至诚的服务和奉献精神铸成一个新的质量定义,并以此奉献给我们的客户。

快帮集团商标注册

快帮集团自营全生命周期企业服务。提供知识产权、网站建设、企业邮箱、资质办理、工商财税等领域上百种不同的产品与服务。以北京为中心,在天津、河北、深圳、厦门、上海、武汉、泉州、青岛、海南等省市地区建立分子公司与服务中心,拥有超百人的服务团队。

◆深圳激发实业防伪工艺你身边的防伪专家24小时服务电话0755

深圳市激发实业有限公司创立于1993年,21年以来敬业如一。在这漫长的成长过程中我司不论在管理或防伪技巧上都得以飞跃式的进步与强化,同时也为无数知名国内外品牌在防伪打假战线上筑起坚不可摧的堡垒。

南元泵业有限公司

南元泵业新系列产品在设计、质量、售后以及性价比四大方面都进行了大幅度提升和改造,产品努力实现更美观、更放心。从设计创新到性能创新再到服务创新,创新赋予南元泵业新起点


全局底部横幅