毛发不再粘屏幕 还能360度旋转 等变性perfect！皮肤 StyleGAN3问世 (毛发不牢固)
你永远不知道StyleGAN的想象力可以有多强大。
刚刚英伟达最新推出的升级版StyleGAN 3，因为一组合成艺术作品刷爆Twitter，不少网友感叹：AI 制造了人类无法理解的恐怖！
StyleGAN生成式对抗网络是一种最先进的高分辨率图像合成方法，从最初的GAN到StyleGAN2变体，其图像合成能力一直在突破人类的想象，而这次升级版StyleGAN3的对生成细节的把控更是令人惊叹！
AI科技评论发现，这项研究出自英伟达最新论文《Alias-Free Generative Adversarial Networks》，论文中表明， 它从根本上解决了StyleGAN2 图像坐标与特征粘连的问题，实现了真正的图像平移、旋转等不变性 ，大幅提高了图像合成质量。
何谓等变性？简单理解就是生成的物体和图像的像素坐标没关系，仔细看下图：
你会发现StyleGAN2生成的动物毛发会粘在屏幕上，和动物的形态变化不一致。这就是StyleGAN变体一直无法解决的难题之一。果然魔鬼都在细节里！
我们知道，尽管生成式对抗网络具有层级卷积的性质，但由于过度依赖绝对像素坐标往往会出现图像细节“粘”在坐标上的现象， 原因多出自”粗糙“的信号处理过程和神经网络混叠上。
在这项研究中，英伟达将网络中的所有信号解释为连续的，并对架构进行轻微调整保证不需要的信息不会泄漏到分层合成过程，最终得到了 StyleGAN3，相比于StyleGAN2，它在保证了图像基本质量的同时， 明显改善了其内部的表示方式 使在亚像素尺度上也能实现绝对的平移和旋转。
虽然生成式对抗网络(generative adversarial networks, GAN)已被广泛用于各种应用，包括图像编辑、图像翻译以及视频生成，现有的控制生成的模型也达到了很高的水平，但总体而言，在合成过程的基础层面仍有极大的改善空间。
在现实世界中，图像在不同尺度上的细节往往是层次变化的。例如， 头部的移动可能导致头发、鼻子，甚至皮肤上毛孔随之改变。
通常，典型GAN生成器的结构化处理过程是：粗糙、低分辨率的特征通过上采样层分层细化，再通过卷积局部混合，以及非线性引入新的细节。这种体系结构可能基本还原了图像的表面特征，但它并没有以一种“自然而然”的方式合成更逼真的图像，也就是说， 粗糙特征确保了图像细节的存在，但没有控制它们的精确位置，细节被固定在了图像坐标上。
所形成的“纹理粘附”特征在隐藏表示的插值中清晰可见，打破了动态物体在空间中移动的连贯性。
创建更自然的转换层次的体系结构，让每个特征的精确亚像素位置都从底层粗特征中获得。 我们再来看一组最终的效果图：
可以看到，在头部移动的情况下，左图 StyleGAN2 生成的头发、皱纹等粘在了屏幕坐标上，而右图StyleGAN3生成的所有细节都可以连贯地转换，效果丝滑。
数据集中的效果同样如此， StyleGAN3中的场景与其余部分平滑地转换。
还可以注意到，在风景图生成中， StyleGAN3似乎已经学会模仿镜头运动（beach数据集）。
下图展示了几种“桥式（）”配置中平移等变性或缺乏平移等变性的现象。
第一列图像是利用具有解析傅立叶输入特征的生成器生成的图像；第二列图像基于第一列图像，通过使用高质量的重采样滤波器进行反向平移来“不变换”像素。
第三列图像展示了前两列图像的不同。 对于完美“等变”生成器（第5张图和第6张图），前两列图像是相同的 ，由模图像边界（由于光裁剪而未显示）和重采样产生数字噪声。可以看出，在60 dB范围内，其在视觉上堪称完美。
下图以类似于上图的方式说明了StyleGAN3的旋转等变性。
第一行中的StyleGAN3-T只为平移等变性而设计，正如预期的那样，它在旋转不变性上完全失败了。第二行展示的是StyleGAN3-T的一种变体，它使用p4对称G-CNN实现旋转等变。在360度的人脸旋转中，在90度的倍数处是精确的，但在中间角度处会发生扭曲。 而StyleGAN3-R展示了高保真的旋转等变性（尽管视觉上还不算完美）。
下图展示了点态非线性(这里是ReLU)固有的混叠，以及StyleGAN3的解决方案。
：原始限带信号z，对其理想版本(上)进行采样(中)，然后根据采样(下)进行重构。由于采样率足够高，可以捕获信号，因此不会发生混叠。
：在连续域(顶部)应用点向非线性会产生一个非光滑函数，这是由于在零交叉点处的剪切。采样这个信号(中间)并从样本(底部)重建函数会产生一个混叠的结果，因为由裁剪产生的高频不能用样本网格表示。
：在连续域中对ReLUed函数应用低通滤波器(上)，再次得到平滑函数：对它进行采样(中间)可以实现真实的重构(底部)。
下图比较了StyleGAN3和StyleGAN2(第一行)的内部激活模式。StyleGAN3-T(中间，平移等变)和StyleGAN3-R(底部，旋转等变)两个等变网络构建图像的方式， 与StyleGAN2的最终图像中遵循特征的多尺度相位信号的方式完全不同。
基于StyleGAN3的构造，这些信号必须控制图像特征的外观和相对位置。研究人员假设局部定向振荡形成一个基底，从而使分层定位成为可能。 StyleGAN3的构造似乎使网络很自然地从低频输入的傅里叶特征构造图像。
下图解释了切片可视化对比，表明在人脸平移时，对于某个固定的坐标切片，StyleGAN3可以随人脸移动变化纹理，而StyleGAN2则倾向于生成固定的纹理。
以上示例证明，StyleGAN的通过图像边界、像素噪声输入和位置编码以及混叠，可以利用中间层实现位置精确。
在GAN的相关文献中，混叠这一概念很少被提及，作者在这项研究中，提供了
他们发现，混叠网络具有放大并在多个尺度上组合图像像素的能力，这对于弱化固定在屏幕坐标中的纹理图案至关重要。并且实验证明，该网络还适用于深度学习中所有常用过滤器，甚至图像处理中使用的高质量过滤器。
当前的上采样滤波器在抑制混叠方面根本不够积极，而且需要具有超过100dB衰减的高质量滤波器。 这项研究提出了一种解决点态非线性引起的混叠的原理，考虑了它们在连续域的影响，并对结果进行适当的低通滤波。
一个基于1×1卷积的模型能够产生强旋转的等变生成器。 一旦适当地抑制了混叠以迫使模型实现更自然的层次细化，它的操作模式就会发现显著变化：坐标系统等内部表示，允许细节准确地附加到底层表面。这将显著改进用于生成视频和动画的模型。
效果如此完美，真的不是cherry-picking？
英伟达也怕你不服气，火速开源了项目，还提供了colab供小白尝试。
版权文章，未经授权禁止转载。详情见 转载须知 。
本文地址： https://www.gpxz.com/article/10088611dfabd4897ed1.html
本站提供市面上最新最全的微信健康小程序资源，您可以免费获取这些应用资源。
书画家百科是一部内容开放、自由的网络书画百科全书。无门槛收录全球书画家信息，收录包括：个人简介，作品展示，荣誉展示，名家点评，参考资料，联系方式等。为书画爱好者及收藏者提供最全面的信息指引及参考。
专业的烘焙原料、烘焙包装、烘焙机械、焙烤食品行业网上平台,专业致力于烘焙包装和烘焙机械等信息服务。我们不断完善拓展烘焙市场业务,提烘焙原料、烘焙包装、烘焙机械供求、代理、合...
顺手解说资源网专业为自媒体创作者提供原创、伪原创影视解说文案、电影解说文案、解说文稿、解说技巧、影视下载等资料，网站每天更新，做最全最好的影视解说资源分享网！
拥有19年的互联网服务经验，合作客户超2000家、提供：营销型网站建设、外贸网站制作、网络营销策划、及其他互联网服务，服务热线：13901505321
最新最全的企业介绍、行业新闻、招聘信息、招投标信息，海量资讯一网打尽
腾讯地图服务商业服务版本授权，地图标注SDK开发，腾讯地图服务商对接各种需要使用腾讯地图免费服务联系我们wx：qcloud0755
青岛优耐德专业从事皮带输送机，滚筒输送机，链板输送机，仓储物流输送分拣系统等设备生产，是专业的皮带机厂家，滚筒线厂家，欢迎来电咨询。
骑士助手官方网站为您提供了海量的无广告手机应用，骑士助手网站同时提供大量的破解版手机游戏和无限金币手机游戏，是杰出的手机app下载网站。
江苏新大高空工程有限公司为各类烟塔新建、高空防腐检修、环保脱硫、防水堵漏、化学锚固、等工程项目，其中有高难度、脏、累、险的工程和重点工程，都以工程质量优、安全高效，赢得了广大新老客户的一致好评
法头条是一家专业的法律、律师咨询网站，致力为法律需求者提供免费咨询律师、律师在线解答法律咨询，为当事人提供详细的法律法规知识同时相关隐私问题也可以选择律师为您提供一对一免费法律咨询服务！
在线生成网站多设备缩略图
酷狗音乐现已上线，戴耳机听歌识曲，功能，目前已在安卓版应用中支持，借助该功能，用户不用摘下耳机，在酷狗音乐App右侧菜单栏找到，听歌识曲，，就能获得歌曲名字，酷狗音乐表示，本次上线的，戴耳机听歌识曲，，通过创新底层技术，让用户可以凭借简单的操作满足不同场景下的找歌需求，体验发现，酷狗已推出，桌面悬浮窗识曲，功能，让iOS端用户在看电影...。
2014年天猫双十一玩法全解析全球化——四海之内一起玩今年双11的一大特色就是，买遍全球，全球可买，，就是让国内的消费者能买到全球的商品，包括美国、日本、韩国、澳大利亚、新西兰、英国、法国、意大利、德国等，全球的消费者也能买到国内的商品，同时，220多国的海外消费者首次可以参与属于全球的购物狂欢，目前针对出口市场，阿里系有，淘宝海外，...。
孩子现在都是家中的宝，备受家长们的宠爱，孩子想要什么家长们都会尽量的去满足，儿童玩具占据着整个家庭中支出的三分之一，并且还在持续的日益增长，现在市场生的儿童玩具各种各样，可以满足不同年龄段孩子对玩具的需求，还可以激发儿童的求知欲，满足孩子的好奇心，可谓是一举多得，父母们也都舍得为孩子们花钱买，有不少的加盟商也都想要加入到卖儿童玩具的行...。
发表在专业问答2023，3，515，03展示机型信息，品牌型号，当贝X3系统版本，当贝OS2.0当贝X3最大能投300寸，投射300寸画面需要约8米的投射距离，官方推荐的最佳投影尺寸是100，200寸，这样才可以完全可以发挥出当贝X3高亮的画面优势，当贝X3能投多大当贝X3能投30，300寸画面，这是因为当贝X3本身拥有亮度高和高分辨...。
近年来随着民众消费能力增强，家中的贵重衣物数量渐渐多了起来，而作为专业护理的干洗店也由此迎来发展的契机，各家业界品牌的业务量得到不同程度上升，行业走势稳中向好，对于刚入行的人来说新手怎么开干洗店，这显然还是个问题，在此本文将给出清晰解答，扫清读者们心中的困惑，缺乏从业经验的人士独自开干洗店是行不通的，因为在经营过程中需要妥善处理好多项...。
在第七届进博会上，展品目不暇接，真是让人看花了眼，不过好在这里有一份，政要严选，的特产单，跟着这份单子打卡必定没有错！马来西亚总理介绍的榴莲，乌拉圭总统介绍的牛肉，还有东帝汶的咖啡……还有什么特产，快戳开视频看看吧～监制丨潘林华制片人丨阴丽萍记者丨韩硕筹划丨宣霁祐编导丨朱隆洲钟一宁摄像丨柳明剪辑丨常琪...。
玛莎拉蒂作为意大利奢侈车市场的代表品牌之一，不时以其共同的设计和超群的性能而备受汽车喜好者们的青眼，近年来，玛莎拉蒂品牌推出的泛滥车型，多少钱从数十万至千万不等，其中以20多万左右的多少钱在市场上占有必定份额的车型，是玛莎拉蒂QuattroporteGTSGranSport，在外观设计上，QuattroporteGTSGranSpor...。
每小时6升油，依据查问关系地下消息显示，神钢480开掘机油耗6升油每小时，汽车长期间怠速会参与油耗和积碳，会对环境形成必定的污染，所以要尽量防止长期间怠速，车的怠速不是一种速度，而是指一种上班状况，神钢480挖机带炮头月租价格按小时租价格月租7w神钢SK480LC，8开掘机冬天水温高怎样办，神钢SK480LC，8开掘机冬天水温高怎样办...。
新别克凯越买的话要8.39万起一辆，1、在外观上，新凯越就给人一种改头换面的觉得，驳回了别克品牌新一代家族设计言语，飞翼式格栅配合展翼式头灯，在外型上的时兴设计不会让人联想起和老凯越有什么血统相关，关于年轻生产者来说，应该都会对新凯越有着不错的第一印象，而即使新凯越的家族式设计没有君越和君威那种气场，但别克还是为新凯越装备了带有LED...。
2345看图王最新版是由上海二三四五公司打造的电脑看图神器，软件功能强大，打开图片速度极快，无论多大的图片都能秒级打开，不用等待；精密迅锐的图像处理，带给您最真实的高清看图效果！欢迎大家安装使用！官方简介2345看图王，是强大的图片浏览管理软件。完整支持
六连阴后出现一个好信号！_张春林_新浪博客,张春林,
自动专题,提供自动的相关文章和相关资讯,在本栏目你可以看到自动这个内容的相关各类文章很多篇,如有不足请提供给我们更多自动的文章供大家查阅.
但凡在电商平台浏览过智能电视的用户，对，护眼，这一功能都不会陌生，毫不夸张地说，护眼电视的噱头确实让大部分做家长的用户动了心，毕竟近视已经成为危害青少年健康的首要敌人，我们都不希望自己的孩子小小年纪就戴上了近视眼镜，世卫组织爱眼协会和国内知名眼科医院研究表明，蓝光可以穿透晶状体到达视网膜，对其造成光学损害，且加速黄斑区细胞的氧化，直视...。
2023年开年，一部，狂飙，引起全民追剧狂潮，让国产电视剧一路，狂飙，，可谓开了个好头，紧随其后的，三体，、，漫长的季节，等口碑类作品也接连出圈、爆款不断，截至上半年已经有不少优秀的高分电视剧作品涌现，那么究竟有哪些剧值得追呢，小编整理了2023豆瓣评分高的电视剧排行榜，共有十部佳作，下面按照评分高低进行排序，赶紧收藏，利用假期慢慢品...。
近日，一桩令人痛心的消息在社会上引起了广泛关注，一名高三教师在宿舍内不幸离世，据其家属透露，该教师生前长期承担繁重的教学任务，工作压力巨大，长时间处于高强度的工作状态，这一事件不仅牵动了无数人的心，也引发了社会各界对于教师职业健康与权益保护的深刻思考，面对这样的悲剧，当地教育局迅速作出回应，表示已经介入调查处理，并承诺将依法依规妥善解...。
代码说明，本页面的认证代码为U8广告联盟专用评测代码，站长需懂简单html知识，直接复制代码粘贴到联盟网站相应页面即可使用，本代码不适用于其他广告联盟网站请勿获取！文字认证，文字链接代码认证适用所有类型的广告联盟，复制代码后放在U8广告联盟网站首页底部或友情链接位置处，普通认证，普通联盟认证标志适用所有类型的广告联盟，能有效提升U8广...。
5月6日，一放假回来，vivo就官宣，影像新蓝图暨X系列新品发布会，，将在5月13日晚7点举行，而vivoX100Ultra、vivoX100s，X100sPro的渲染图、大致配置，甚至价格爆料都已经出来了，这次外观变化最大的是标准版的vivoX100s，虽然是直屏，但边框控制更好，有新的配色，vivoX100Ultra，V2366G...。
