毛发不再粘屏幕 还能360度旋转 等变性perfect！皮肤 StyleGAN3问世 (毛发不牢固)
你永远不知道StyleGAN的想象力可以有多强大。
刚刚英伟达最新推出的升级版StyleGAN 3，因为一组合成艺术作品刷爆Twitter，不少网友感叹：AI 制造了人类无法理解的恐怖！
StyleGAN生成式对抗网络是一种最先进的高分辨率图像合成方法，从最初的GAN到StyleGAN2变体，其图像合成能力一直在突破人类的想象，而这次升级版StyleGAN3的对生成细节的把控更是令人惊叹！
AI科技评论发现，这项研究出自英伟达最新论文《Alias-Free Generative Adversarial Networks》，论文中表明， 它从根本上解决了StyleGAN2 图像坐标与特征粘连的问题，实现了真正的图像平移、旋转等不变性 ，大幅提高了图像合成质量。
何谓等变性？简单理解就是生成的物体和图像的像素坐标没关系，仔细看下图：
你会发现StyleGAN2生成的动物毛发会粘在屏幕上，和动物的形态变化不一致。这就是StyleGAN变体一直无法解决的难题之一。果然魔鬼都在细节里！
我们知道，尽管生成式对抗网络具有层级卷积的性质，但由于过度依赖绝对像素坐标往往会出现图像细节“粘”在坐标上的现象， 原因多出自”粗糙“的信号处理过程和神经网络混叠上。
在这项研究中，英伟达将网络中的所有信号解释为连续的，并对架构进行轻微调整保证不需要的信息不会泄漏到分层合成过程，最终得到了 StyleGAN3，相比于StyleGAN2，它在保证了图像基本质量的同时， 明显改善了其内部的表示方式 使在亚像素尺度上也能实现绝对的平移和旋转。
虽然生成式对抗网络(generative adversarial networks, GAN)已被广泛用于各种应用，包括图像编辑、图像翻译以及视频生成，现有的控制生成的模型也达到了很高的水平，但总体而言，在合成过程的基础层面仍有极大的改善空间。
在现实世界中，图像在不同尺度上的细节往往是层次变化的。例如， 头部的移动可能导致头发、鼻子，甚至皮肤上毛孔随之改变。
通常，典型GAN生成器的结构化处理过程是：粗糙、低分辨率的特征通过上采样层分层细化，再通过卷积局部混合，以及非线性引入新的细节。这种体系结构可能基本还原了图像的表面特征，但它并没有以一种“自然而然”的方式合成更逼真的图像，也就是说， 粗糙特征确保了图像细节的存在，但没有控制它们的精确位置，细节被固定在了图像坐标上。
所形成的“纹理粘附”特征在隐藏表示的插值中清晰可见，打破了动态物体在空间中移动的连贯性。
创建更自然的转换层次的体系结构，让每个特征的精确亚像素位置都从底层粗特征中获得。 我们再来看一组最终的效果图：
可以看到，在头部移动的情况下，左图 StyleGAN2 生成的头发、皱纹等粘在了屏幕坐标上，而右图StyleGAN3生成的所有细节都可以连贯地转换，效果丝滑。
数据集中的效果同样如此， StyleGAN3中的场景与其余部分平滑地转换。
还可以注意到，在风景图生成中， StyleGAN3似乎已经学会模仿镜头运动（beach数据集）。
下图展示了几种“桥式（）”配置中平移等变性或缺乏平移等变性的现象。
第一列图像是利用具有解析傅立叶输入特征的生成器生成的图像；第二列图像基于第一列图像，通过使用高质量的重采样滤波器进行反向平移来“不变换”像素。
第三列图像展示了前两列图像的不同。 对于完美“等变”生成器（第5张图和第6张图），前两列图像是相同的 ，由模图像边界（由于光裁剪而未显示）和重采样产生数字噪声。可以看出，在60 dB范围内，其在视觉上堪称完美。
下图以类似于上图的方式说明了StyleGAN3的旋转等变性。
第一行中的StyleGAN3-T只为平移等变性而设计，正如预期的那样，它在旋转不变性上完全失败了。第二行展示的是StyleGAN3-T的一种变体，它使用p4对称G-CNN实现旋转等变。在360度的人脸旋转中，在90度的倍数处是精确的，但在中间角度处会发生扭曲。 而StyleGAN3-R展示了高保真的旋转等变性（尽管视觉上还不算完美）。
下图展示了点态非线性(这里是ReLU)固有的混叠，以及StyleGAN3的解决方案。
：原始限带信号z，对其理想版本(上)进行采样(中)，然后根据采样(下)进行重构。由于采样率足够高，可以捕获信号，因此不会发生混叠。
：在连续域(顶部)应用点向非线性会产生一个非光滑函数，这是由于在零交叉点处的剪切。采样这个信号(中间)并从样本(底部)重建函数会产生一个混叠的结果，因为由裁剪产生的高频不能用样本网格表示。
：在连续域中对ReLUed函数应用低通滤波器(上)，再次得到平滑函数：对它进行采样(中间)可以实现真实的重构(底部)。
下图比较了StyleGAN3和StyleGAN2(第一行)的内部激活模式。StyleGAN3-T(中间，平移等变)和StyleGAN3-R(底部，旋转等变)两个等变网络构建图像的方式， 与StyleGAN2的最终图像中遵循特征的多尺度相位信号的方式完全不同。
基于StyleGAN3的构造，这些信号必须控制图像特征的外观和相对位置。研究人员假设局部定向振荡形成一个基底，从而使分层定位成为可能。 StyleGAN3的构造似乎使网络很自然地从低频输入的傅里叶特征构造图像。
下图解释了切片可视化对比，表明在人脸平移时，对于某个固定的坐标切片，StyleGAN3可以随人脸移动变化纹理，而StyleGAN2则倾向于生成固定的纹理。
以上示例证明，StyleGAN的通过图像边界、像素噪声输入和位置编码以及混叠，可以利用中间层实现位置精确。
在GAN的相关文献中，混叠这一概念很少被提及，作者在这项研究中，提供了
他们发现，混叠网络具有放大并在多个尺度上组合图像像素的能力，这对于弱化固定在屏幕坐标中的纹理图案至关重要。并且实验证明，该网络还适用于深度学习中所有常用过滤器，甚至图像处理中使用的高质量过滤器。
当前的上采样滤波器在抑制混叠方面根本不够积极，而且需要具有超过100dB衰减的高质量滤波器。 这项研究提出了一种解决点态非线性引起的混叠的原理，考虑了它们在连续域的影响，并对结果进行适当的低通滤波。
一个基于1×1卷积的模型能够产生强旋转的等变生成器。 一旦适当地抑制了混叠以迫使模型实现更自然的层次细化，它的操作模式就会发现显著变化：坐标系统等内部表示，允许细节准确地附加到底层表面。这将显著改进用于生成视频和动画的模型。
效果如此完美，真的不是cherry-picking？
英伟达也怕你不服气，火速开源了项目，还提供了colab供小白尝试。
版权文章，未经授权禁止转载。详情见 转载须知 。
本文地址： https://www.gpxz.com/article/10088611dfabd4897ed1.html
建房圈专注于农村自建房屋别墅设计，[甲级设计院]设计实力服务客户上万家客户，获得业主的信赖，为业主提供农村自建房设计图，农村自建别墅设计图纸及效果图大全，建房圈定期更新原创别墅设计图纸，打造高品质农村自建别墅。咨询热线：18200583659（胡工）
【15年壹起航】深耕于网络推广，专注全网营销,品牌维护,品牌推广,网站推广,企业品牌塑造，一手全网整合营销资源，自研建站系统及短视频系统，百家渠道代理商，3000+企业用户合作，联系壹起航。
【万表官网】名表珠宝专业大平台，甄选全球高品质腕表珠宝！买天梭、浪琴、帝舵、欧米茄、劳力士、万国等世界名表，原装正品，全国联保。手表维修、闲置手表回收、名表鉴定、手表价格查询、买卖二手表，13年0假货，万表名匠终身售后。买手表，上万表！
南阳市新能新材料有限公司
万家姓网、百家姓、中华姓氏网、中华万家姓、中国家谱网、中华族谱网、家谱网、族谱网---中国第一姓氏文化门户网站
珠海市盛大信息科技有限公司是一家本地网站建设公司,我们专注网站营销、定制企业官网、响应式网站建设、微信营销推广、网站推广营销、网站托管等为企业客户提供一站式网站设计解决方案，做网站建设服务电话:0756-6887775
博山腾亿水泵厂主要生产质量可靠的博山潜水泵，热水潜水电泵，水环式真空泵、旋片式真空泵,矿用渣浆泵等系列产品,产品质量稳定,品种繁多,规格齐全,价格优惠.服务热线:0533-4685003
盛世昌华仪表有限公司是集燃气表工厂、智能燃气表、NB-IoT燃气表、IC卡表、煤气表、沼气表、远传表、RS485脉冲表、工商业大口径燃气表、燃气流量计等研发生产的高新技术工厂！燃气表已出口俄罗斯及东南亚等多个国家和地区。
本站主要分享狗界雪橇三傻信息！萨摩耶,哈士奇,阿拉斯加,这仨货是大名鼎鼎的雪橇三傻,有时候它们的智商真会让人怀疑这到底是不是狗狗该有的智商。
免费在线BMI计算器，1秒计算身体质量指数，提供中国标准BMI对照表。
上海正勤电子有限公司
互联百科提供海量优质的范文、经验、百科、常识、知识、问答供大家学习和了解。
尽管支付宝很方便，但是在现实生活中小商小贩还是更爱用现金，今天有一系列阿里系新闻发布，其中，支付宝发布了新产品，支付宝收款，新收款方法只需要一个二维码，将使支付宝向下推广到沿街卖煎饼红薯的小摊小贩，服务商在蚂蚁金服开放平台签约，支付宝收款，，生成员工二维码和一批商家收款码，然后打印出来，让地推人员带着这些二维码就能上门帮小商家接入支...。
随着社会的发展和观念的开放，成人用品市场在我国逐渐崛起，市场规模逐年扩大，然而，市场竞争也愈发激烈，众多成人用品品牌涌现市场，其中爱爱谷成人用品有一定市场名气与影响力，多样化产品系列，实惠价格，在为消费者带去更多购物选择，那么加盟爱爱谷成人用品要多少钱，轻松起步，爱爱谷成人用品从品牌创建到现在有十几年的发展历程，已经成为名气很大的成人...。
12月19日，闲聊站爆料称，荣耀Magic7RSR保时捷设计，将在12月23日发布，的1，1.4型3倍长焦，光圈猛增到F1.88，等效光圈一下子飙到了F7.1，数字越小，进光量越猛，PS，荣耀Magic7Pro的2亿像素2.5倍长焦，三星HP3，1，1.4型，等效60mm，是F2.6，用滕飞老师，相机笔记et，之前汇总的数据，就可以...。
雷锋网消息，近日，第四届图像计算与数字医学国际研讨会，ISICDM2020，在中国辽宁省沈阳市召开，研讨会围绕图像计算和数字医学中的一些重要的理论、算法与应用问题进行学术讨论，旨在促进电子信息，包括计算机、自动化与生物医学工程，、数学和医学等领域学者的交流与合作，本次研讨会由国际数字医学会主办，东北大学和中国医科大学联合承办，在12月...。
国庆7天长假，你一共打开了几次电视，从2016年到2022年，我国电视日均开机率从70%下降到30%，若要重回家庭娱乐C位，电视就必须注入新的行业活力，AI成为智能电视下一个可以预见的未来，商汤正是各大顶尖电视家电厂商的共同选择，商汤，秒画，助力厂商重新定义电视，AITV让家变成艺术馆提高打开率意味着需要让电视满足更多丰富的用户需求，...。
中国之广，山河壮美，高瞻且富于人格魅力的企业家多不胜数，他们的很多思考需要被记录、传播及备载，张鹏国就是其中之一，时间倒数169天，宇视总裁张鹏国于深圳安博会期间作文，深圳安防展浅见一二三，，21则金句一夜之间微信阅读量冲破十万加，成为现象级的传播案例，时间到了今天，在宇视科技合作伙伴峰会上，宇视总裁张鹏国又现场分享了七句箴言，引发人...。
作者，李溪编辑，余快在2022年的尾声，大华出现重大人事调整，12月20日，根据大华的发布公告，张兴明辞去执行总裁等职务、江小来辞去高级副总裁，他们不再担任大华任何职务，并将分别担任大华旗下子公司华睿科技董事长及总裁、华感科技执行董事，与此同时，原大华高级副总裁及海外营销中心总裁赵宇宁将接替张兴明，担任公司执行总裁，这一决定，经由公司...。
R.I.P官网，NBA名宿穆托姆博因脑癌逝世，长年58岁穆托姆博1991年首轮第四顺位被掘金选中，先后效能过掘金、老鹰、76人、篮网、尼克斯和火箭，2009年他因膝伤退役，职业生涯他四次取得最佳防卫球员，8次中选全明星，是NBA历史盖帽第二，3297次，仅次于奥拉朱旺，，2015年中选NBA名人堂，关系报道大爱无疆！篮球大使穆托姆博的...。
外地期间11日，俄罗斯总统助理帕特鲁舍夫在接受俄媒采访时示意，美国和英国有或者再次实施相似于破坏，北溪，自然气管道的恐惧袭击，帕特鲁舍夫指出，有消息显示，美英将破坏，北溪，管道的行为视作推进己方经济利益之举，包含海底光缆在内的基础设备名目有或者成为其新的破坏指标，北溪，自然气管道从俄罗斯经波罗的海直通德国，向欧洲输气，2022年9月...。
神马影院什么都能看，电影刚出第二天就能看神马影院在线看电影会在宽带上扣费么不会扣宽带费的只要互联星空上能扣宽带费其余网站没有这个权限怎样下载神马影院，一，神马影院是一个网站，可以经过网络搜查访问二，帮你看了一下，下载该网站关系的电影，用迅雷便可，还可以在线观看，然而网络广告较多，阅读时刻请多留意...。
支付宝蚂蚁庄园2022年3月19日的题目为：用AED(自动体外除颤器)救人时，应该按照什么提示来操作？很多小伙伴可能还不太清楚。下面小编就为大家带来了正确答案分享，希望能帮助到你。
MVC-SQL数据库是什么意思？怎么用？本专题通过翻译、语法解释、视频讲解、实例代码运行方式详细介绍了MVC-SQL数据库的定义和使用方法
1月17日，比亚迪在其总部举行，何以中国盛世王朝，2025首届王朝盛典，本届盛典汇聚了来自全国各地的王朝车主、媒体大咖、各平台KOL及达人，以王朝车系沿用的中国文化为主题，开展了一场跨越时空的王朝盛宴，比亚迪厚积厚发在新能源推动下，2024年乘用车市场重回2300万高峰，新能源渗透率从7月开始突破50%，并连续5个月保持在50%以上，...。
珍珠冰激凌，是人们用牛奶、奶油、食用糖、鲜果、珍珠粉等材料制作而成的，它口感爽滑，色彩缤纷，营养丰富，得到了不少消费者的喜爱，于是，很多智慧之选者都产生了开个珍珠冰激凌加盟店的想法，那么，珍珠冰激凌加盟怎么样，手工冰淇淋加盟店多少钱，下面，小编就以MINIMELTS为例，为大家详细介绍一下吧！珍珠冰激凌加盟怎么样，MINIMELTS，...。
发表在专业问答2023，8，1810，17展示机型信息，品牌型号，当贝X5系统版本，当贝OS4.0投影幕布正反面不是都可以用的，正常幕布都是分正反面的，正常的幕布背面一般是黑底的不透光的，不支持投影仪背投，同时对正投的投影画面也没有好的增益效果，投影幕布正反面都可以用吗投影幕布正反面不是都能使用的，因为投影幕布的背部通常都是不透光的黑...。
小学生托班主要以低龄儿童作为服务对象，给更多家长减轻培养孩子的负担，市场也出现了不少受欢迎的托管品牌店，小学生托班加盟哪个品牌，对于现在大多数创业者来说，大家在筹备品牌时也需要做好详细了解，公司品牌自从创办以来，就能以学生的需求作为出发点，老师给孩子进行课后辅导，帮助孩子养成更好行为习惯和培养整体素养，在生活学习方面给予更多照顾，现在...。
8月29日外交部发言人林剑掌管例行记者会，全球时报，记者提问，近期，拉美多国纷繁对美国干预外交行为表白不满和抗议，墨西哥总统洛佩斯在回应美驻墨大使干预墨司法革新不当舆论时示意，咱们不是任何国度的殖民地，美国必定学会尊重墨西哥主权，洪都拉斯总统卡斯特罗谴责美国对洪干预主义行为违犯国际法，古巴外长在社交媒体上称，古方十分分明美国经过国度...。
