英伟达发布新算法 可以重建缺失像素 (英伟达发布新版NVIDIAApp)

文章编号:44684 最新资讯 2024-12-09 深度学习 英伟达

雷锋网按:本文由雷锋字幕组编译,原标题New AI Imaging Technique Reconstructs Photos with Realistic Results,作者为Nvidia Developer News Center。

翻译 | 李诚 孙启超 整理 | 凡江

日前,英伟达公司由 Guilin Liu 领导的研发团队发布了一种最先进的深度学习算法,可以编辑图像或复原那些像素有缺失的图像。

该方法还可以通过删除图像的部分内容再进行填充的方式,来重新编辑图像。

英伟达发布新算法,可以重建缺失

这种“图像修复”功能应用在照片编辑软件中,先抠掉图像中不需要的内容,同时用算法生成的真实数据来填充。

论文中写道:“以前类似的深度学习方法重点放在位于图像中心的矩形区域,并且经常依赖于复杂的后处理操作,而我们的新模型有更好的效果。它可以鲁棒地处理任何形状、位置的马赛克遮挡。 并且未来可以更平滑地处理更大的区域。”

在着手训练神经网络之前,首先生成了 55,116 个具有随机纹理和任意形状、大小的马赛克形状作为训练集。他们还生成了近 25,000 个马赛克图形作为测试数据集。 为了提高图像重建的准确度,根据马赛克形状的相对大小把这些图像进一步分成了六类。

英伟达发布新算法,可以重建缺失 为了训练生成的马赛克例子

团队通过将生成的马赛克图案覆盖在 ImageNet,PlaCES2 和 CelebA-HQ 数据集的图像上,使用 NVIDIA Tesla V100 GPU 和经过 cuDNN 加速的 PyTorch 深度学习框架来训练神经网络。

在训练阶段,将空白或缺失部分引入上述数据集完整的训练集中,使神经网络能够学习复原缺失的像素。在测试阶段,将与训练阶段不同形状的马赛克图案应用于测试集的图像中,从而提高复原精度的范化能力。

现有的基于深度学习的图像修复方法效果受限,是因为受损像素的输出一定依赖于这些像素提供给神经网络的输入。这导致图像中产生了颜色偏差和模糊的伪信息。

为了解决这个问题,研究团队开发了一种方法,确保受损像素的输出不依赖于因这些像素产生的输入值。这个方法是使用“部分卷积”层,根据其感受野的有效性对每个输出进行重新归一化 。这种重新归一化的方法可确保输出值与每个感受野中受损像素的值相互独立无关。该模型由UNet架构实现的部分卷积功能。使用一组损失函数来训练模型,匹配VGG模型的特征损失和风格损失以产生逼真的输出。

研发人员也在论文中引用到,相同的网络框架可以来完成高分辨率图像的处理任务。

论文参考:

博客原址

英伟达发布新算法,可以重建缺失

原创文章,未经授权禁止转载。详情见 转载须知 。

英伟达发布新算法,可以重建缺失


本文地址: /article/47c707db6e226c7fc10e.html
全局中部横幅
全局中部横幅
九游手机网游_手游下载门户_好玩的手机游戏排行榜

九游分享好游戏!手游下载中心,为玩家推荐新款手机游戏免费下载,热门的手游排行榜,最近好玩的手机游戏攻略。

候车亭门户网-候车亭-公交候车亭-智能环保设备免费B2B信息发布网站,专注公交站台企业推广

候车亭门户网国内优质公交候车亭B2B网站,集合公交站台周边产业,专注为公交站台候车亭企业提供免费网络推广服务

UL2587柔性控制电缆|H05VV5-F耐油电缆|PUR电缆-常州安耐特电缆有限公司

常州安耐特电缆有限公司专业致力于UL2587,柔性控制电缆,H05VV5-F,PUR电缆,AVVR的研发与生产,欢迎广大用户前来咨询

西式快餐店加盟_炸鸡汉堡店加盟_汉堡加盟十大品牌-沈阳赛诺客餐饮管理有限公司

沈阳赛诺客餐饮管理有限公司是一家以餐饮投资管理为核心,西式快餐品研发、生产、配给、销售为基础的实业型公司,其中赛诺客炸鸡汉堡店,是赛诺客餐饮发展的重要战略实体西式快餐店连锁品牌。欢迎您的加盟!

内蒙古孟和制药股份有限公司

我公司于2017年11月注册成立。项目是中蒙药生产线项目,也是旧厂技术改造项目;总占地83000多平方米,其中建筑面积18000平方米。项目计划总投入资金20000万元;建设期限为一年,2018年8月开工建设。

浙江学前网 首页

浙江学前教育网提供(学前教育,早期教育,幼儿园教材,园长管理,学前幼师培训,幼儿机构求职招聘,幼儿园教案,课件下载,蒙氏数学)的省内综合性幼儿教育,学前教育网络平台

大型防火门,防火卷帘门,挡烟垂壁,抗爆墙-常州腾安消防设备有限公司

常州腾安消防设备有限公司主要配套施工大型防火门,防火卷帘门,挡烟垂壁等,防火卷帘门,挡烟垂壁,抗爆墙厂家电话:18052518119

上海积印图文设计制作有限公司

上海积印图文设计制作有限公司上海积印图文设计制作有限公司

荔枝网

荔枝网是江苏广电集团全力打造的专业互联网平台。提供江苏广电所有节目视频观看点播服务,并为用户提供时政、社会、娱乐等综合信息,综艺视频在线观看、互动交流等服务。

苏州众思创节能电热设备有限公司

烘箱烘箱厂家热风循环烘箱电热恒温鼓风干燥箱干燥箱高温烘箱隧道炉烘箱台车烘箱大型烘箱

全局底部横幅