英伟达发布新算法 可以重建缺失像素 (英伟达发布新版NVIDIAApp)

文章编号:44684 资讯动态 2024-12-09 深度学习 英伟达

雷锋网按:本文由雷锋字幕组编译,原标题New AI Imaging Technique Reconstructs Photos with Realistic Results,作者为Nvidia Developer News Center。

翻译 | 李诚 孙启超 整理 | 凡江

日前,英伟达公司由 Guilin Liu 领导的研发团队发布了一种最先进的深度学习算法,可以编辑图像或复原那些像素有缺失的图像。

该方法还可以通过删除图像的部分内容再进行填充的方式,来重新编辑图像。

发布新算法,可以重建缺失像素

这种“图像修复”功能应用在照片编辑软件中,先抠掉图像中不需要的内容,同时用算法生成的真实数据来填充。

论文中写道:“以前类似的深度学习方法重点放在位于图像中心的矩形区域,并且经常依赖于复杂的后处理操作,而我们的新模型有更好的效果。它可以鲁棒地处理任何形状、位置的马赛克遮挡。 并且未来可以更平滑地处理更大的区域。”

在着手训练神经网络之前,首先生成了 55,116 个具有随机纹理和任意形状、大小的马赛克形状作为训练集。他们还生成了近 25,000 个马赛克图形作为测试数据集。 为了提高图像重建的准确度,根据马赛克形状的相对大小把这些图像进一步分成了六类。

发布新算法,可以重建缺失像素 为了训练生成的马赛克例子

团队通过将生成的马赛克图案覆盖在 ImageNet,Places2 和 CelebA-HQ 数据集的图像上,使用 NVIDIA Tesla V100 GPU 和经过 cuDNN 加速的 PyTorch 深度学习框架来训练神经网络。

在训练阶段,将空白或缺失部分引入上述数据集完整的训练集中,使神经网络能够学习复原缺失的像素。在测试阶段,将与训练阶段不同形状的马赛克图案应用于测试集的图像中,从而提高复原精度的范化能力。

现有的基于深度学习的图像修复方法效果受限,是因为受损像素的输出一定依赖于这些像素提供给神经网络的输入。这导致图像中产生了颜色偏差和模糊的伪信息

为了解决这个问题,研究团队开发了一种方法,确保受损像素的输出不依赖于因这些像素产生的输入值。这个方法是使用“部分卷积”层,根据其感受野的有效性对每个输出进行重新归一化 。这种重新归一化的方法可确保输出值与每个感受野中受损像素的值相互独立无关。该模型由UNet架构实现的部分卷积功能。使用一组损失函数来训练模型,匹配VGG模型的特征损失和风格损失以产生逼真的输出。

研发人员也在论文中引用到,相同的网络框架可以来完成高分辨率图像的处理任务。

论文参考:

博客原址

发布新算法,可以重建缺失像素

原创文章,未经授权禁止转载。详情见 转载须知 。

发布新算法,可以重建缺失像素


本文地址: https://www.gpxz.com/article/47c707db6e226c7fc10e.html
全局中部横幅
全局中部横幅
在线刷网站

提供一个简单的在线工具,可以刷网站PV数据,配置Alexatoolbar提升网站排名!

gpxz.com的综合查询

爱站网站长seo综合查询工具提供网站收录查询和站长查询以及百度权重值查询等多个站长工具,免费查询各种数据,包括收录、反链及关键词排名等。

考研论坛

考研党们,快加入中国最大的考研论坛(bbs.kaoyan.com)!告别孤独备考,来与同校研友、同专业考友、师兄师姐交流考研资料和考研经验吧!

北京宽带通

北京宽带通官网是北京宽带通电信技术有限公司官方网上营业厅,提供100M/50M等多种家庭、个人宽带安装、宽带续费、宽带缴费等宽带上网服务,以及3C家电等宽带周边产品!

新疆网站导航大全

LOL网址导航网是专业的上网导航网站,精心收录各类优质热门网站信息,同时提供天气、快递、违章等各种生活便民查询工具网址,为您提供安全便捷的上网导航服务,现已被众多网友设为上网主页,网址导航大全首选LOL网址导航.

旅游景点排行榜前十名

玄米旅游网精选了各地的最佳旅游目的地,包括壮丽的自然风光、丰富的文化遗产、舒适的住宿和美食等。无论您是喜欢自然风光还是人文历史,都能帮助您计划完美的旅程。让您的旅行更美好!

尼克资源网

尼克资源网,是你的手机游戏和软件下载利器!我们提供各种类型的手机游戏和实用便捷的手机软件,让你的手机更加丰富多彩。无论您是想玩热门好玩的游戏,还是需要实用的软件,我们都能为你提供完美的选择。

外贸找客户

上海驭岳好选客系统专注于外贸找客户软件,向外贸企业提供搜索引擎,客户画像,贸易数据,社交媒体,地图找客户,全球展会采购商,whatsapp营销,全球商业数据等八大外贸找客户渠道,解决中小企业找外贸客户难题.

亿控电子

深圳市亿控电子创立于2009年初,主要为电子核心元件代理业务,凭着诚信经营,拼搏开拓的精神,陆续取得了国内外电子元器件品牌的代理授权。

育设学堂

育设学堂是一个面向设计师的在线学习平台,致力于为机械、建筑、室内、平面等设计师提供系统学习解决方案,目前已开课CAD、PS、CDR、Revit、UGNX、3Dmax、全屋定制和室内手绘等课程。


全局底部横幅