英伟达发布新算法 可以重建缺失像素 (英伟达发布新版NVIDIAApp)

文章编号:44684 资讯动态 2024-12-09 深度学习英伟达

雷锋网按:本文由雷锋字幕组编译,原标题New AI Imaging Technique Reconstructs Photos with Realistic Results,作者为NVIDia Developer News Center。

翻译 | 李诚 孙启超 整理 | 凡江

日前,英伟达公司由 Guilin Liu 领导的研发团队发布了一种最先进的深度学习算法,可以编辑图像或复原那些像素有缺失的图像。

该方法还可以通过删除图像的部分内容再进行填充的方式,来重新编辑图像。

英伟达发布新算法,可以重建缺失像素

这种“图像修复”功能应用在照片编辑软件中,先抠掉图像中不需要的内容,同时用算法生成的真实数据来填充。

论文中写道:“以前类似的深度学习方法重点放在位于图像中心的矩形区域,并且经常依赖于复杂的后处理操作,而我们的新模型有更好的效果。它可以鲁棒地处理任何形状、位置的马赛克遮挡。 并且未来可以更平滑地处理更大的区域。”

在着手训练神经网络之前,首先生成了 55,116 个具有随机纹理和任意形状、大小的马赛克形状作为训练集。他们还生成了近 25,000 个马赛克图形作为测试数据集。 为了提高图像重建的准确度,根据马赛克形状的相对大小把这些图像进一步分成了六类。

英伟达发布新算法,可以重建缺失像素 为了训练生成的马赛克例子

团队通过将生成的马赛克图案覆盖在 ImageNet,Places2 和 CelebA-HQ 数据集的图像上,使用 NVIDIA Tesla V100 GPU 和经过 cuDNN 加速的 PyTorch 深度学习框架来训练神经网络。

在训练阶段,将空白或缺失部分引入上述数据集完整的训练集中,使神经网络能够学习复原缺失的像素。在测试阶段,将与训练阶段不同形状的马赛克图案应用于测试集的图像中,从而提高复原精度的范化能力。

现有的基于深度学习的图像修复方法效果受限,是因为受损像素的输出一定依赖于这些像素提供给神经网络的输入。这导致图像中产生了颜色偏差和模糊的伪信息。

为了解决这个问题,研究团队开发了一种方法,确保受损像素的输出不依赖于因这些像素产生的输入值。这个方法是使用“部分卷积”层,根据其感受野的有效性对每个输出进行重新归一化 。这种重新归一化的方法可确保输出值与每个感受野中受损像素的值相互独立无关。该模型由UNet架构实现的部分卷积功能。使用一组损失函数来训练模型,匹配VGG模型的特征损失和风格损失以产生逼真的输出。

研发人员也在论文中引用到,相同的网络框架可以来完成高分辨率图像的处理任务。

论文参考:

博客原址

英伟达发布新算法,可以重建缺失像素

原创文章,未经授权禁止转载。详情见 转载须知 。

英伟达发布新算法,可以重建缺失像素

全局中部横幅
云虚拟主机

蓝队云提供高速稳定的网站虚拟空间,基于云服务器技术架构,每周数据自动备份,数据更安全,服务更省心。

小一步

小一步微官网小一步微简介关于我们小一步是一个AI应用与数字化技术普及公益行动。旨在帮助更多的青少年使用和了解数字化工具、AI工具,培养和激发他们在信息化数字化方面的思维能力。小一步,每一步都算数。微简介

郑州郑开电气有限公司

郑州郑开电气有限公司、郑开电气、河南郑开电气、高低压电器成套设备、箱式变电站、自动控制设备

诚明鑫物资回收

诚明鑫物资回收公司是全国领军物资回收公司,专业回收全国各地的各类废旧物资,库存物资,报废物资回收,涉及各个行业领域的企业和工厂,在业内有雄厚的资金和极高的信誉度,公司的服务宗旨是,以绿化环境为首、以人为本、为社会的废旧物资利用和再生尽绵薄之力,还地球一片美丽。一般不超过200个字符

【官网】91营销数字化系统

91营销数字化系统,专注母婴行业经销商数字化解决方案,全面提高经销商工作效率,助理婴童行业数字化升级

北京雕塑公司

欢迎来电咨询010-65797211 博仟北京雕塑公司是中国专业的雕塑公司,结合雕塑设计、生产、雕塑制作加工、运输、安装、售后等一体化服务以及雕塑艺术活动组织策划的全方位整体解决方案的综合型文化企业,博仟雕塑厂家为您提供专业的雕塑服务,拥有专业现代化雕塑加工厂 

全自动折盒机

迈特威智能设备(深圳)有限公司是国内一家集折盒机、套袋机研发设计生产、销售、服务于一体的国家高新技术型企业,广东省“专精特新”优质中小企业、瞪羚企业、东莞企业。专业提供飞机盒、天地盖、自锁底、水果盒等纸盒成型设备、纸箱、桶、胶框等容器内套袋及家电产品外套袋设备及配套设备折袋机、封口机、扎口机等全自动化工艺升级方案!电话:15817530302

抗磨液压油

煜柏(上海)润滑油有限公司是一家集研制、生产、销售为一体的专业润滑油公司。公司生产的“洛基”牌润滑油系列产品具有较强的供给保障能力。产品覆盖汽车用油,工业用油,工程机械用油及各种专用油和脂类。

PMO评论︱我国唯一的PMO专业人士门户网站

本站将为组织和个人提供项目管理办公室培训与咨询服务,内容涵盖PMO定位职责、PMO角色、PMO绩效考核和组建PMO运作案例,旨在传播先进的PMO发展思想、技术与工具。

数码科技最新动态及趋势

本站深度剖析2024年数码科技领域的最新动态,涵盖当前最受关注的数码产品以及前沿技术发展趋势。通过全面解读数码技术进展和创新应用,帮助大家更好地理解数码科技的未来发展方向。

全局底部横幅