英伟达发布新算法 可以重建缺失像素 (英伟达发布新版NVIDIAApp)

文章编号:44684 资讯动态 2024-12-09 深度学习 英伟达

雷锋网按:本文由雷锋字幕组编译,原标题New AI Imaging Technique Reconstructs Photos with Realistic Results,作者为Nvidia Developer News Center。

翻译 | 李诚 孙启超 整理 | 凡江

日前,英伟达公司由 Guilin Liu 领导的研发团队发布了一种最先进的深度学习算法,可以编辑图像或复原那些像素有缺失的图像。

该方法还可以通过删除图像的部分内容再进行填充的方式,来重新编辑图像。

英伟达发布新,可以重建缺失像素

这种“图像修复”功能应用在照片编辑软件中,先抠掉图像中不需要的内容,同时用算法生成的真实数据来填充。

论文中写道:“以前类似的深度学习方法重点放在位于图像中心的矩形区域,并且经常依赖于复杂的后处理操作,而我们的新模型有更好的效果。它可以鲁棒地处理任何形状、位置的马赛克遮挡。 并且未来可以更平滑地处理更大的区域。”

在着手训练神经网络之前,首先生成了 55,116 个具有随机纹理和任意形状、大小的马赛克形状作为训练集。他们还生成了近 25,000 个马赛克图形作为测试数据集。 为了提高图像重建的准确度,根据马赛克形状的相对大小把这些图像进一步分成了六类。

英伟达发布新,可以重建缺失像素 为了训练生成的马赛克例子

团队通过将生成的马赛克图案覆盖在 ImageNet,Places2 和 CelebA-HQ 数据集的图像上,使用 NVIDIA Tesla V100 GPU 和经过 cuDNN 加速的 PyTorch 深度学习框架来训练神经网络。

在训练阶段,将空白或缺失部分引入上述数据集完整的训练集中,使神经网络能够学习复原缺失的像素。在测试阶段,将与训练阶段不同形状的马赛克图案应用于测试集的图像中,从而提高复原精度的范化能力。

现有的基于深度学习的图像修复方法效果受限,是因为受损像素的输出一定依赖于这些像素提供给神经网络的输入。这导致图像中产生了颜色偏差和模糊的伪信息。

为了解决这个问题,研究团队开发了一种方法,确保受损像素的输出不依赖于因这些像素产生的输入值。这个方法是使用“部分卷积”层,根据其感受野的有效性对每个输出进行重新归一化 。这种重新归一化的方法可确保输出值与每个感受野中受损像素的值相互独立无关。该模型由UNet架构实现的部分卷积功能。使用一组损失函数来训练模型,匹配VGG模型的特征损失和风格损失以产生逼真的输出。

研发人员也在论文中引用到,相同的网络框架可以来完成高分辨率图像的处理任务。

论文参考:

博客原址

英伟达发布新,可以重建缺失像素

原创文章,未经授权禁止转载。详情见 转载须知 。

英伟达发布新,可以重建缺失像素


本文地址: https://www.gpxz.com/article/47c707db6e226c7fc10e.html
全局中部横幅
全局中部横幅
小码至营官网

小码至营,已上线小码短链接、小码公众号助手。致力于为市场营销、运营推广人员打造便捷高效的各类工具,提高运营工作效率,让运营效果可衡量。

刷卷子

shuajuanzi,刷卷子,在线刷卷子,最新中小学试卷库,提供期中、期末试卷,为教师家长学生提供在线出卷组卷服务

有声小说,听书,听小说,听故事,听广播

喜马拉雅是国内领先的音频分享平台,汇集了有声小说、儿童故事、相声评书、京剧戏曲、新闻段子、广播电台等数亿条免费声音内容,听书、听小说、听故事、听儿歌、听音乐,为您找到每一天的精神食粮!

职促会

职业培训发展促进会,职促会

北京柏卓人力资源开发咨询有限公司

北京柏卓人力资本,服务涉及海外人才引进、猎头服务、移民服务、商务咨询、饭店人力资源外包等。

碧丽饮水机,碧丽开水器,碧丽直饮机,碧丽学校饮水机,碧丽工厂饮水机,广东碧丽饮水机,东莞碧丽饮水机,东莞市碧沃节能环保设备有限公司

广东碧丽饮水设备有限公司【咨询电话:188-2586-1113】创立于2001年,是一家专注于饮水,净水等设备研发和制造的厂家。公司主要经营碧丽饮水机、直饮水机、开水器、学校饮水机、工厂饮水及等,公司拥有国家专利65项,其中发明专利7项,实用新型专利30项,外观专利28项。欢迎来电咨询!

广州翻译公司,人工翻译公司,翻译公司哪家好,翻译公司联系电话,翻译公司报价,汇泉翻译官网;专业翻译公司,广州翻译公司哪家好,广州人工翻译服务价格,广州翻译公司地址

汇泉翻译官是广州汇泉翻译服务有限公司旗下服务品牌。广州市汇泉翻译服务有限公司成立于1998年6月,由一群归国留学生创建,至今翻译经验100亿字数以上,品牌总部设于广州市,北京上海深圳等地设有分公司,提供各语种文件笔译翻译及口译翻译,用于近万名翻译老师团队,人工精准翻译,根据客户需求提供定制华翻译服务解决方案

恒网科技996

恒网科技是一家集软件开发、发行的公司

郑州大淘网络科技有限公司官网

郑州大淘网络科技有限公司旗下“聚推客联盟”是一家专业流量变现服务平台,为企业/个人流量主提供多生态流量变现服务,平台不断聚合生活多场景消费福利推广资源,资源涵盖吃、喝、玩、乐、购、出行六大消费场景、通过多场景营销提升用户体验、实现高效变现。 平台为用户提供多场景营销工具、小程序、公众号、CMS,所有CPS+CPA可推广资源均提供API接口、本着开放共赢原则、全面赋能营销生态、与合作伙伴共享蓝海。

VSignals

VSignals是提高投资研究效率的一款SAAS软件,旨在更好的为价值投资者提供专业的投研服务,发现投资信号和规避风险,系统提供投研过程中的数据检索、清洗计算、可视化,研究框架的定制、浏览、交流,提示投资机会、信号、风险项的扫描与监控。

华夏生态交易中心

全力打造生态产品的定价中心、交易中心、数据中心、结算中心。建成集商品现货电子交易、仓储物流、质押融资、信息资讯于一体的综合性商品交易服务平台。

全局底部横幅