2019 图鸭科技 CLIC CVPR 图像压缩挑战赛冠军方案全解读 (图鸭科技 创始人)

文章编号:43782 资讯动态 2024-12-09 CVPR图像压缩

雷锋网 AI 科技评论按:在 CVPR 2019 CLIC 图像压缩挑战赛中,图鸭科技所提出的算法 TucodecSSIM 夺得了 MS-SSIM 和 MOS 两项指标的冠军,算法 TucodecPSNR 夺得了 PSNR 指标的冠军,算法 TucodecPSNR40dB 则夺得高码点图像压缩 Transparent Track 的冠军。以下为图鸭科技提供的技术解读。

近年来随着人工智能技术的发展,基于深度学习的图像压缩技术已取得了飞速的发展。一个典型的基于深度学习的图像压缩框架包括:自编码网络结构设计、量化、码率估计和率-失真优化等几个模块。本文将主要介绍图鸭科技在 CVPR 2019 CLIC 图像压缩挑战赛上的相关技术方案,针对于比赛所设置的低码点和高码点压缩两个赛道,我们基于变分自编码网络设计了可进行端到端优化的图像压缩方案。该方案包括一个非线性编码网络、软量化模块、一个非线性解码网络和一个熵估计模块。我们技术方案的特色之处总结如下:

1. 提出了基于全局特征分析non-lcao 注意力模块,并融合进编码网络和解码网络,以实现提升自适应码字分配性能的目的。

2. 设计了一种基于自适应聚类的软量化方法以降低量化损失。

3. 提出了能融合超先验子网络和基于 pixel CNN++的上下文模型的码率估计模块。

得益于优良的网络结构和算法设计,我们所提出的算法 TucodecSSIM 夺得了 MS-SSIM 和 MOS 两项指标的冠军,算法 TucodecPSNR 夺得了 PSNR 指标的冠军,算法 TucodecPSNR40dB 则夺得高码点图像压缩指标的冠军。接下来将具体介绍我们的算法方案:

(1) 编码网络和解码网络

我们的主干压缩自编码网络使用了如图 1 所示的非对称结构,它包括卷积、非线性单元和残差 non-local 注意力卷积等模块。值得注意的是,通过使用残差 non-local 注意力模块来对特征的全局关联性进行捕捉和建模,图像中的纹理、边界等复杂部分能得到更好的重建。在 kodak 标准数据集上的实验表明,通过在编码和解码网络结构中融合 non-local 注意力模块,能在 PSNR 指标熵带来 0.6db 的提升。

图鸭科技 CVPR 2019 CLIC 图像压缩挑战赛冠军方案全解读

图 1 编码和解码网络结构示意图

( 2) 量化

在现在的大部分方案中,取整量化 图鸭科技 CVPR 2019 CLIC 图像压缩挑战赛冠军方案全解读 是一种常用的方式。我们通过实验测评发现,这种直接将浮点数映射到整数的量化方式会极大的降低重建精度(PSNR 指标至少降低 0.5db, MS-SSIM 指标降低至少 1.5db)。为了降低量化带来的精度损失,我们设计了一种基于自适应聚类的软量化方案,具体介绍如下:

给定可学习的中心点 图鸭科技 CVPR 2019 CLIC 图像压缩挑战赛冠军方案全解读 ,可使用最近邻分配的方式来计算量化值:

图鸭科技 CVPR 2019 CLIC 图像压缩挑战赛冠军方案全解读

但式 (1) 的量化方式是不可导,因此将使用如下所定义的软分配方式进行替换,以保证在训练过程中能进行端到端的优化:

图鸭科技 CVPR 2019 CLIC 图像压缩挑战赛冠军方案全解读

在用 tensorflow 进行实现时,可以用如下的代码对参数进行量化:

图鸭科技 CVPR 2019 CLIC 图像压缩挑战赛冠军方案全解读

(3) 先验概率和码率估计

为了进行码率估计,使用拉普拉斯分布对压缩特征的分布进行表示,分布的参数包括均值 图鸭科技 CVPR 2019 CLIC 图像压缩挑战赛冠军方案全解读 和方差 图鸭科技 CVPR 2019 CLIC 图像压缩挑战赛冠军方案全解读 。为了对分布的均值和方差进行端到端的计算,设计了如图 2 所示的网络结构:

图鸭科技 CVPR 2019 CLIC 图像压缩挑战赛冠军方案全解读

图 2. 码率估计模块示意图,该模块包括超参自编码网络、上下文网络和熵参数网络三部分。

码率估计模块由三个子网络构成:超参网络 图鸭科技 CVPR 2019 CLIC 图像压缩挑战赛冠军方案全解读 ,参数为 图鸭科技 CVPR 2019 CLIC 图像压缩挑战赛冠军方案全解读 ;上下文网络 图鸭科技 CVPR 2019 CLIC 图像压缩挑战赛冠军方案全解读 ,参数为 图鸭科技 CVPR 2019 CLIC 图像压缩挑战赛冠军方案全解读 ;熵参数网络 图鸭科技 CVPR 2019 CLIC 图像压缩挑战赛冠军方案全解读 ,参数是 图鸭科技 CVPR 2019 CLIC 图像压缩挑战赛冠军方案全解读 。如图 2 所示,超参网络由超参编码网络、量化模块和超参解码网络组成。超参网络的量化特征也需要编码,使用非参的概率密度估计方式进行先验概率建模:

图鸭科技 CVPR 2019 CLIC 图像压缩挑战赛冠军方案全解读

此外我们使用了 Pixelcnn++网络结构对特征的上下文关系进行捕捉和建模;最后使用卷积模块进行熵参数网络的构建,并将超参网络的输出和上下文网络的输出进行级联来作为熵参数网络的输入来计算相应的均值和方差。主干自编码网络压缩特征的分布可以表示为:

图鸭科技 CVPR 2019 CLIC 图像压缩挑战赛冠军方案全解读

最后码率估计将由两部分组成:一部分是对主干自编码网络中压缩特征的估计码率,一部分是超参自编码网络压缩特征的估计码率:

图鸭科技 CVPR 2019 CLIC 图像压缩挑战赛冠军方案全解读

(4) 后处理

在方案 TucodecPSNR 中,我们使用了改进的 266 算法作为基础,但低码率压缩算法重建图最显著的缺点是存在伪影,并且很多纹理细节会丢失。为了改进在低码率条件下重建图的质量,我们设计一个有效地后处理模块,后处理模块的具体细节如图 3 所示。

图鸭科技 CVPR 2019 CLIC 图像压缩挑战赛冠军方案全解读

图 3 后处理算法结构示意图

(5) 实验结果

我们从 CLIC 2019 训练集和 flickr.com 上收集了 5000 张高清图片,并从中采集了百万张的图像块作为训练集。为对网络进行高效训练,我们使用 tensorflow 平台对相应网络结构进行实现。在方案 TucodecSSIM 中,进行网络训练使用的损失函数如下所示:

图鸭科技 CVPR 2019 CLIC 图像压缩挑战赛冠军方案全解读

除上述损失函数外,也结合了对抗生成网络对压缩网络进行端到端的训练。为了满足比赛的 0.15bpp 的约束要求,我们训练了 5 个模型分别对应λ=0.2/0.3/0.4/0.5/0.6,最后使用动态规划算法进行码字分配。

在方案 TucodecPSNR40db 中,进行网络训练所使用的损失函数如下所示:

图鸭科技 CVPR 2019 CLIC 图像压缩挑战赛冠军方案全解读

在模型训练完毕后,为了满足比赛的 PSNR 值不小于 40db 和 MS-SSIM 值不小于 0.993 的约束,共训练了 5 个模型,对应的 λ=4096/4800/5500/6500/8000。最后使用动态规划算法进行码字分配。在方案 TucodecPSNR 中,使用了我们改进的 H266 算法作为基础,并结合后处理网络进行性能的提升,我们给出了三个模型,分别对应 QP 36/37/38,并最后进行码字分配以满足 0.15bpp 约束的要求。所提出算法的测评指标如下表所示:

图鸭科技 CVPR 2019 CLIC 图像压缩挑战赛冠军方案全解读

版权文章,未经授权禁止转载。详情见 转载须知 。

图鸭科技 CVPR 2019 CLIC 图像压缩挑战赛冠军方案全解读

全局中部横幅
双人小游戏,双人小游戏大全,4399双人小游戏全集,4399小游戏

4399双人小游戏大全收录国内外双人类小游戏、免费双人小游戏、双人赛车小游戏、双人闯关小游戏、双人小游戏无敌版、双人打僵尸小游戏。好玩就拉朋友们一起来玩吧!

wika双金属温度计

北京博朗宁科技有限公司(www.huatuotech.com)是wika双金属温度计,威卡压力开关,柯普乐磁翻板液位计供应商,公司集科研、销售、技术咨询与服务于一体,产品应用于诸多行业中,欢迎来电洽谈

_笔记_豆果美食

豆果美食为华人美食菜谱社区,提供各种美食、菜谱大全、食谱大全、精选的家常菜谱大全,用户通过图文形式记录生活的点滴,社区每天产生数万次的笔记曝光,内容覆盖时尚、护肤、美食、旅行、影视、读书、健身等各个生活方式领域。与千万会员一同分享的人生!

建筑资质代办

成都金典企业管理咨询有限公司提供四川、重庆、贵州、云南、湖北、湖南、陕西、山西等省市建筑资质代办、办理、转让等业务,覆盖工程设计资质代办、工程监理资质代办、施工劳务资质办理、建筑资质新办、工程施工资质代办等服务,以及安全生产许可证、施工总承包资质、专业承包资质等代办业务,承接成都、贵阳、长沙、武汉、西安、太原、昆明等城市业务合作

PC下载网

PC下载网提供绿色免费软件官方下载,打造绿色免费软件下载基地,常用软件下载,来PC下载网就够了

Gaguga

Gaguga提供免费的GPU算力比价导购查询服务,比较各云厂商的算力价格,助您找到最具成本效益的云资源。我们同时提供AI导航服务让您轻松了解和使用最新的人工智能产品和技术。

恒温恒湿试验机

东莞市高天试验设备有限公司是国内专业氙灯老化试验箱,恒温恒湿试验机,UV紫外线老化试验箱,紫外线老化试验箱厂家,15年专注氙灯老化试验箱,恒温恒湿试验机,UV紫外线老化试验箱等产品.

磐石温泉网

磐石温泉网是一个专门提供温泉相关信息的网站,包括温泉百科、温泉酒店、温泉度假村、温泉旅游、温泉疗养等内容。在磐石温泉网上,可以了解到各种温泉的功效、泡温泉的注意事项、温泉度假村的推荐等信息,帮助人们更好地享受温泉疗养的乐趣。

673严选

673虚拟交易平台(https://www.673.com/)为用户购买的商品,在其本人使用期间,找回包赔,安心交易,平台保证账号交易更安全!

U盘工厂

帅兵科技有限公司为企业提供各种创意U盘礼品定制服务,我们是专业的U盘定做厂家,采用进口品牌芯片,定制U盘包括创意U盘,金属U盘,迷你U盘,旋转U盘,卡片U盘,商务U盘,礼品U盘,广告U盘等,可免费为您进行U盘的外观设计、免费提供礼品U盘的报价、材质、图片等信息。

全局底部横幅