不仅有Facebook参与 也果然被 ICML 还记得Wasserstein 接收 GAN吗 (不仅有发现美的眼睛,更有创造美的)

文章编号:45564 资讯动态 2024-12-09 ICML GAN Facebook 2017 机器学习

雷锋网 AI 科技评论按:Facebook列出了自己的9篇 ICML 2017论文,Wasserstein GAN 赫然位列其中。

还记得Wasserstein GAN吗?不仅有Facebook参与,也果然被 ICML  | ICML 2017

ICML 2017 仍然在悉尼火热进行中,Facebook 研究院今天也发文介绍了自己的 ICML 论文。Facebook有9篇论文被 ICML 2017接收,这些论文的主题包括语言建模、优化和图像的无监督学习;另外 Facebook 还会共同参与组织Video Games and MaCHIne Learning Workshop。

在9篇接收论文中,Facebook 自己最喜欢的是「 Wasserstein Generative Adversarial Networks 」(WGAN)这一篇,它也确实对整个机器学习界有巨大的影响力,今年也掀起过一阵 WGAN 的热潮。

Ian Goodfellow 提出的原始的 GAN 大家都非常熟悉了,利用对抗性的训练过程给生成式问题提供了很棒的解决方案,应用空间也非常广泛,从此之后基于GAN 框架做应用的论文层出不穷,但是 GAN 的训练困难、训练进程难以判断、生成样本缺乏多样性(mode collapse)等问题一直没有得到完善解决。 这篇 Facebook 和纽约大学库朗数学科学研究所的研究员们合作完成的 WGAN 论文就是众多尝试改进 GAN、解决它的问题的论文中具有里程碑意义的一篇。

WGAN 的作者们其实花了整整两篇论文才完全表达了自己的想法。在第一篇「Towards Principled Methods for Training Generative Adversarial Networks」里面推了一堆公式定理,从理论上分析了原始GAN的问题所在,从而针对性地给出了改进要点;在这第二篇「Wasserstein Generative Adversarial Networks」里面,又再从这个改进点出发推了一堆公式定理,最终给出了改进的算法实现流程

还记得Wasserstein GAN吗?不仅有Facebook参与,也果然被 ICML  | ICML 2017

WGAN 成功地做到了以下爆炸性的几点:

而改进后相比原始GAN的算法实现流程却只改了四点:

所以数学学得好真的很重要,正是靠着对 GAN 的原理和问题的深入分析,才能够找到针对性的方法改进问题,而且最终的呈现也这么简单。( WGAN详解参见雷锋网 AI 科技评论文章 令人拍案叫绝的Wasserstein GAN )

WGAN 论文今年1月公布后马上引起了轰动,Ian Goodfellow 也在 reddit 上和网友们展开了热烈的讨论。不过在讨论中,还是有人反映 WGAN 存在训练困难、收敛速度慢等问题,WGAN 论文一作Martin Arjovsky也在 reddit 上表示自己意识到了,然后对 WGAN 做了进一步的改进。

改进后的论文为「 Improved Training of Wasserstein GANs 」。原来的 WGAN 中采用的 Lipschitz 限制的实现方法需要把判别器参数的绝对值截断到不超过固定常数 c,问题也就来自这里,作者的本意是避免判别器给出的分值区别太大,用较小的梯度配合生成器的学习;但是判别器还是会追求尽量大的分值区别,最后就导致参数的取值总是最大值或者最小值,浪费了网络优秀的拟合能力。改进后的 WGAN-GP 中更换为了梯度惩罚gradient penalty,判别器参数就能够学到合理的参数取值,从而显著提高训练速度,解决了原始WGAN收敛缓慢的问题,在实验中还第一次成功做到了“纯粹的”的文本GAN训练。(WGAN-GP详解参见雷锋网 AI 科技评论文章 掀起热潮的Wasserstein GAN,在近段时间又有哪些研究进展? )

Facebook 此次被 ICML 2017 接收的9篇论文里的另外8篇如下,欢迎感兴趣的读者下载阅读。

雷锋网 AI 科技评论会继续带来更多精彩论文和现场演讲报道,请继续关注。

掀起热潮的Wasserstein GAN,在近段时间又有哪些研究进展?

令人拍案叫绝的Wasserstein GAN

原创文章,未经授权禁止转载。详情见 转载须知 。

还记得Wasserstein GAN吗?不仅有Facebook参与,也果然被 ICML  | ICML 2017


本文地址: https://www.gpxz.com/article/67d44ee3660e68b79bb2.html
全局中部横幅
全局中部横幅
台湾网站导航大全

LOL网址导航网是专业的上网导航网站,精心收录各类优质热门网站信息,同时提供天气、快递、违章等各种生活便民查询工具网址,为您提供安全便捷的上网导航服务,现已被众多网友设为上网主页,网址导航大全首选LOL网址导航.

赣州网站建设

赣州旺企家品牌营销策划有限公司是一家专注赣州网站建设、网站制作、网络推广、网站SEO优化的网络公司,为赣州南康企业提供一站式网络营销策划解决方案。

进出口网

进出口网[Chinainout.com]-是进口到中国的服务平台,是全球新型跨境电子商务服务平台。旨在为全球进出口企业搭建一个全面高效的外贸服务平台,为国内外企业提供高质量高水准的贸易相关增值服务、供求信息服务和业务推广服务等相关服务,促进企业成交,为高品质的国外企业产品服务,满足中国市场消费者的需求,推动世界经济发展。

人民网

人民网,是世界十大报纸之一《人民日报》建设的以新闻为主的大型网上信息发布平台,也是互联网上最大的中文和多语种新闻网站之一。作为国家重点新闻网站,人民网以新闻报道的权威性、及时性、多样性和评论性为特色,在网民中树立起了“权威媒体、大众网站”的形象。

江苏天成科技集团有限公司

江苏天成集团有限公司主营蛋液蛋粉,无抗鸡蛋,龙虾饲料,品牌蛋,鲈鱼饲料,可生食鸡蛋,鸡苗,螃蟹饲料,对虾饲料,泥鳅饲料等,欢迎咨询

江苏博雅教学设备有限公司

江苏博雅教学设备有限公司是一家集教学仪器、玻璃仪器、物理仪器、化学仪器、实验室设备、音体美器材等产品的生产和销售的有限责任公司。

深圳办公室装修

富邦装饰是一家以办公室装修、厂房装修、店铺装修、展厅装修、家居装修等装修服务。服务范围:宝安,西乡,福永,沙井,松岗,石岩,翻身,观澜,公明,龙华,大浪,民治,观兰,横岗,坂田,龙岗,福田,南山,罗湖,西丽等

五一网

玩游戏,上51.COM。51游戏是国内知名的网页游戏社区化平台,集游戏研发运营、真人交友、博客空间、美女主播等娱乐业务为一体,51游戏只做口碑最好的网页游戏运营和客户服务。

方舟生存进化

方舟生存进化大型模组服,0927服,0927PVE服务器,0927PVP服务器,方舟官网

矿山生态修复,山水林田湖草生态修复环保公司

西施生态科技股份有限公司是一家集荒漠矿山生态修复(由开矿导致的山、水、林、田、湖、草、沙污染综合治理及综合保护)、地质灾害治理、园林绿化设计与施工、污染治理产品、抗逆性驯化植物及珍稀苗木培育销售于一体的国家高新技术企业。

汉堡云IDC官网

汉堡云IDC提供专业稳定的上云支持,提供云服务器,虚拟主机,CDN等上云产品。


全局底部横幅