不仅有Facebook参与 也果然被 ICML 还记得Wasserstein 接收 GAN吗 (不仅有发现美的眼睛,更有创造美的)

文章编号:45564 最新资讯 2024-12-09 ICML GAN Facebook 2017 机器学习

雷锋网 AI 科技评论按:Facebook列出了自己的9篇 ICML 2017论文,Wasserstein GAN 赫然位列其中。

还记得Wasserstein 吗?不仅有Facebook参与,也果然被 ICML 接收 | ICML 2017

ICML 2017 仍然在悉尼火热进行中,Facebook 研究院今天也发文介绍了自己的 ICML 论文。Facebook有9篇论文被 ICML 2017接收,这些论文的主题包括语言建模、优化和图像的无监督学习;另外 Facebook 还会共同参与组织Video Games and Machine Learning Workshop。

在9篇接收论文中,Facebook 自己最喜欢的是「 Wasserstein Generative Adversarial Networks 」(WGAN)这一篇,它也确实对整个机器学习界有巨大的影响力,今年也掀起过一阵 WGAN 的热潮。

Ian Goodfellow 提出的原始的 GAN 大家都非常熟悉了,利用对抗性的训练过程给生成式问题提供了很棒的解决方案,应用空间也非常广泛,从此之后基于GAN 框架做应用的论文层出不穷,但是 GAN 的训练困难、训练进程难以判断、生成样本缺乏多样性(mode collapse)等问题一直没有得到完善解决。 这篇 Facebook 和纽约大学库朗数学科学研究所的研究员们合作完成的 WGAN 论文就是众多尝试改进 GAN、解决它的问题的论文中具有里程碑意义的一篇。

WGAN 的作者们其实花了整整两篇论文才完全表达了自己的想法。在第一篇「Towards Principled Methods for Training Generative Adversarial Networks」里面推了一堆公式定理,从理论上分析了原始GAN的问题所在,从而针对性地给出了改进要点;在这第二篇「Wasserstein Generative Adversarial Networks」里面,又再从这个改进点出发推了一堆公式定理,最终给出了改进的算法实现流程。

还记得Wasserstein 吗?不仅有Facebook参与,也果然被 ICML 接收 | ICML 2017

WGAN 成功地做到了以下爆炸性的几点:

而改进后相比原始GAN的算法实现流程却只改了四点:

所以数学学得好真的很重要,正是靠着对 GAN 的原理和问题的深入分析,才能够找到针对性的方法改进问题,而且最终的呈现也这么简单。( WGAN详解参见雷锋网 AI 科技评论文章 令人拍案叫绝的Wasserstein GAN )

WGAN 论文今年1月公布后马上引起了轰动,Ian Goodfellow 也在 reddit 上和网友们展开了热烈的讨论。不过在讨论中,还是有人反映 WGAN 存在训练困难、收敛速度慢等问题,WGAN 论文一作Martin Arjovsky也在 reddit 上表示自己意识到了,然后对 WGAN 做了进一步的改进。

改进后的论文为「 Improved Training of Wasserstein GANs 」。原来的 WGAN 中采用的 Lipschitz 限制的实现方法需要把判别器参数的绝对值截断到不超过固定常数 c,问题也就来自这里,作者的本意是避免判别器给出的分值区别太大,用较小的梯度配合生成器的学习;但是判别器还是会追求尽量大的分值区别,最后就导致参数的取值总是最大值或者最小值,浪费了网络优秀的拟合能力。改进后的 WGAN-GP 中更换为了梯度惩罚gradient penalty,判别器参数就能够学到合理的参数取值,从而显著提高训练速度,解决了原始WGAN收敛缓慢的问题,在实验中还第一次成功做到了“纯粹的”的文本GAN训练。(WGAN-GP详解参见雷锋网 AI 科技评论文章 掀起热潮的Wasserstein GAN,在近段时间又有哪些研究进展? )

Facebook 此次被 ICML 2017 接收的9篇论文里的另外8篇如下,欢迎感兴趣的读者下载阅读。

雷锋网 AI 科技评论会继续带来更多精彩论文和现场演讲报道,请继续关注。

掀起热潮的Wasserstein GAN,在近段时间又有哪些研究进展?

令人拍案叫绝的Wasserstein GAN

原创文章,未经授权禁止转载。详情见 转载须知 。

还记得Wasserstein 吗?不仅有Facebook参与,也果然被 ICML 接收 | ICML 2017


本文地址: /article/67d44ee3660e68b79bb2.html
全局中部横幅
全局中部横幅
青岛淘宝代运营-天猫托管服务-京东运营公司-易亚网络

我们为您提供专业的淘宝代运营、天猫店铺代运营、京东网店运营等服务,十年行业经验专注网店代运营,合作电话:400-003-6759。

好大夫在线-看病真方便!

好大夫在线收录全国1万多家医院,93万医生,医生出停诊信息随时在线查询。28万公立医院医生注册、认证,开通自已的“网上门诊”、医生本人在线接诊,患者在家也能看专家,线上处方,线上药房,药品配送到家。家庭医生长期照护,体检报告专家解读,给你专业的分析和建议。大三甲医院的专家号,一号难求,挂号难,好大夫网站(APP)免费加号,让患者轻松看上大专家,是普通人温暖的就医绿色通道。好大夫在线,看病真方便!

河南搅拌站设备,洛阳搅拌站设备,河南配料控制系统软件,河南干混砂浆-洛阳前岭机电科技有限公司

洛阳前岭机电科技有限公司,主要经营河南搅拌站设备,洛阳搅拌站设备,河南配料控制系统软件,河南干混砂浆,混凝土搅拌站设备、控制系统软件、干混砂浆等,质量靠谱,更新系统,为您提供贴心的售前售后服务,欢迎来电咨询!

新黎明-新黎明防爆配电箱厂家_浙江新黎明照明股份有限公司【官网】

浙江新黎明照明股份有限公司是厂用、矿用:防爆箱、防爆配电箱、防爆灯生产厂家,是集研发、生产、销售、售后于一体,具体产品有:LED防爆灯、固定专注照明、移动照明,固定防爆照明及防爆电器等系列产品,产品详情、规格、价格电话联系。

抖音代运营_抖音代运营公司_短视频运营推广-佳猫科技

佳猫科技是一家专业的抖音代运营公司,集“抖音企业号代运营、抖音小店代运营、抖音帐号代运营、达人直播带货、短视频拍摄、脚本策划、方案设计”等抖音帐号运营为一体的一站式抖音代运营企业。

陶瓷网纹辊,微凹辊-昆山焦点激光制辊有限公司

昆山焦点激光制辊有限公司专业生产,翻新微凹辊,陶瓷网纹辊等产品,专业从事高精模具制造,有着经验丰富的技术支持团队,为客户提供精准的解决方案.咨询热线:0512-36858006.

华夏致富网-加盟创业致富新动态,尽在华夏致富网!

华夏致富网为创业加油,为梦想导航!广罗各行业创业资讯、创业故事、如何创业、创业加盟、加盟费、创业政策、防骗知识等信息,让创业者更快捷地了解最新动态,更多精彩创业内容尽在华夏致富网!

贵州秉亨乡村别墅

贵州秉亨建设是一家专注于贵州乡村别墅建设的公司,提供一站式的服务,包括贵州别墅设计、施工、以及贵州别墅图纸设计。我们拥有经验丰富的团队,致力于为客户打造独一无二的贵州乡村别墅。从初步规划到最后的施工,我们都能为客户提供全方位的支持和服务。无论您的需求是什么样的贵州别墅,我们都能根据您的要求进行量身定制,并提供高质量的设计和施工。选择贵州秉亨乡村别墅,让您的贵州乡村别墅梦想成为现实。

互动宽频 | CITV.CN

提供最新最快的影视资讯和在线播放

免费好玩的手游大全_手机游戏_双端手游平台_慈溪手游网

慈溪手游网专业为广大玩家提供,安卓,苹果手机游戏免费,这里汇集着海量的大型手机游戏,单人手机游戏,适合各种喜欢手机游戏的玩家,并且各类手游大全都全部是免费提供给玩家们的。

全局底部横幅