算法 我不同意 Marcus ML LeCun称梯度下降是最优雅的 (算法不准)

吵完架的Gary Marcus,又双叒叕跟人吵起来了,这次的吵架对象是Yann lecun

一向喜欢给深度学习泼冷水的Marcus,在今天发帖谈了谈与LeCun的「旧账」和「新仇」,并给了LeCun一个白眼:

LeCun称梯度下降是最优雅的 ML 算法,Marcus:我不同意

几天前,有人在推特上发帖问: 在机器学习中,最优雅美丽的idea是什么? 感觉数学家和物理学家经常谈论美学,但我们却很少,为什么?

LeCun称梯度下降是最优雅的 ML 算法,Marcus:我不同意

于是网友们都来认真答题:多重权重更新算法(multiplicative weights update)、核技巧(kernel trick)、降维(dimension reduction)、一些凸优化方法(convex optimization)、变分推理(variational inference)、熵和信息论等等。

LeCun称梯度下降是最优雅的 ML 算法,Marcus:我不同意

大家还就机器学习研究的美学性讨论了起来。有人认为,机器学习理论家其实也在谈论优雅这个东西,尤其是那些具有理论计算机背景或者传统物理学背景的人。也有人言语犀利:之所以很少有人谈论美学,是因为机器学习重在应用,而不是像纯粹数学那样「毫无价值」。

谷歌大脑的研究员Chris Olah也来转贴评论说:

ML的优雅是一种生物学的优雅,而非数学或物理的那种优雅。 创造了令人难以置信的结构和行为,正如进化创造了令人敬畏的自然复杂性。

LeCun称梯度下降是最优雅的 ML 算法,Marcus:我不同意

近4年来,我一直试图让我许多更注重理论的同事相信梯度下降所具有的不可思议的力量。

LeCun称梯度下降是最优雅的 ML 算法,Marcus:我不同意

LeCun在1989年发表的那篇论文,就是通过使用梯度下降的方法训练了CNN进行图像识别,梯度下降后来成为计算机视觉研究的基础理论。

LeCun还回忆了2000年丹佛NIPS会议上的一次经历。当时一位非常杰出的ML研究人员在晚宴上问道:「我们在ML中学到的最重要的东西是什么?」LeCun回答说:「梯度下降」。当时那位研究人员脸上目瞪口呆的表情表明他对这个回答嗤之以鼻。

那么,「梯度下降」是最优雅的ML算法吗?有人赞成有人反对。

毫无疑问GD是过去十年来我们在AI领域所看到的所有进步背后的核心驱动力。

LeCun称梯度下降是最优雅的 ML 算法,Marcus:我不同意

LeCun称梯度下降是最优雅的 ML 算法,Marcus:我不同意

LeCun正忙着与网友进行友好交流,Marcus也来了。有讨论深度学习的地方,怎能没有我Marcus的身影?

的确。但重要的是,令人难以置信的力量≠无穷的力量。要意识到(梯度下降)的极限,才能知道下一步要做什么来获得进步。

LeCun称梯度下降是最优雅的 ML 算法,Marcus:我不同意

LeCun一看:所以你的意思是要抛弃梯度下降了??

1.基于梯度的优化是学习的一个要素,而不是人类级人工智能的一整套组件。

2.未来会有什么方案可能替代基于梯度的优化?你是相信(a)无梯度优化不好?,还是(b)优化本身不好?

LeCun称梯度下降是最优雅的 ML 算法,Marcus:我不同意

对此,Marcus表示很委屈:我的意思是DL需要「补充」,而不是「替换」!

我感觉自己又被「稻草人谬误」攻击了,附上我的论点核心:我从未呼吁要替代深度学习/梯度下降。未来会出现的是「其他」工具,比如与SGD一起工作的符号处理操作。

LeCun称梯度下降是最优雅的 ML 算法,Marcus:我不同意

Marcus还搬出发表于2018年的一篇文章“Deep Learning: A Critical APPraisal”作为证据:

尽管有我所描述的这些问题,但我认为我们不需要抛弃深度学习。相反,我们需要重新定义它:不是一种通用的办法,而只是众多工具的一种。

LeCun称梯度下降是最优雅的 ML 算法,Marcus:我不同意

我们不需要舍弃深度学习,但我们需要找到办法来作为对它的补充,因为智能本身是多方面的。

LeCun称梯度下降是最优雅的 ML 算法,Marcus:我不同意

但是,LeCun并不买账,他接着Marcus的话回复:

所以「DL是办法的一种,但我们需要新的推理组建」?欢迎来到我的世界!

LeCun称梯度下降是最优雅的 ML 算法,Marcus:我不同意

LeCun称梯度下降是最优雅的 ML 算法,Marcus:我不同意

我给的引用是来自2018年,那篇你称之为「大部分都是错误的」的文章。我的主张自1992年以来就没变过,唯一迟到的是你「欢迎来到我的世界」这句话,而这句话其实是你对我实际立场的认可。

LeCun称梯度下降是最优雅的 ML 算法,Marcus:我不同意

那就来翻翻旧账,针对Marcus在2018年写的那篇文章,LeCun的确曾这样评论(虾仁猪心):

LeCun称梯度下降是最优雅的 ML 算法,Marcus:我不同意

到这儿大家也能看出来,二人讨论的对象和观点是有错位的。LeCun希望如果有新的方案,仍需要封装在DL下,而Marcus的意思是新的方案需要围绕着DL进行封装,前者是关于规模的扩展,后者则是一种混合和补充。

LeCun称梯度下降是最优雅的 ML 算法,Marcus:我不同意

版权文章,未经授权禁止转载。详情见 转载须知 。

LeCun称梯度下降是最优雅的 ML 算法,Marcus:我不同意


本文地址: https://www.gpxz.com/article/c680f091031754f69436.html
全局中部横幅
全局中部横幅
竞价词挖掘

星网大数据提供数千个行业精准行业词库,助力轻松扩展流量词。

深圳市炜桔鑫滤清器有限公司

深圳市炜桔鑫滤清器有限公司燃机电厂滤清器,燃煤电厂滤清器,炼油厂滤清器,天然气滤清器,滤油机滤清器,空压机滤清器

彩印之星数码印刷

彩印之星数码印刷秉承质量为本,诚信为旨,客户为尊的经营理念,提供从印前的设计→印刷→配送的一站式服务!印刷服务热线:13375572560,台历定制印刷,白卡彩盒,瓦楞包装印刷,手提袋印刷,教辅印刷厂,教材印刷厂,教科书印刷厂,提供精品画册印刷、彩印之星数码,彩印之星自主报价,彩印之星报价,彩印之星印刷报价系统

字典

新华字典在线查字,支持部首拼音笔画多种查字法。新华字典,新华字典在线查字,康熙字典,字典在线查字,字典在线查询,在线字典,在线新华字典,康熙字典在线查字,现代汉语词典,新华字典部首查字,新华词典,新华字典在线查询,新华字典电子版,新华字典拼音查字,新华字典在线查笔画

天然美食大全网

天然美食大全网_探索各式美食菜系、独特小吃和精致甜品。无论您是厨艺新手还是美食家,这里都有满足您味蕾的内容。让我们共同领略世界美食之美,享受烹饪与美食带来的乐趣!

自媒体互联网运营推广学习平台

本站给用户提供专业的自媒体互联网运营推广学习平台,其中包含自媒体推广,抖音推广,快手推广,视频号运营,产品运营营销等等内容,学习互联网运营推广就到抖媒推。

安卓app开发费用,国内智能AI软件开发公司

专业APP开发外包公司-10年APP软件开发经验,技术靠谱,超500家成功案例。app定制开发公司,专注为各行业提供手机APP开发、IOS/安卓app开发、智能AI技术app开发等APP开发一...

无锡网站建设,营销型高端网站,做网站,wordpress外贸seo推广【众鼎软件科技】

无锡众鼎网络(电话:13584197958)是本土企业,致力营销型建站,自适应响应式网站,PC+手机+微信+小程序四站合一网站及城市分站外包推广系统,官网优化,整站优化的网络公司,在营销优化型网站有多年经验,让您的网站变成赚钱的工具.自2010年成立以来在建站,seo,邮箱,全网推广上提供高性价比营销方案,降低客户的营销成本.现全线推出超低价的轻定制营销型网站,欢迎来电咨询.

伊犁速帮网络

伊犁速帮网络专注互联网!主营业务:伊犁软件开发伊犁网站建设伊犁微信开发小程序制作伊犁电子商务平台建设网络技术开发网页制作伊犁信息技术伊犁微信商城公司电话:0999-898252

古建牌楼

保定智匠园林古建筑工程有限公司是专门从事风景园林工程及古建工程施工与设计的独立法人企业。智匠园林是一家集古建牌坊、古建牌楼制作、园林景观绿化、山水景观设计与施工、园林绿化种苗生产与经营为一体的现代化、综合性园林景观企业。

五金商城

豹能五金商城,专业风机批发配送,汇集离心风机、轴流风机、防爆风机、消防风机、负压风机、冷风机、工厂电风扇、家用换气扇及配件等五金风机产品批发,价格实惠。


全局底部横幅