算法 我不同意 Marcus ML LeCun称梯度下降是最优雅的 (算法不准)
吵完架的Gary Marcus，又双叒叕跟人吵起来了，这次的吵架对象是Yann lecun。
一向喜欢给深度学习泼冷水的Marcus，在今天发帖谈了谈与LeCun的「旧账」和「新仇」，并给了LeCun一个白眼：
几天前，有人在推特上发帖问: 在机器学习中，最优雅美丽的idea是什么？ 感觉数学家和物理学家经常谈论美学，但我们却很少，为什么？
于是网友们都来认真答题：多重权重更新算法（multiplicative weights update）、核技巧（kernel trick）、降维（dimension reduction）、一些凸优化方法（convex OPTimization）、变分推理（variational inference）、熵和信息论等等。
大家还就机器学习研究的美学性讨论了起来。有人认为，机器学习理论家其实也在谈论优雅这个东西，尤其是那些具有理论计算机背景或者传统物理学背景的人。也有人言语犀利：之所以很少有人谈论美学，是因为机器学习重在应用，而不是像纯粹数学那样「毫无价值」。
谷歌大脑的研究员Chris Olah也来转贴评论说：
LeCun在1989年发表的那篇论文，就是通过使用梯度下降的方法训练了CNN进行图像识别，梯度下降后来成为计算机视觉研究的基础理论。
LeCun还回忆了2000年丹佛NIPS会议上的一次经历。当时一位非常杰出的ML研究人员在晚宴上问道：「我们在ML中学到的最重要的东西是什么？」LeCun回答说：「梯度下降」。当时那位研究人员脸上目瞪口呆的表情表明他对这个回答嗤之以鼻。
那么，「梯度下降」是最优雅的ML算法吗？有人赞成有人反对。
LeCun正忙着与网友进行友好交流，Marcus也来了。有讨论深度学习的地方，怎能没有我Marcus的身影？
LeCun一看：所以你的意思是要抛弃梯度下降了？？
2.未来会有什么方案可能替代基于梯度的优化？你是相信（a）无梯度优化不好？，还是（b）优化本身不好？
对此，Marcus表示很委屈：我的意思是DL需要「补充」，而不是「替换」！
Marcus还搬出发表于2018年的一篇文章“Deep Learning: A Critical appraisal”作为证据：
但是，LeCun并不买账，他接着Marcus的话回复：
那就来翻翻旧账，针对Marcus在2018年写的那篇文章，LeCun的确曾这样评论（虾仁猪心）：
到这儿大家也能看出来，二人讨论的对象和观点是有错位的。LeCun希望如果有新的方案，仍需要封装在DL下，而Marcus的意思是新的方案需要围绕着DL进行封装，前者是关于规模的扩展，后者则是一种混合和补充。
版权文章，未经授权禁止转载。详情见 转载须知 。
本文地址： /article/c680f091031754f69436.html
松松营销一个免费的人脉社交平台，加入营销圈做企业认证，你可以每天在后台加20个潜在客户和好友，拓展更多人脉，实现各行各业交流合作。
中关村图书大厦
七速云是国内优秀的企业级云计算服务提供商。专注云技术研发，主要面向广大开发者、政企用户、金融机构等，提供基于智能云服务器的全方位云计算解决方案，为用户提供可信赖的企业级公有云服务。
重庆五洲妇儿医院是一家专业的女性专科医院,医院是以妇产科方面为重点的综合性医疗服务机构,24小时健康热线:023-68622806，开设有妇科、产科、人流、乳腺、不孕不育等特色科室.......
Leadingproductsinclude:Screwpump,Gearpump,Discpump,CAMrotorpump,Magneticpump,Marinecentrifugalpump,Sewagepumpandothercategories.
云调查是免费在线问卷调查系统，通过丰富的调查问卷模板和强大的问卷设计逻辑，让您方便地创建在线问卷调查，从而轻松地开展在线问卷调查业务收集数据样本。
济南助听器验配网由济南声佳听力验配中心创办,电话:18595256123,是济南助听器专业验配中心,老人助听器,儿童助听器,西门子助听器专卖,西嘉助听器维修与保养服务！
汉字大全(hzdq.net)提供:新华字典在线查字，支持部首、拼音、笔画、多种查字法。
江苏省新沂市华洋金属制品有限公司成立于2008年8月,注册资金200万元,现有员工150人.
佛山爱德华门窗致力于定制高端门窗产品，提供优质、实用的产品和服务，满足客户个性化需求。
上海仪电科学仪器股份有限公司pH计_滴定仪_电导率仪_水质分析仪_ORP计_溶解氧测定仪_离子计_电极_雷磁官网_上海仪电科学仪器股份有限公司
华盛恒辉是国内知名的软件开发、软件定制开发、软件开发公司，擅长软件定制开发、应用软件开发、企业软件开发、办公自动化系统开发，立足于您的业务和信息化目标，开发符合您业务目标和商业价值的软件，专注所以专业，咨询电话：400-886-7161
德国蓝卡是实现德国永居的便捷通道，自2012年德国修订，居留法，并推出蓝卡移民法案以来，德国蓝卡已成为德国最受欢迎的移民方式之一，持德国蓝卡最快可在21个月获得德国永久居留权，申请德国蓝卡需要满足以下条件，1.拥有德国官方认可的本科及以上学历和学位证明，汉语言学、历史学、法学、中医药学除外，；2.拥有符合要求的工作合约，薪酬符合申请德...。
我觉得官方的回应并没有让家属放心，毕竟如今医疗资源有限，医生和护士没有那么多闲暇之余照看好所有的孩子，这个时候让孩子和父母在一起隔离会更合适，之前武汉疫情的时候也没有出现过这样的情况，主要是婴幼儿年龄太小，他们还没有一定的自理能力，也无法表达自己的感受，这个时候他们容易产生亲子分离的焦虑感，家长也不放心孩子被隔离的生活，如果可以医院是...。
手工DIY在当下市场也是比较受欢迎，平时很多父母都会带着小孩子到手工DIY店面，和孩子一起体验DIY的乐趣，国内有很多手工DIY店面，经营发展也都很不错，陶语手工坊也是很有市场人气的品牌，项目推出市场多年，在行业内也占据一定发展地位，那么陶语手工坊怎么样，陶语手工坊加盟多少钱呢，项目专注从事各类手工DIY体验、制作、教学、培训等等，从...。
9月13日，备受关注的，全国人民代表大会常务委员会关于实施渐进式提早法定退休年龄的选择，正式发布，渐进式提早法定退休年龄明年起实施，革新打算规则，用15年的期间，逐渐将男职工的法定退休年龄调整至63周岁，将女职工的法定退休年龄区分调整至58周岁、55周岁，打算实施保持，小步伐整、弹性实施、分类推动、统筹统筹，的准则，除此之外，调整的关...。
61岁甄子丹发福变胖，和汪诗诗的晚年生活惬意又幸福,成龙,丹哥,幸福,汪诗诗,甄子丹,杨小娟
月亮星座期间对照表如下，1、摩羯座，月亮星座期间是早晨9点到10点，2、水瓶座，月亮星座期间是早晨10点到11点，3、双鱼座，月亮星座期间是早晨11点到12点，4、白羊座，月亮星座期间是早晨12点到1点，5、金牛座，月亮星座期间是清晨1点到2点，6、双子座，月亮星座期间是清晨2点到3点，7、巨蟹座，月亮星座期间是清晨3点到4点，8、狮...。
1、不败灬哥2、生性高冷3、皆是孤独4、成王败寇5、葬暧6、冰魄7、孤傲战狼8、担负9、怼烎10、醉酒盛唐11、很丑很热门12、孤祭13、难折傲骨14、百战无畏15、暗香疏影16、杀手书生17、旧巷纸伞无端人18、幽灵少爷19、零度℉20、逍遥无痕21、池暝22、傲世猖狂23、飘香一剑24、神の话25、北霸天26、最怕患得患失帅气的便...。
太平洋汽车网，标致4008的carplay是无线的，性能有无线carplay的要素是为了在汽车中控系统里可以经常使用iPhone上的一切性能，包含播放音乐、导航、通话、浏览短信、甚至是观看在线视频，标致4008可以无线carplay，标致4008车身的长宽高区分为4510mm、1850mm、1662mm，轴距为2730mm，西风标致...。
别克英朗作为一款以国人驾驶习气和生产需求为设计指标的车型之一，自降生以来，备受关注，那么，别克英朗新车的多少钱究竟是多少呢，接上去，本文将为您片面评测别克英朗的性价比，启动解答，首先，别克英朗新车的多少钱事关泛滥生产者购车时的关键决策，据市场反应，别克英朗的车辆定价不失为一款性价比拟高的车型，依据近日市场数据显示，目前别克英朗的官网指...。
picpick中文破解版是一款功能齐全的图像编辑器和截图软件，具备强大的图像编辑和标注功能，可以满足大多数图像管理需求。
工信部网站11月2日发布通知称，重写的内容是：工业和信息化部发布了《人形机器人创新发展指导意见》。该意见提出，应开发基于人工智能大模型的人形机器人“大脑”，以增强其环境感知、行为控制和人机交互能力，并推动云端和边缘端智能的协同部署。下面是全文内容：重写的内容是：工业和信息化部关于印发《人形机器人创新发展指导意见》的通知需要重新编写的内容是：重写的内容是：工业和信息化部科技〔2023〕193号请各省、自治区、直辖市以及计划单列市、新疆生产建设兵团的工业和信息化主管部门、相关行业协会、企事业单位注意
高德正式面向全国发布“核酸地图”，旨在服务各城市核酸检测工作，方便有需要的用户查询所在地附近，或者其他任意区域的核酸采样点位分布情况，并导航前往,高德“核酸检测地图”正式上线高德地图核酸检测地图在哪
pc6官方下载为您提供QQ2022体验版,我们的QQ2022体验版登录界面变得更加扁平，QQ最新体验版新UI设计开始变得更加扁平、更加人性化，同时新加入了腾讯动漫、GIF动图等功能，赶快下载体验吧,您可以免费下载。
高德正式面向全国发布“核酸地图”，旨在服务各城市核酸检测工作，方便有需要的用户查询所在地附近，或者其他任意区域的核酸采样点位分布情况，并导航前往,高德“核酸检测地图”正式上线高德地图核酸检测地图在哪
金山毒霸青春版,金山毒霸青春版是金山官方专为年轻人打造的杀毒软件，软件拥有病毒查杀、主动防御、超级隐私清理、弹窗拦截、垃圾清理、C盘瘦身专家、电脑加速等优秀功能，欢迎下载使用,您可以免费下载。
李学用:卷不起也躺不平的时代轻越野车将达200万辆规模,越野车,奇瑞汽车,suv,城市suv,汽车
负责微顶跑腿订单帮送帮取帮买帮办任务与商家顾客推荐有奖
