算法 我不同意 Marcus ML LeCun称梯度下降是最优雅的 (算法不准)
吵完架的Gary Marcus，又双叒叕跟人吵起来了，这次的吵架对象是Yann LeCun。
一向喜欢给深度学习泼冷水的Marcus，在今天发帖谈了谈与LeCun的「旧账」和「新仇」，并给了LeCun一个白眼：
几天前，有人在推特上发帖问: 在机器学习中，最优雅美丽的idea是什么？ 感觉数学家和物理学家经常谈论美学，但我们却很少，为什么？
于是网友们都来认真答题：多重权重更新算法（multiplicative weights update）、核技巧（kernel trick）、降维（dimension reduction）、一些凸优化方法（convex optimization）、变分推理（variational Inference）、熵和信息论等等。
大家还就机器学习研究的美学性讨论了起来。有人认为，机器学习理论家其实也在谈论优雅这个东西，尤其是那些具有理论计算机背景或者传统物理学背景的人。也有人言语犀利：之所以很少有人谈论美学，是因为机器学习重在应用，而不是像纯粹数学那样「毫无价值」。
谷歌大脑的研究员Chris Olah也来转贴评论说：
LeCun在1989年发表的那篇论文，就是通过使用梯度下降的方法训练了CNN进行图像识别，梯度下降后来成为计算机视觉研究的基础理论。
LeCun还回忆了2000年丹佛NIPS会议上的一次经历。当时一位非常杰出的ML研究人员在晚宴上问道：「我们在ML中学到的最重要的东西是什么？」LeCun回答说：「梯度下降」。当时那位研究人员脸上目瞪口呆的表情表明他对这个回答嗤之以鼻。
那么，「梯度下降」是最优雅的ML算法吗？有人赞成有人反对。
LeCun正忙着与网友进行友好交流，Marcus也来了。有讨论深度学习的地方，怎能没有我Marcus的身影？
LeCun一看：所以你的意思是要抛弃梯度下降了？？
2.未来会有什么方案可能替代基于梯度的优化？你是相信（a）无梯度优化不好？，还是（b）优化本身不好？
对此，Marcus表示很委屈：我的意思是DL需要「补充」，而不是「替换」！
Marcus还搬出发表于2018年的一篇文章“Deep Learning: A Critical Appraisal”作为证据：
但是，LeCun并不买账，他接着Marcus的话回复：
那就来翻翻旧账，针对Marcus在2018年写的那篇文章，LeCun的确曾这样评论（虾仁猪心）：
到这儿大家也能看出来，二人讨论的对象和观点是有错位的。LeCun希望如果有新的方案，仍需要封装在DL下，而Marcus的意思是新的方案需要围绕着DL进行封装，前者是关于规模的扩展，后者则是一种混合和补充。
版权文章，未经授权禁止转载。详情见 转载须知 。
本文地址： https://www.gpxz.com/article/c680f091031754f69436.html
360理财导航，为您提供理财行业资讯、理财产品、金融服务、保险产品、贷款产品、信用卡产品、银行快速入口等优质的第三方金融服务，帮助您高效、便捷地获得适合自己的金融产品信息，理财有风险，投资须谨慎！
武汉中机星粮食机械股份有限公司低温升碾米机
东莞智林科技专注于营销型网站建设8年,系知名东莞网络公司,成立于2007年,是东莞电子商务协会发起单位,首届理事单位.
蓝米云致力于为用户提供稳定快速的主机托管服务，目前提供有国内外独立服务器、香港云服务器、美国云服务器、混合拨号VPS、高防CDN,DDOS防御等多个方案，以满足不同的用户需求，中文控制面板，所有虚拟主机免费提供高防CDN，让您的网站高速、稳定运行。
北京天使儿童医院「预约挂号」是一家以多动症、抽动症等疑难儿童为主要治疗对象的儿科医院,是北京治疗多动症、抽动症、自闭症、矮小症、性早熟、脑瘫等儿科疾病好的医院,坐落于北京市朝阳区广渠路大郊亭2号楼的北京儿童医院,口碑好为人熟知.
文教内参,文教内参是最具影响力的文教内参资讯发布平台，宣传、报道文教行业的重要窗口，服务于中国文教行业，弘扬中国文化、发展中国经济、振兴中华民族。主要栏目有文化统计、专项工作、投诉举报、理论实践、文教改革、政策解读、政策法规、预警提示、民俗民间等。,全国政务信息一体化应用平台
亲亲小保,上市公司,专注行业20年，致力于通过互联网提供高效便捷的人事服务,提供人事代理、社保管理、社保托管、工资代发、个税申报、灵活用工、社会化用工、人力资源外包、工资代发、个税申报、福利保险、劳务派遣等服务
苏州瑞泰精密塑胶有限公司创立于2004年8月，投资350万，是一家专业于精密塑胶产品的创新型企业，专注于开发和生产高精的塑胶制品，立志服务于电子、设备、汽车、医疗器械等各行业。公司坐落于美丽的金鸡湖畔，地址是苏州工业园区甪直镇迎宾西路1008号16#厂房，环保节能产业园。
夏季常识网为广大网友提供各类生活常识、生活百科知识、世界之最、排行榜、生活知识常识大全,原创生活常识尽在夏季常识网！
网易数帆是网易旗下ToB企业服务品牌，定位于数智软件生产引领者，推出自研无绑定的云原生、大数据、人工智能、智能开发等产品，并通过打造开放的产业链生态体系，为客户提供数智化全流程服务，帮助客户打造专属数智竞争力。
腾讯云百科专注腾讯云CVM云服务器使用教程,包括腾讯云服务器/腾讯云数据库/腾讯云大禹BGP/云镜/腾讯云域名/腾讯云备案等帮助教程
火影忍者究极忍者风暴4专题；提供火影忍者究极忍者风暴4中文版游戏下载,火影忍者究极忍者风暴4攻略秘籍,火影忍者究极忍者风暴4游戏壁纸、截图等资料。《火影忍者：究极忍者风暴4》中将拥有第四次忍界大战，宇智波斑将会与千手柱间对战，鸣人也将于宇智波佐助展开战斗。鸣人和宇智波佐助将会获得由六道仙人传给他们的强大力量。
4月22日，有微博数码博主爆料称OPP0将于5月6日发布入门级新品，并表示，OPPO认为不上量不行了，ZNDS智能电视网在国家3C证书网站查询到疑似OPPO入门级新品电视的相关信息，OPPO广东移动通信有限公司于4月20日及4月21日分别获得了A43和A55两大型号智能电视的认证证书，不同的是，OPPO智能电视A43系列由合肥京东方...。
刚刚收到消息，经营了近10年的论坛聚合网站大旗网今天宣布正式关闭，称因业务需要，即日起终止提供内容服务，事实上在7月初的时候，大旗网就已经停止更新，但官方始终未作任何解释，大旗网关闭公告，尊敬的大旗网用户，感谢您们多年来的陪伴，因业务需要，我们即日起终止提供内容服务，给您带来的不便，敬请谅解，大旗网2015年7月来源，卢松松博客QQ，...。
交通问题与经济发展息息相关，若城市发展带来的经济收益无法抵消交通拥堵带来的经济损失，则城市难以继续发展，解决问题前需先寻得问题根源，现实中造成交通拥堵有六大原因，针对上述六大原因，大华股份智慧交通算法总工梅雨做客雷锋网，详述了大华在城市交通拥堵治理层面的实践、思考，他提到，全面的精确的交通检测是做好交通治理的前提条件，交通治理必须要深...。
如今转型升级的重点，已经来到了以业务价值为锚，运用新一代数字与智能技术驱动企业经营管理、变革与重塑业务流程场景，数智化的浪潮从未如今天般贴近千行百业的每个角落，这个概念正在逐渐地具象化，通过云原生的IT基建支持业务快速迭代，通过AI技术沉淀运营、营销经验与策略，通过数字化、可视化手段改造商业模式，提升客户使用体验，通过数字人、智能客服...。
我是一名德国人，也是一个医生，名叫沃克，我在重庆临江门外开了一个诊所，今天来了一个病人，我没有抬头，就冷冷的问，你叫什么名字，他说他叫刘大川今年24岁被土匪打伤了眼睛，我解开病人右眼的绷带，伤势很严重，我愣住了，重新审视了一遍这个病人，我问他是干什么的，他说他是邮局职员，我一针见血的说，你是一个军人！我当过军医，这么重的伤势，只...。
锤子科技认真做产品，挺好的，如果这样的公司难以立足，不是罗永浩的失败，而是社会的悲哀，在罗永浩发布锤子T3前夕，人们又将目光聚焦到这位连环创业者身上，在一些人尤其是，锤黑，看来，罗永浩不是成功的创业者，锤子亏损很厉害，并且锤子手机没有卖上量，，吹过很多牛逼，却做不好一部手机，双创，概念在政府背书之下已成为一种流行，但什么才是创业，...。
[全球时报记者丁雅栀全球时报特约记者任重]据美国，政治资讯网，报道，随着特朗普在2024年美国总统选举中获胜，拜登政府正在加紧与英特尔、三星电子等芯片公司谈判，敲定，芯片和迷信法，中的最终协定，力争在特朗普入主白宫之前坚固这项拜登任内的标记性产业政策，思考到新旧政府将在明年1月实现交接，关于仍在谈判环节中的20多家公司来说，接上去的两...。
收费电视直播平台有，央视影音、腾讯视频、优酷视频、爱奇艺、Bilibili、芒果TV等，央视影音是中国中央电视台的官网运行，提供央视各频道的直播服务，内容笼罩资讯、综艺、体育、少儿等多个畛域，用户可以在手机、平板和电脑上观看高清流利的直播节目，腾讯视频是中国最大的在线视频平台之一，除了丰盛的电影、电视剧和综艺节目外，也提供局部电视频道...。
说到悍马，大家脑海里必需会产生以下的情形，在硝烟弥漫的战场上一辆辆超宽超宏大，瞪着两只圆眼睛，全副武装，凶神恶煞，说不准顶上还战着一位操作车顶全方位机枪的战士的悍马.这是第一代的悍马H1，属于专门为美国陆军消费的一中高机动车辆，经常使用知名的HIMIV8发起机，在设计时便思考了各种各样的战场环境，甚至为了接待战场上的突发状况，经常使用...。
1，5档手动换档公式，1档，反常起步或爬坡时经常使用，车速普通为10km，h；2档，起步后减速的过挡，或经常使用低速行进，速度普通为20km，h；3档，该档在车速20，40km，h时经常使用，城市行驶时经常经常使用；4档，车速40，60km，h时经常使用此档；五档，车速在60Km，h以上时可经常使用此档；n档，空挡，停车怠速时经常使用...。
上海作为国际大城市，也是拥有丰富旅游资源的地方，但是当地很多景区都是需要花钱买门票的，所以今天小编就来为大家推荐十个不需要花钱还非常好玩的地方，这些可都是免费又值得打卡的景点，各位游客们可千万不要错过了。
外交部：中方将依法对长期插手涉藏问题的美方人员对等采取签证限制,外交部,汪文斌,签证,涉藏,内政
众所周知，每一个家庭都会有孩子，在众多由90后年轻父母构成的家庭中，他们通常更加重视对孩子的全面发展，除了传统学科教育外，艺术课程也逐渐被看重，这不仅因为艺术成绩在高考中加分，更因为艺术可以帮助孩子了解不同国家、民族、时代的文化，和各位艺术家的人生经验与艺术思维，从而开阔视野，提升艺术修养，因此，无论是想要创业还是打算加入艺术行业，选...。
2018年2月26日上午，工信部颁发新一批CDN，内容分发网络，与云服务，互联网资源协作服务，牌照，共计32家，据雷锋网了解，此次有14家企业获得CDN牌照，18家企业获得云服务牌照，截至目前，获得CDN牌照的企业已达97家、获得云服务牌照的企业已达142家，雷锋网查阅工信部文件发现，2017年工信部印发，云计算发展三年行动计划，20...。
AIoT芯片的能力近来持续提升，目前，业界大部分的AIoT芯片都采用28nm制造工艺，AI性能在1，4TOPS之间，本月初，瓴盛科技发布了一款用11nm打造的AIoT芯片，功耗大幅降低，提供2TOPS的AI性能，9月9日，地平线发布其第三代AIoT芯片旭日3M和旭日3E，不仅采用先进的16nm工艺，高端的旭日3M能够在2.5W的典型功...。
未来，不提芯片的算法公司不是一家好公司，这是坊间目前盛传的一句调侃式说法，它的由来也并非空穴来风，随着AI在安防等行业的不断渗透，其价值中心也逐渐由软件算法层转移至核心算力层，从前端摄像头提高边缘智能，到后端服务器进行大规模训练分析，部署端到端的，算力，算法，一体化解决方案，显然已经成为安防行业新的价值点所在，2015年左右，AI...。
RISC，V传入中国7年有余，该指令集开源、开放的特征吸引不少CPU爱好者从半开放状态的Arm阵营迁移，有人从中看见成为，中国Arm，的机会，基于RISC，V自研IP核心，试图通过售卖IP核心的方式推动RISC，V的商业落地；也有人从中看见更加平等参与世界级通用高性能CPU处理器生态的可能，入局就计划自研属于自己的RISC，V高性能C...。
