必读 AI专家们推荐的 Part 论文 2 (ai 专家)

文章编号:36865 资讯动态 2024-11-30 论文推荐

译者:AI研习社( 季一帆 )

双语原文链接: ‘Must-Read’ AI Papers Suggested by Experts - Pt 2


AI专家们推荐的“必读”论文 【Part 2】

我们之前写了一篇文章,向大家推荐了一些AI必读论文,引起很好的反响。现在,我们推出了第二篇文章。这次推荐的论文依然是分量十足、诚意满满,各位推荐者都认为自己推荐的论文是AI人员必读的经典之作,不知各位读者怎么看。现在,我们来看看这次入选的是哪些论文吧!

不过在这之前,我还是向您推荐 我们之前的那一篇文章 ,那篇文章也绝对值得一读。

推荐人:MILA博士研究员,Alexia Jolicoeur-Martineau

f-GAN: Training Generative Neural Samplers using Variational Divergence minimization f-GAN: 使用变分散度最小化训练生成神经采样器

Alexia提出可以将若干分类器视为估计f散度,于是,GAN可以被解释为最小化估计和散度。在论文中,Microsoft Research的研究人员详细介绍了相关工作、论文方法和实验验证。 阅读原文 获取更多信息。

Sobolev GAN

本文将WGAN-GP中的梯度范数惩罚视为约束鉴别器,从而使其unit-ball具有梯度。论文的数学论证极其复杂,但我们只要记住,关键在于可以对鉴别器添加各种各样的约束。这些限制条件可以防止鉴别器过分严格。论文中的Table1非常重要,我曾数次翻阅该论文,只为查看Table1,该表显示了可用的各种不同约束。 阅读原文 获取更多信息。

推荐人:DeepMind高级研究员,Jane Wang

老实说,我并不会觉得有哪篇论文要比其他论文更重要,因为我认为所有论文都是相互依存的,而科学是协作的成果。但还是要说,就我个人而言,还是会更加偏爱一些论文的,从这些论文中我受益匪浅,但这并不是说其他论文不好。这只意味着,我个人比较喜欢以下两篇论文。

Where Do Rewards Come From?

本文提出了一种通用的奖励计算框架,在给定适应度函数和环境分布的情况下,该框架给出了最优奖励函数的概念。实验结果表明,在此最佳奖励函数中,传统的外在和内在行为概念均有体现。 阅读原文 了解更多信息。

推荐论文2: Building Machines that learn and think like people (让机器向人类一样学习与思考)- Brenden lake et al

本文回顾了认知科学的进展,表明要想实现真正像人类一样学习和思考的机器,需要当前研究的创新性改进。具体来说,我们认为这样的机器应具有以下能力:1)建立可解释的、可理解的世界因果模型,而不仅仅是解决模式识别问题;2)在物理学和心理学层面进行学习,以支持和丰富机器所学知识;3)利用相关性以及学会学习使机器快速获取知识,并扩展到新的任务和情况。 阅读原文 了解更多信息。

推荐人:WinterLight Labs机器学习负责人,Jekaterina Novikova

推荐论文1: Attention Is All You Need (“笨蛋”,根本问题是注意力)- Ashish Vaswani et al.

在NLP科学家于2017年提出" Attention is All You Need "之后,BERT或GPT-2 / 3等大型预训练语言模型如雨后春笋般出现。这些模型令人称奇的结果不仅引起了ML / NLP研究人员的强烈关注,在公众中也引起波澜。例如,2019年,OpenAI宣称GPT-2“太过危险而不能公开”,这说法简直让人抓狂,但事实是,GPT-2确实能够生成与真实新闻无法区分的假新闻。几周前发布的GPT-3甚至被称为“自比特币以来最大的新闻”。 阅读原文 了解更多信息。

推荐论文2: Climbing towards NLU: On Meaning, Form, and Understanding in the Age of>)- Emily M. Bender et al.

AI大热,但我希望向你泼点冷水,冷静下来好好看看2020年7月ACL会议的最佳主题论文-“迈向NLU:关于数据时代的意义,形式和理解”。作者认为,尽管现有模型(例如BERT或GPT)成果丰硕,但与人类相比,很难说它们是理解了语言及其含义。作者解释道,理解是人们在交流中,根据所说话语明白对话意图时发生的。这样,如果仅仅是语言文字,没有现实生活中的交互作用,则不可能学习和理解语言。换句话说,“从一定形式中是学习不到意义的”,这就是为什么即使巨大且复杂的语言模型也只是学习意义的“映射”,而不能了解意义本身。 阅读原文 了解更多信息。

推荐人:加拿大国家银行,AI科学首席顾问,Eric Charton

推荐论文1: The Computational Limits of Deep Learning (中的计算极限)- Johnson et al

麻省理工学院和IBM Watson Lab发表的这篇论文对DL出版文献进行汇总分析,介绍了DL模型训练计算量的增加与其性能表现间的相关性。同时论文指出,随着计算能力的提高,模型性能改善呈放缓趋势。 阅读原文 了解更多信息。

推荐论文2: Survey on deep learning with class imbalance(关于类别不平衡的DL综述). Journal of Big>

该论文汇总介绍了不同DL是如何处理类别不平衡问题,该问题存在于信用建模、欺诈检测或医学检测/癌症检测等各种工业应用中。论文对不同方法进行比较分析,并着重介绍了各种方法处理类别不平衡数据的差异,为进一步的研究指明方向, 阅读原文 了解更多信息。

推荐人:NASA,机器学习主管,Anirudh Koul

也许几年后回头看,人们会发现2020年似乎是自我监督元年。自监督学习就是用非标注数据进行预训练,然后在有限标注的下游任务进行微调。仅在2020年6月之前,众多SOTA被先后打破,包括但不限于PIRL,SimCLR,InfoMin,MOCO,MOCOv2,BYOL,SwAV,SimCLRv2等众多自监督学习方法引起广泛关注。通过以下这个例子来感受一下这些方法究竟多么让人称奇吧。仅仅使用不带标签的ImageNet,然后用1%的标签进行微调,SimCLRv2模型就可以在ImageNet数据集上实现92.3%的Top-5准确性。很神奇吧,仅仅1%的标注就可以取得这样令人满意的结果。对于缺少标注数据的领域如医学、卫星等来说,自监督学习就是这些领域应用的福音。

推荐论文: A Simple Framework for Contrastive Learning of Visual Representations (一个简单的图像表示对比学习框架)- Ting Chen et al

优秀的论文不仅实验严密、结果出色,而且还能简介明了的向读者清晰的表达自己的关键思想。SimCLR就是如此,简洁明了,效果出色,这使其成为对比学习领域最值得阅读论文之一。研究表明,在特定数据集中,通过数据增强策略获得更好的图像表示,对于对比学习至关重要。希望更多研究者关注到SimCLR,在X射线、MRI、音频、卫星图等领域推动该方法进一步的研究与发展。

推荐人:摩根士丹利副总裁,NLP/ML研究员,Oana Frunza

Revealing the Dark Secrets of BERT (BERT探秘)- Olga Kovaleva et al.

BERT Transformer结构极大推进了机器对文本数据的表示和理解能力,对于NLP的研究发展具有革命性的意义,可以说这就是NLP的“ImageNet”。Transformer架构的关键在于自我注意机制,“BERT揭秘”一文便对注意力的背后原理进行了探讨。

更准确地说,这项研究量化了注意力头捕获的语言信息,包括句法和语义关系等。此外,论文还进一步研究了自我注意模式的多样性及其对各种任务的影响。

该论文的研究聚焦于深层次理解强大的transformer架构,不仅利于推动该领域的进一步发展,而且有利于研究人员做出更明智的决策。也就是说,如果知道某些精简的小型体系结构会产生相似的性能,这就意味着在架构设计和空间占用方面有了更好的选择。

阅读原文 了解更多信息。

推荐人:捷豹路虎,高级数据科学家,Tamanna Haque

推荐书籍: Deep Learning with R (R语言)- François Chollet et al.

本文从概念到实践对深度学习进行详细介绍,对于理解深度学习具有重要帮助。由于黑匣子性质,神经网络不仅训练成本高昂,而且不具可解释性。同时,最近数据保护法规的更改将推动可解释AI的研究,神经网络受到挑战。

尽管如此,在某些商业应用中,只有神经网络才能有效地完成工作,因此掌握神经网络技术依然至关重要。在我使用R语言进行一年左右的深度学习研究与实践中,本书是我的良师益友,指导我熟练地使用神经网络并完成图像识别项目。

推荐人:伯克利数据科学学院,首席ML科学家兼ML/AI负责人,Mike Tamir

推荐论文1: Right for the Wrong Reasons: Diagnosing Syntactic Heuristics in Natural Language Inference (错误的真正原因:自然语言推理中的启发式句法诊断)

我推荐的第一篇论文是MaCoy,Pavlick和Linzen的“错误的真正原因:自然语言推理中的启发式句法诊断”,论文表明transformer架构显著推动了自然语言推理等NLU任务的进步。在技术研究之外,“错误的真正原因”强调了基于当前数据集的系统缺陷,这在NLU任务中是致命漏洞。本论文将提醒AI从业者和研究人员保持清醒与理智。 阅读原文 了解更多信息。

推荐论文2: Emergence of Invariance and Disentanglement in Deep Representations (深度表示中的不变和解耦)

我推荐的第二篇论文是关于DL信息瓶颈分析的,也就是Achille和Soatto的研究成果“深度表示中的不变和解耦”, 阅读博客 了解详细信息。

推荐人:蒙特利尔AI伦理研究所,创始人,Abhishek Gupta

The State of AI Ethics Report

在蒙特利尔AI伦理研究所,我们一直在关注一些最具影响力的论文,这些论文不仅关注AI伦理的常见问题,而且基于经验科学并能指导实践。为此,我们将过去一个季度的工作整理成《 AI伦理道德报告,2020年6月 》,用于指导该领域的研究人员和从业人员在实践过程中遵守AI伦理责任。该报告的内容包括但不限于,NLP模型中对残疾人的社会偏见,YouTube反馈回路的潜在缺陷,AI治理,即在AI中实施道德规范的整体方法以及对抗性机器学习-行业观点。 阅读原文 了解更多信息。

AI系统与策略实验室,首席AI科学家,Jack Brzezinski

推荐论文:The Discipline of Machine Learning(机器学习学科建设)

~tom/pubs/MachineLearning.pdf

本文简要介绍了机器学习学科建设纲要,机器学习要解决的基本问题和与其他科学和社会的关系,以及进一步的发展方向。 阅读原文 了解更多信息。

AIRAmed,机器学习工程师,Diego Fioravanti

推荐论文: Overfitting (过拟合)

Diego认为AI人员要对“过拟合”有清晰完整的了解。本文涉及内容涵盖统计推断,回归等。 阅读原文 了解更多内容。


AI研习社是AI学术青年和AI开发者技术交流的在线社区。我们与高校、学术机构和产业界合作,通过提供学习、实战和求职服务,为AI学术青年和开发者的交流互助和职业发展打造一站式平台,致力成为中国最大的科技创新人才聚集地。

如果,你也是位热爱分享的AI爱好者。欢迎与译站一起,学习新知,分享成长。

AI专家们推荐的“必读”论文 【Part 2】

版权文章,未经授权禁止转载。详情见 转载须知 。

AI专家们推荐的“必读”论文 【Part 2】


本文地址: https://www.gpxz.com/article/c14280c2773c52db5a3a.html
全局中部横幅
全局中部横幅
QQ网站导航大全

LOL网址导航网是专业的上网导航网站,精心收录各类优质热门网站信息,同时提供天气、快递、违章等各种生活便民查询工具网址,为您提供安全便捷的上网导航服务,现已被众多网友设为上网主页,网址导航大全首选LOL网址导航.

香羞美肤

祛斑祛痘加盟品牌-香羞美肤专注解决祛痘、祛斑、祛痘印,青春痘、色斑、雀斑等皮肤问题的美容院祛痘全国连锁加盟。香羞美肤以高品质的祛斑祛痘产品、立竿见影的效果,颇受大众欢迎。咨询:18236951850。

网站建设

星辉互联创于2006年,一站式网站建设和网站建设系统。满足各类,网站建设、网站建设制作、建网站、网站搭建、网站建设订制等需求。是500,0000家用户建站首选!提供7x24小时网站建设,企业零基础在线建站,让网站建设不再困难。

抚顺罕王直接还原铁有限公司官网

抚顺罕王直接还原铁有限公司是全国领先的专业生产铸造用高纯生铁和优质球墨铸铁用生铁企业。

泉州市启胜听力语言康复中心

泉州市启胜听力语言康复中心-听力检测、助听器验配、聋儿语言康复训练、言语矫治、心理咨询、智力评估、社区康复指导泉州市启胜听力语言康复中心创始于1997年(原海西聋康中心,2018年12月更名注册),是泉州市残联主管的民办非盈利性机构。2012年经省残联评定为泉州市福乐幼儿园,主要承担全市残疾聋儿康复治疗、语言训练、康复研究和残疾预防工作指导等职能。泉州助听器,泉州专业助听器,泉州助听器专卖店,泉州西门子助听器,泉州哪里买助听器

安徽省璟智门窗有限公司【官网】璟智系统门窗

安徽省璟智门窗有限公司【官网】璟智系统门窗璟智阳光房璟智平开门安徽省璟智门窗有限公司,力求为客户提供静音、保温、健康舒适的门窗系统解决方案。拥有高品质的断桥铝系统门窗、阳光房、中式窗等独具匠心的产品。手机;19165913377、15205673278

上海金属软管

上海汉麦金属软管制造有限公司专业生产金属软管,不锈钢波纹管,金属软管,防爆金属软管,耐高压,耐高温,耐腐蚀,耐油不锈钢波纹管,特氟龙软管,衬四氟软管,蒸汽软管,不锈钢真空波纹管,并远销海外,在本行业中享有良好的口碑.

免费游戏下载

寻找免费游戏下载?我们推荐最新的单机游戏大型MOD,提供高品质游戏体验,免费下载,快来体验吧!

深圳画册设计,画册设计,宣传画册设计,深圳宣传画册设计,深圳产品画册设计

方寸设计是全国为数不多的一家12年专门从事画册设计,宣传画册设计,产品画册设计,自有大型专业产品摄影影棚0755-26722608

SUITISM【修绅】

SUITISM【修绅】专注于-成都定制西装,西服,衬衫,结婚礼服,大衣,职业装,政企西服,公司职业装定制,企业工作服定做等高级服装定制,定位于主流消费群体,一直坚持在创造高贵品质与经典设计的同时,拥有亲和平实的价咨询热线18011443596

舞阳舞钢钢板切割钢板数控切割钢板激光切割钢板等离子切割

舞钢鑫泽钢铁李勇震的博客致力于分享钢铁行情、钢铁知识、钢铁价格和钢铁库存,欢迎您访问交流。

全局底部横幅