不可能三角 预训练语言模型的下一步是什么 (不可能三角谁提出的)
编译 | 王玥
近年来，大规模预训练语言模型（PLM）显著提高了各种NLP任务的性能。由BERT和GPT-2开始，自监督预训练范式和监督的微调范式取得了巨大的成功，并刷新了许多自然语言处理领域的最先进成果，如语义相似度、机器阅读理解、常识推理和文本摘要等。此外，这些PLM的规模为中等（即大小低于1B参数），令模型可以做出广泛且快速的微调与适应。
然而在许多真实的、特别是新颖的NLP场景中，由于预算或时间限制，用于有效微调的标记数据非常有限。这就刺激了零样本和少样本NLP模型的开发。
从GPT-3开始，超大规模 PLM (SL-PLM)在只给出任务描述和一些手工示例的情况下，在一般的NLP任务上表现出了优越的性能。这种能力以前在中等规模的PLM中没有观察到。然而，这些SL-PLM前所未有的超大规模在很大程度上阻碍了其广泛应用。人们甚至很难获得足够的计算资源来加载这样的模型，更不用说有效的部署和微调了。因此我们认为，目前还没有一种轻量级PLM在监督学习和一般NLP任务的零/少样本学习场景中都具有出色的性能。这导致了在实际场景中使用这些PLM时需要投入大量的额外工作。
对于PLM来说，似乎产生了中等规模，零/少样本学习能力和微调能力三者不可同时出现的困境。日前，微软认知服务研究小组研究员朱晨光（Chenguang Zhu）及 Michael Zeng在其新论文《Impossible Triangle: What’s Next for Pre-trained Language Models?》中将这种困境称为“不可能三角”。
据悉，朱晨光本科毕业于清华姚班，后取得斯坦福大学计算机系博士学位，毕业后进入微软公司，现为微软公司自然语言处理高级研究员。此前，AI科技评论对朱晨光博士做过一次人物专访，更多内容可看：《 朱晨光：一个从不通宵的AI研究员
PLM的不可能三角包含了在实际场景中部署模型所需的三个属性，分别是：
图为描述当前PLM障碍的不可能三角形，这个三角形描绘了三个PLM关键属性：P1，即模型规模适中，P2，即SoTA少样本学习能力，以及P3，即SoTA监督学习能力。这三个属性对应于PLM实际应用中的三个要求：P1是使用合理数量的计算资源进行高效部署；P2对应标记数据为零或很少的情况；而P3对应标记数据相对丰富的情景。
不可能三角形存在的一个原因是，在当前阶段，只有当PLM达到极大的规模并具有足够的模型容量时，才会拥有强大的少样本学习能力。虽然iPET设计了中等大小的PLM，从而实现比GPT-3更佳的少样本学习性能，但已经被后来的SL-PLM（如PaLM）超越。随着模型规模的增大，我们可以观察到零样本/少样本学习性能的不连续改善。例如，与参数为8B和62B的模型相比，参数为540B的PaLM在许多任务上的准确性都有了巨大飞跃。因此，开发出一个具有SoTA零/少样本学习性能的中等大小模型，同时又保持高超的监督学习能力，仍然是一个巨大的挑战。
虽然没有一个PLM能实现不可能三角中的所有三个特性，但许多PLM已经具备了其中的一or两个属性：
由于不可能三角的存在，学界和工业界采取了许多措施来解决实践中所使用的PLM所缺少的能力。总结如下:
以上提到的这些额外工作拖慢了训练和部署PLM模型的进程。而且对于不同下游任务或产品，需要不断进行这些工作。因此，如果一个PLM能够实现这个不可能三角形，则将大大加快模型训练和实用的过程。
虽然目前在NLP模型中存在不可能三角形，但研究者认为可以通过三阶段的方法来解决这个问题。
阶段1：开发PLM以达到三角形中的某些属性，并同时改进其他缺失的属性。例如，提高一个具有SoTA监督学习能力的中等规模模型在少样本学习上的效果；或将具有SoTA少样本学习能力的SL-PLM压缩成更小的模型，并使其具有更好的监督学习性能。
阶段2：在一个或几个NLP任务上实现具有所有三个期望属性的PLM。为了实现这一点，可以利用目标任务的特殊性。例如，在某些任务上，模型性能对于训练数据规模的依赖性较小，零/少样本学习和监督学习性能之间的差距较小，等等。
阶段3：在第一阶段和第二阶段的基础上开发在通用NLP任务上实现所有三个属性的PLM。可能使用到的方法有：i) 用更大数据预训练一个中等规模模型; ii) 更好地进行知识蒸馏; iii) 泛化数据增强方法等。一旦一个PLM在通用NLP任务中具备了不可能三角形的所有三个特性，将很大程度上改变整个NLP研究和应用的格局，促进快速、高效和高质量的模型开发和部署。
版权文章，未经授权禁止转载。详情见 转载须知 。
本文地址： https://www.gpxz.com/article/1b7ad5f3f8e07677fc21.html
致力于分享美好数字生活体验，囊括你闻所未闻的最丰富数码资讯，触所未触最抢鲜产品评测，随时随地感受尾巴们各式数字生活精彩图文、摄影感悟、旅行游记、爱物分享。旗下产品：精品电商平台「尾巴良品」；移动客户端「数字尾巴」，覆盖iOS、Android两大主流平台。
和平精英体验服是腾讯光子工作室群自研打造的反恐军事竞赛体验手游《和平精英》的测试服版本，让您抢先体验和平精英新版本，新模式，新玩法。好游快爆APP为您提供和平精英体验服下载，和平精英体验服最新版。
河北曲阳石材浮雕厂家，专业提供浮雕、地雕、大理石浮雕、优质浮雕造型加工，有15年加工经验厂家直销质量保证,团队开发经验丰富,欢迎新老客户来电咨询洽谈图片和报价！
果博东方公司客服电话19048888882【190-4888-8882】果博东方24小时在线客服,果博东方客服电话,果博东方公司直属客服,果博东方公司直属开户,果博东方公司客服联系方式
绿之洲草坪生产厂家(www.wzlzz.com)是专业生产：人造草坪,人工草坪,仿真草坪，幼儿园草坪,足球场人造草坪,人造环保草坪的专业草坪厂家。公司本着“诚信为本，创新为魂”的经营理念，吸收新创意，严把质量关，致力于为客户提供从设计到生产安装的整体解决方案。
赵氏农牧是一家高速成长企业。是国家大力鼓励的新技术创新朝阳行业。以公司平台化，客户利益最大化的发展思路，快速增长。公司成立20个销售部，企业年销售以同期30%的速度连年递增。 2019年公司通过以技术创新为先导的自主研创模式，深度开发，迭代创新妙靓新型多元调水剂。
永康市迈登工贸有限公司
Java商城，PC商城，CRMEB开源商城系统，新零售社交电商，小程序商城，公众号商城，免费商城系统源码，商城系统开发，开源商城系统，微商城源码，直播商城系统，多商户商城，B2B2C，私域电商，分销商城，高性能商城系统，陀螺匠OA系统
中兴通集团由七个自然人于1994年投资创建，经过30年的不懈努力，现已发展成为具有一定规模的大型企业集团。集团在北京、兰州、青岛、湖州等地拥有大量的优质物业。业务涉及：财税信息化、股权投资、轨道交通、冰沟河景区、产业地产五大经营领域。
岱山县慈善总会
飞鱼IP优质ip更换ip软件,高性价比的千万免费ip库专享独连全国线路任选,支持IOS,安卓,电脑ip切换,自动去重,极易操作,安全可靠.遍布260个城市优质节点,换IP地址动态IP更改IPIP切换IP修改,ip代理代理ipip精灵换ip,支持多协议连接,数万独拨线路保证用户独享4-8M带宽
CSC国际物流专注于中国至新加坡、澳大利亚、加拿大、新西兰、马来西亚、印尼、伊拉克的海（空）运输散货（拼柜）双清到门海运物流业务,包含：澳洲海运、阿德莱德、奥克兰、澳洲、布里斯班、多伦多、基督城、新加坡、马来西亚、墨尔本、帕斯、温哥华、悉尼海运双清。
鱼肉是一种营养价值比较高、并且蛋白质含量高、脂肪含量非常少的肉类，尤其是对于现在塑身、有健康健营养需求的消费者来说更是不错的种类，爱辣屋主要就是以鱼肉制作快餐的，它的成立给现在众多的消费者一个好的选择，接下来为您介绍，加盟什么酸菜鱼米饭有特色，爱辣屋值得合作，爱辣屋是2013年成立于河北的一个轻松开店的品牌，他希望能够给消费者带来健康...。
共享经济虽然大行其道，但是这个概念已经有被玩的意思了，比如下面这个博人眼球的共享充气娃娃，为了让自己的共享项目名称上好听一些，他趣把自家的共享充气娃娃冠以，共享女友，的称号，并在9月14日正式推出，需要用户支付8000元押金，一天的使用租金为298元，三天为698元，一周则为1298元，让人更无语的是，项目上线当天，他趣居然在北京三里...。
手机输入法我用过很多，今天来个搜狗百度讯飞手心，四大手机输入法对比评测，搜狗输入法，电脑版很牛，手机版一般般百度输入法，电脑版一般，手机版非常牛，语音输入和大量的皮肤让它可玩性非常的高我最喜欢百度输入法的apple点划输入，这个皮肤非常的顺手，数字键独立一栏，一键全选复制粘贴很方便，而且自带大量的字符，想输入什么，就在主页面，不用切换...。
如果你问，当下较火的行业是什么，那餐饮行业是毋庸置疑的了，餐饮行业又分很多小种类，有火锅，烧烤，还有小吃等等，土豆粉就是小吃中很多人都喜欢的一种，它有着滑溜的口感，有的土豆粉吃下去，那叫一口酸爽，回味无穷啊，也因此越来越多的顾客来吃土豆粉，既能改善一下千篇一律的伙食，又能尝到新味道，这也是很多加盟商选择加盟土豆粉的原因了，下面就让小编...。
有想法学习简单的python编程时，最固有的思维就是通过课程来具备基础的编程能力，至少我书架上还躺着一本落灰的，Python编程从入门到实践，，B站收藏夹里放着的，Python全套课程，视频，可是在Twitter上，Cloudflare副总裁发了个视频，展示了自己8岁的女儿如何利用CursorAI在45分钟内搭建好一个聊天机器人，看完...。
要闻提示1.车企技术不开放！用户吐槽电动汽车维修贵、维修难，换个灯4S店要1.8万2.长城魏建军叫停毫末智行港股IPO，称十年间汽车品牌已倒掉了24个，二手车变废铁3.问界M9对撞货车致伤亡，非智驾的锅，是货车逆行超车4.7万公里二手车实际里程21万，一车主获三倍赔偿5.Stellantis美国密歇根汽车工厂再裁员1100人，后续还将...。
全球加密货币币值在周四晚些时候开始上涨，似乎昨天由俄乌冲突带来的下跌颓势已经止住，昨日比特币币值上涨1.7%，至38262.21美元，以太币上涨上涨0.2%，交易价格约为2631.50美元，根据FarileadStrategies公司的KatieStockton说，昨日早些时候，比特币曾经一度下跌超过8%，至34702.18美元，是一...。
发表在综合交流大区2023，4，1319，45随着投影市场的不断发展，激光投影仪逐渐成为新的风口，更是有不少厂商推出三色激光投影仪，然而有不少人在提到三色激光投影画面会有磨砂感，这也是专家所说的三色激光散斑，那什么是三色激光散斑呢，为什么三色激光投影的画面会有磨砂感呢，下面就来详细了解一下，什么是三色激光散斑，大学时的物理课有介绍激光...。
张韶涵的友谊观，真的挺事实十几年前，唱着，隐形的翅膀，的张韶涵闯入人们的眼帘，十几年后，她对，自我，有了更多的掌控，不再纤弱，坚决而有力气，不再讨好，，无私，地做自己，本期明星，谈心社，，咱们约请到了张韶涵，和她聊了聊一个个别女孩，，公主梦，的破碎与重塑，...。
苹果中国回应“iPhone16不支持微信”；继《黑神话：悟空》后的又一部国产3A巨作已在路上|AIdaily早新闻,谷歌,智能手表,苹果中国,apple,iphone,黑神话：悟空,开发者测试版
申明，1.以上内容仅代表揭发者自己，不代表黑猫揭发立场，2.未经授权，本平台案例制止任何转载，违者将被清查法律责任，3.黑猫揭发处置揭发不收取任何费用，凡以黑猫揭发名义不要钱的均为混充、诈骗行为，请及时报警并与黑猫官网反应，揭发邮箱heimaotousu@vip.sina.com，4.请大家选用官网渠道处置生产纠纷，不要轻信第三方机构...。
中国Top服装设计学院、国内服装设计专业学校排名国内服装/专业学校-3排名东华大学每个国家的大学都提供许多专业。服装-3/哪里是留学的好地方？服装设计专业是设计服装，中国排名前十服装-3学院中国排名前十服装12344，清华大学美术学院3、大连工业大学4、北京-0学院5、浙江理工大学6、武汉纺织大学7、江南大学8、鲁迅美术学院9、Xi安工程大学10、温州大学(CentralAcademyofFineArts)，简称“中美洲”，位于北京，是中华人民共和国(PRC)教育部直属的高等艺术院校，国家“双一流”建设大
今天又是一年一度的3.15消费者权益日，谁会中枪成为人们最关注的话题，先来回顾下2010，2015年间都有哪些科技公司上榜，最后我们再顺便预测下今晚的情况，2015年中国联通利用消费者身份信息卡开，移动和铁通被指诈骗电话推手三大运营商之一的中国联通被点名，其被指偷偷利用消费者身份信息开卡，并将卡卖给卡贩子，节目中讲到，中国联通常德市分...。
微信小程序已经正式上线接近8个月，虽然没能如预想般改变世界、淘汰APP，但微信方面一直都在大力改进小程序，为未来铺路，也在为商业化做准备，据最新报道，为了进一步推广、利用小程序，微信又放出了一个，大招，——小程序竞价推广，目前，微信小程序，LBS推广，已经开放内测申请，腾讯也确认了这一点，不过指出该功能尚在内测，属于小程序自身能力的开...。
随着我国人民物质生活水平的提高和衣着打扮品位追求的提升，必然要求衣物和各类皮具、奢华品等等得到精细的洗护，然而占据干洗主要市场的传统私人干洗店还远远不能满足人们的需求，因此催生了近年来品牌干洗业的迅速崛起，和各类干洗店加盟品牌的纷纷涌现，但总的来说，我国干洗店加盟行业还比较年轻，绝大多数的干洗店加盟品牌运营历史并不长，许多只有数年甚至...。
雷锋网AI科技评论按，从7月到8月，计算机领域的国际顶尖大会一个接一个，顶尖论文，学术巨头，规模宏大的会场，层出不穷的workshop，场场火爆的演讲，各种美食与风景，各种人脉与机会，国外的看点辣么多，让国内吃瓜群众好生羡慕！——由中国计算机学会，CCF，主办的2017中国计算机大会，CNCC2017，即将重磅来袭，本次大会为国内计算...。
近日，出海圈最热话题莫过于，川普，川普上台后，着实给跨境圈儿蒙上一层阴影，细数这位政坛风云人物，上次担任总统期间，关税、针对TikTok、限制高科技等，令行业不寒而栗，然而此次上台，川普明显发生了改变，最明显的之一是针对TikTok的态度变化，数据显示，川普在TikTok上有1400万粉丝，他也承诺自己当选不后悔封TikTok，该转变...。
