不可能三角 预训练语言模型的下一步是什么 (不可能三角谁提出的)
编译 | 王玥
近年来，大规模预训练语言模型（PLM）显著提高了各种NLP任务的性能。由BERT和gpt-2开始，自监督预训练范式和监督的微调范式取得了巨大的成功，并刷新了许多自然语言处理领域的最先进成果，如语义相似度、机器阅读理解、常识推理和文本摘要等。此外，这些PLM的规模为中等（即大小低于1B参数），令模型可以做出广泛且快速的微调与适应。
然而在许多真实的、特别是新颖的NLP场景中，由于预算或时间限制，用于有效微调的标记数据非常有限。这就刺激了零样本和少样本NLP模型的开发。
从GPT-3开始，超大规模 PLM (SL-PLM)在只给出任务描述和一些手工示例的情况下，在一般的NLP任务上表现出了优越的性能。这种能力以前在中等规模的PLM中没有观察到。然而，这些SL-PLM前所未有的超大规模在很大程度上阻碍了其广泛应用。人们甚至很难获得足够的计算资源来加载这样的模型，更不用说有效的部署和微调了。因此我们认为，目前还没有一种轻量级PLM在监督学习和一般NLP任务的零/少样本学习场景中都具有出色的性能。这导致了在实际场景中使用这些PLM时需要投入大量的额外工作。
对于PLM来说，似乎产生了中等规模，零/少样本学习能力和微调能力三者不可同时出现的困境。日前，微软认知服务研究小组研究员朱晨光（Chenguang Zhu）及 Michael Zeng在其新论文《Impossible Triangle: What’s Next for Pre-trained Language MODELs?》中将这种困境称为“不可能三角”。
据悉，朱晨光本科毕业于清华姚班，后取得斯坦福大学计算机系博士学位，毕业后进入微软公司，现为微软公司自然语言处理高级研究员。此前，AI科技评论对朱晨光博士做过一次人物专访，更多内容可看：《 朱晨光：一个从不通宵的AI研究员
PLM的不可能三角包含了在实际场景中部署模型所需的三个属性，分别是：
图为描述当前PLM障碍的不可能三角形，这个三角形描绘了三个PLM关键属性：P1，即模型规模适中，P2，即SoTA少样本学习能力，以及P3，即SoTA监督学习能力。这三个属性对应于PLM实际应用中的三个要求：P1是使用合理数量的计算资源进行高效部署；P2对应标记数据为零或很少的情况；而P3对应标记数据相对丰富的情景。
不可能三角形存在的一个原因是，在当前阶段，只有当PLM达到极大的规模并具有足够的模型容量时，才会拥有强大的少样本学习能力。虽然iPET设计了中等大小的PLM，从而实现比GPT-3更佳的少样本学习性能，但已经被后来的SL-PLM（如PaLM）超越。随着模型规模的增大，我们可以观察到零样本/少样本学习性能的不连续改善。例如，与参数为8B和62B的模型相比，参数为540B的PaLM在许多任务上的准确性都有了巨大飞跃。因此，开发出一个具有SoTA零/少样本学习性能的中等大小模型，同时又保持高超的监督学习能力，仍然是一个巨大的挑战。
虽然没有一个PLM能实现不可能三角中的所有三个特性，但许多PLM已经具备了其中的一or两个属性：
由于不可能三角的存在，学界和工业界采取了许多措施来解决实践中所使用的PLM所缺少的能力。总结如下:
以上提到的这些额外工作拖慢了训练和部署PLM模型的进程。而且对于不同下游任务或产品，需要不断进行这些工作。因此，如果一个PLM能够实现这个不可能三角形，则将大大加快模型训练和实用的过程。
虽然目前在NLP模型中存在不可能三角形，但研究者认为可以通过三阶段的方法来解决这个问题。
阶段1：开发PLM以达到三角形中的某些属性，并同时改进其他缺失的属性。例如，提高一个具有SoTA监督学习能力的中等规模模型在少样本学习上的效果；或将具有SoTA少样本学习能力的SL-PLM压缩成更小的模型，并使其具有更好的监督学习性能。
阶段2：在一个或几个NLP任务上实现具有所有三个期望属性的PLM。为了实现这一点，可以利用目标任务的特殊性。例如，在某些任务上，模型性能对于训练数据规模的依赖性较小，零/少样本学习和监督学习性能之间的差距较小，等等。
阶段3：在第一阶段和第二阶段的基础上开发在通用NLP任务上实现所有三个属性的PLM。可能使用到的方法有：i) 用更大数据预训练一个中等规模模型; ii) 更好地进行知识蒸馏; iii) 泛化数据增强方法等。一旦一个PLM在通用NLP任务中具备了不可能三角形的所有三个特性，将很大程度上改变整个NLP研究和应用的格局，促进快速、高效和高质量的模型开发和部署。
版权文章，未经授权禁止转载。详情见 转载须知 。
本文地址： /article/1b7ad5f3f8e07677fc21.html
41113.com（是要上网）网址导航站是国内最常用的网址之家。创建于2012年01月12日。本站的宗旨是方便网友们快速找到自已需要的网站，而不用去记太多复杂的网址；同时也提供了搜索引擎入口，可搜索各种资料及网站。
360理财导航，为您提供理财行业资讯、理财产品、金融服务、保险产品、贷款产品、信用卡产品、银行快速入口等优质的第三方金融服务，帮助您高效、便捷地获得适合自己的金融产品信息，理财有风险，投资须谨慎！
金锐网346.com是广州市金锐网络有限公司旗下域名交易平台，网址www.346.com。专注于优质拼音域名、数字域名、短杂域名交易。
南京雅居活动板房有限公司是一种新式活动房，采用现代家居设计理念，采用钢板、夹芯板、螺栓、铝配件、混凝土、瓷砖、玻璃、油漆等材料经过标准的工艺流程精制而成的活动房
桓宇（天津）复合材料有限公司是一家成长型科技企业，致力于纳米纤维、空气净化、功能高分子、通用塑料与窗纱系列产品等技术开发，包括窗纱、不沾灰窗纱、防撕裂窗、窗纱安装、门窗配件等产品
杭州越展传动科技有限公司是一家专注从事减速机,减速电机,减速器生产与销售的厂家,设备型号齐全,质量上乘,大量现货供应,厂家直接销售,价格实惠,采购减速机,减速电机,减速器,欢迎来电咨询:0571-57105186.
容源电子网提供：电子电路图、原理图、电子电路图网及模拟电子电路资料等，是广大电子技术爱好者最喜爱的模拟电子技术资料网站、电子电路网站,容源电子网提供技术支持
手游皇朝攻略网是手游玩家的皇家攻略平台，致力于为玩家提供新、权威的游戏攻略、秘籍和心得分享。我们汇聚了众多游戏达人的智慧和经验，为玩家打造一个全面、专业的攻略社区。在手游皇朝攻略网，您可以轻松找到各类手游的详尽攻略，掌握游戏的核心玩法和技巧，与其他玩家交流心得，共同征服手游世界。
厦门翼讯科技有限公司，领先的企业信息化服务提供商、ISP服务商、高新企业，提供全面的互联网产品，包括翼企魔方（网站建设）-自助建站系统、翼企微网（微信手机网站建设）、智能建站软件、云站群系统、网上商城等网络应用服务，以及企业邮局、域名注册、虚拟主机、云服务器等基础接入服务，十六年行业经验，为您提供专业、高效的互联网整体营销推广解决方案。
南北互联建站，一站式网站建设平台，北京网站建设领跑者,16年专注高端网站建设,网页设计联盟金牌企业,满足北京网站建设、北京企业网站建设制作、北京建站、免费网站建设、高端企业网站制作等需求，是广大用户建站之选，网站建设服务咨询：4008119815。
慕残网，慕残网站，慕残交友，慕残交流，慕残论坛，慕残文化，慕残视频，慕残小说，慕残截肢，慕残轮椅，慕残儿麻，慕残征婚，慕残照片，慕残直播
夏七言游戏网是面向手机游戏玩家的综合门户，提供有趣有态度的最新手游内容。汇聚手游社区、热门手游礼包，新游、泛娱乐、手游排行榜等，让你Get最新手游、分享你的热辣点评。
火锅一般而言，是以锅为器具，以热源烧锅，以水或汤烧开，来涮煮食物的烹调方式，同时亦可指这种烹调方式所用的锅具，其特色为边煮边吃，或是锅本身具有保温效果，吃的时候食物仍热气腾腾，汤物合一，世界各地均有类似的料理，但主要在东亚地方特别盛行，火锅现吃现烫，辣咸鲜，油而不腻，暴汗淋漓，酣畅之极，解郁除湿，适于山川之气候，今发展为鸳鸯锅，麻辣清...。
现在市面上的智能手机基本都采用了指纹解锁或密码解锁，这两种方法相对而言也比较快捷方便，那么有没有更先进的解锁方法呢?据科技资讯网站Ubergizmo5月20日报道，，新科学家，杂志上的一篇文章称，脑电波解锁有可能会成为一种新型解锁方式，因为每个人的脑电波都是独一无二的，即使他人知道你的Passthoughts，但两人所呈现出来的脑电图...。
在每个时代的变革前夜，市场对，入口，抢占激烈程度不亚于对，风口，的争夺，什么是入口，做一件事必须经过的不可替代或替代成本很高的环节，就是入口，PC时代，浏览器是一个入口，微信是一个入口，所以有了BAT帝国，腾讯基于社交，阿里基于电商，百度基于搜索，那些过往的故事蒸腾隐去，是百度最为恣意的时光，移动互联网时代，超级入口被分裂、分化，流量...。
特斯拉，这家硅谷唯一的汽车公司，近日发行了一款低价电动汽车，成为各大媒体的头条，也让，特斯拉，这个名字红得发紫，而今天，我们来看看特斯拉要到达巅峰，还面临哪些挑战，在上上周，Musk发行了特斯拉Model3，一部五座电动汽车，0，60mph，96km，h，加速时间仅需6.0秒，续航里程215英里，当然还有优雅炫酷的外观和高科技的内在，...。
什么是群体揭发群体揭发是指同一个涉诉事情有多人存在生产纠纷，一人动员群体揭发后其他人可基于你填写的内容极速介入揭发让企业看到，同时，介入群体揭发的维权者可以信息共享、勾搭分歧，从而更好的保养自己非法权力，1，动员人可以是涉诉人，也可以是作为律师、专家、媒体记者身份的维权招集者，2，企业、黑猫平台对群体揭发事情假设有一致解决意见，会在群...。
据央视资讯信息，受延续降雨影响，重庆市开州区省道S502满月至雪宝山段路线路基出现坍塌，形成交通终止，已不可反常通行，关系部门现对该路段实施双向交通管制，管制时期制止一切车辆和行人通行，恢复通行时等候定，总台记者牟亮凌敏，从开县到雪宝山怎么坐车啊，车费多少，要带写些什么呢，自己有帐篷，两天两个人要花多少钱呀，坐到白泉的车30块钱之内...。
别克威朗是一款值得购置的汽车，以下是其性能，1.别克威朗基于别克最新家族化设计言语打造，配有飞翼式镀铬进气格栅、展翼型LED智能感应大灯、展翼型LED尾灯、17吋十辐双色铝合金静止轮毂、快背式车顶等；2.别克威朗内饰传承360度环抱一体式设计理念，动感的流线配合全新的冷峻黑配色，气氛更显年轻静止；3.搭配有两片式超大全景天窗、前排多性...。
2020款远景X3和老款的区别重要体如今以下几个方面，发起机马力优化、新增胎压报警配置、铝合金轮圈、混搭座椅材质、8英寸触控屏幕和原厂互联映射系统，以下是对于远景X3的具体引见，车辆数据，远景X3是吉利旗下的一款小型SUV，车身尺寸为4005毫米，长，×1760毫米，宽，×1575毫米，高，×1480毫米，轴距，所驳回发起机，远景X...。
1.标致4081.6升发起机在市场上享有良好的声誉，以其牢靠性和耐用性著称，2.但是，任何发起机的耐用性都遭到爱护、驾驶习气和行驶条件等多种起因的影响，3.活期启动厂家介绍的爱护程序是坚持发起机功能的关键，4.正确的驾驶习气，如防止在高负荷下频繁减速或急刹车，也有助于延伸发起机的经常使用寿命，5.在顽劣路况下行驶应尽量防止，以缩小对发...。
你好，寰宇恒通奥迪属于国企！宿愿可以帮到你，祝你驾驶欢快！，汽车有疑问，问汽车巨匠，4S店专业技师，10分钟处置，国度音乐产业基地，北京唱片厂，属于哪个区企知道数据显示，国度音乐产业基地，北京唱片厂，位于北京市北京市西城区，北京市西城区天宁寺前街2号左近，，占低空积约13亩，截止目前园区内共有企业147家，包含中国唱片个人有限公司、...。
该汽车品质挺好的，荣威750是上汽荣威旗下的一款经典车型，它以其优雅的外观、奢侈的性能和杰出的性能而备受消费者喜欢，老款荣威750的品质也十分好，它驳回了先进的技术和资料，确保了车辆的安保性和牢靠性，此外，荣威750还领有宽阔温馨的外部空间和丰盛的性能，为乘客提供了极致的驾乘体验，总之，老款荣威750是一款值得信任的低劣车型，荣威75...。
常住人口70万的县，交通局下属企业要斥资3亿购买5000台无人机？负责人：机场运营需要,周涛,二战,无人机,平舆县,驻马店,河南省,交通局,通用机场,军事同盟,军事条约,无锡苏州机场,朝鲜总督府铁道局
冯振,冯振（1992年12月—2023年7月31日），男，汉族，山东济宁汶上县人，中共党员，大专学历，未婚，2009年12月参加消防救援工作，生前系北京市海淀区北安河消防救援站特勤一班班长、西小营小型站站长，一级消防士消防救援衔。 2023年7月31日，冯振因连续作战体力耗尽和水流冲击巨大，导致安全绳滑落被洪水冲走，12时47分在下游约1公里处搜到冯振，立即采取心肺复苏进行急救，并第一时间送至医院救治，经过5个多小时全力救治，18时22分...
常住人口70万的县，交通局下属企业要斥资3亿购买5000台无人机？负责人：机场运营需要,周涛,二战,无人机,平舆县,驻马店,河南省,交通局,通用机场,军事同盟,军事条约,无锡苏州机场,朝鲜总督府铁道局
LCK的中文意思为英雄联盟韩国冠军联，这可是在韩国地区最顶级的职业联赛了，因此很多韩国知名电竞队都会参与其中，文中为大家带来LCK最强打野选手排行榜，第四位的打法受众人欢迎。
t20天正建筑v7.0是一款专业强大，便捷实用的建筑设计辅助软件，旨在以先进的建筑对象概念服务于建筑施工图设计，从而更好的为用户带来更快更高的设计效率。同时，在该软件中直接为用户们提供了十分友好的主界面和简单易用的命令以供使用，这样就算你是新手也可以快速的上手使用起来，当然为了让用户可以更便捷的使用其中的功能，还支持用户使用快捷键来快速打开你
GIGABYTEK85Tool是技嘉k85键盘的驱动软件，通过技嘉K85键盘驱动用户可以对自己的K85机械键盘进行调整，从而使键盘功能完全彰显出来，有需要的可以下载使用。软件特色RGB炫彩灯光，点燃游戏激情选用TTC电竞游戏轴体104全键无冲设计，轻松驾驭各种游戏免驱便捷控制多种RGB灯光效果拥有多媒体与锁WIN等快捷键防滑橡胶脚架，激烈游戏不翻车使用方法一、下载安装软件。二、
