不可能三角 预训练语言模型的下一步是什么 (不可能三角谁提出的)
编译 | 王玥
近年来，大规模预训练语言模型（PLM）显著提高了各种NLP任务的性能。由BERT和GPT-2开始，自监督预训练范式和监督的微调范式取得了巨大的成功，并刷新了许多自然语言处理领域的最先进成果，如语义相似度、机器阅读理解、常识推理和文本摘要等。此外，这些PLM的规模为中等（即大小低于1B参数），令模型可以做出广泛且快速的微调与适应。
然而在许多真实的、特别是新颖的NLP场景中，由于预算或时间限制，用于有效微调的标记数据非常有限。这就刺激了零样本和少样本NLP模型的开发。
从GPT-3开始，超大规模 PLM (SL-PLM)在只给出任务描述和一些手工示例的情况下，在一般的NLP任务上表现出了优越的性能。这种能力以前在中等规模的PLM中没有观察到。然而，这些SL-PLM前所未有的超大规模在很大程度上阻碍了其广泛应用。人们甚至很难获得足够的计算资源来加载这样的模型，更不用说有效的部署和微调了。因此我们认为，目前还没有一种轻量级PLM在监督学习和一般NLP任务的零/少样本学习场景中都具有出色的性能。这导致了在实际场景中使用这些PLM时需要投入大量的额外工作。
对于PLM来说，似乎产生了中等规模，零/少样本学习能力和微调能力三者不可同时出现的困境。日前，微软认知服务研究小组研究员朱晨光（Chenguang Zhu）及 Michael Zeng在其新论文《Impossible Triangle: What’s Next for Pre-trained Language MODELs?》中将这种困境称为“不可能三角”。
据悉，朱晨光本科毕业于清华姚班，后取得斯坦福大学计算机系博士学位，毕业后进入微软公司，现为微软公司自然语言处理高级研究员。此前，AI科技评论对朱晨光博士做过一次人物专访，更多内容可看：《 朱晨光：一个从不通宵的AI研究员
PLM的不可能三角包含了在实际场景中部署模型所需的三个属性，分别是：
图为描述当前PLM障碍的不可能三角形，这个三角形描绘了三个PLM关键属性：P1，即模型规模适中，P2，即SoTA少样本学习能力，以及P3，即SoTA监督学习能力。这三个属性对应于PLM实际应用中的三个要求：P1是使用合理数量的计算资源进行高效部署；P2对应标记数据为零或很少的情况；而P3对应标记数据相对丰富的情景。
不可能三角形存在的一个原因是，在当前阶段，只有当PLM达到极大的规模并具有足够的模型容量时，才会拥有强大的少样本学习能力。虽然iPET设计了中等大小的PLM，从而实现比GPT-3更佳的少样本学习性能，但已经被后来的SL-PLM（如PaLM）超越。随着模型规模的增大，我们可以观察到零样本/少样本学习性能的不连续改善。例如，与参数为8B和62B的模型相比，参数为540B的PaLM在许多任务上的准确性都有了巨大飞跃。因此，开发出一个具有SoTA零/少样本学习性能的中等大小模型，同时又保持高超的监督学习能力，仍然是一个巨大的挑战。
虽然没有一个PLM能实现不可能三角中的所有三个特性，但许多PLM已经具备了其中的一or两个属性：
由于不可能三角的存在，学界和工业界采取了许多措施来解决实践中所使用的PLM所缺少的能力。总结如下:
以上提到的这些额外工作拖慢了训练和部署PLM模型的进程。而且对于不同下游任务或产品，需要不断进行这些工作。因此，如果一个PLM能够实现这个不可能三角形，则将大大加快模型训练和实用的过程。
虽然目前在NLP模型中存在不可能三角形，但研究者认为可以通过三阶段的方法来解决这个问题。
阶段1：开发PLM以达到三角形中的某些属性，并同时改进其他缺失的属性。例如，提高一个具有SoTA监督学习能力的中等规模模型在少样本学习上的效果；或将具有SoTA少样本学习能力的SL-PLM压缩成更小的模型，并使其具有更好的监督学习性能。
阶段2：在一个或几个NLP任务上实现具有所有三个期望属性的PLM。为了实现这一点，可以利用目标任务的特殊性。例如，在某些任务上，模型性能对于训练数据规模的依赖性较小，零/少样本学习和监督学习性能之间的差距较小，等等。
阶段3：在第一阶段和第二阶段的基础上开发在通用NLP任务上实现所有三个属性的PLM。可能使用到的方法有：i) 用更大数据预训练一个中等规模模型; ii) 更好地进行知识蒸馏; iii) 泛化数据增强方法等。一旦一个PLM在通用NLP任务中具备了不可能三角形的所有三个特性，将很大程度上改变整个NLP研究和应用的格局，促进快速、高效和高质量的模型开发和部署。
版权文章，未经授权禁止转载。详情见 转载须知 。
本文地址： https://www.gpxz.com/article/1b7ad5f3f8e07677fc21.html
山西网站排名,根据网站的综合值按照不同的山西网站进行筛选排名结果,通过筛选山西网站可以看到每个山西网站里面的网站排名优质的网站是哪些
专业的技术分析交流
福建省泉州市晋江市森工木制品有限公司是一家专业生产加工木托盘、租赁木托盘、木栈板、木架、IPPC熏蒸木托盘、出口木托盘、免熏蒸托盘、胶合板托盘、包装箱、木材、二手托盘等木制品公司
长沙市虹艺沙发有限公司是一家专业从事沙发定做、沙发生产设计、沙发销售服务的机构。主要生产餐厅沙发，西餐厅沙发订做，咖啡厅沙发订做，茶餐厅沙发订做，酒吧沙发订做，影楼沙发订做，KTV沙发订做，酒店沙发订做，客厅沙发订做翻新等一系列沙发定做服务。
南京小巨人是一家本地化的老牌网络公司，公司的口号是：做网站找小巨人，无论是网站建设还是网站设计或者是网站制作统统帮你一站式搞定。
泊头市君诺工量具有限公司品牌专利产品有：君诺®自主品牌的平直量具类，大型铸铁平台、铸铁平板、检验平台、三维柔性平台、机床铸件等。拥有一项汽车减震试验平台的专利技术，为国内外几大汽车行业所应用，量身定做、实用实惠!欢迎来电咨询洽谈！
河南粮院专注研发生产面粉加工成套设备,面粉成套设备,面粉生产加工,面粉生产设备,面粉加工机械设备价格,面粉机成套设备公司电话,河南郑州面粉机械厂,购买粮院面粉设备享受农机补贴；咨询电话:400-966-9225
专业的一站式科研服务采购平台,拥有生物试剂、实验耗材、玻璃仪器、进口/国产耗材试剂,致力于科研服务,是中国领先的科研用品采购平台。竭诚为各大院校、医院、企业提供更专业的采购服务,让您的采购无后顾之忧。
江苏果米文化，国内领先的网络棋牌类游戏开发商及游戏平台运营商
深圳市德盛电气有限公司专业从事电线电缆保护系统波纹管系列产品的生产厂家。主要产品有波纹管,尼龙波纹管,塑料波纹管,穿线波纹管,线束波纹管,PA波纹管,橙色波纹管,阻燃波纹管,包塑金属软管,软管接头,汽车线束波纹管等。产品通过各项认证：UL、CE、ROSH、IP68-10P等认证。
培育创新人才,一课三融,专创融合,课程双创,开放创新马拉松挑战赛/课赛融合,高水平专业群课程建设,出彩云,创新思维训练,创业基础与实务,创新创业教育全球联合教研室,跨专业双创综合实践,课程内容重构,教学模式创新,周前进,郭叶峰,钱乃余,明兆凤,
山东圣德西金属材料有限公司｛13406362000｝专业合金管、高压锅炉管供应企业，常年销售：15crmog高压合金管、15crmog无缝钢管、15crmog高压锅炉管、15crmog合金管等产品。
解绳子游戏作为一种流行的智力挑战，不仅考验玩家的逻辑思维和空间想象力，还能在解谜的过程中带来极大的满足感，想必大家都很期待经典的解绳子游戏排行榜2024介绍，这些游戏通常设计有各种巧妙的绳结和机关，玩家需要通过观察和思考，找到解开绳结的最佳方法，想要简单的日常放松，或是感受高难度的脑力激荡，它们都能提供相应的选择，1、，解绳子，在这款...。
烘焙类的小吃、糕点，是现如今很多消费者的心头好，纵观全国市场，烘焙品牌多到数不胜数，其中山山烘焙称得上是一个热门项目，不仅吸引了很多食客的光顾与购买，也获取到了不少智慧之选者的关注，烘焙产业前景喜人，所以很多智慧之选人士在问怎么加盟山山烘焙，什么人适合加盟，这些问题，就让小编来为大家解答一下吧！怎么加盟山山烘焙，山山烘焙创建于2003...。
知识图谱蕴含丰富的人类先验知识，具有重要的学术价值和广泛的应用前景，知识图谱推理作为知识图谱领域的核心技术，能够极大地扩展现有知识的边界，有力地辅助人类进行智能决策，2021年12月17日，中国科学技术大学教授，博士生导师，国家优青王杰在CNCC2021，知识为意，图谱为形，基于图机器学习的知识推理，专题论坛上做了，基于表示学习的知...。
区块链领域出现阿里、腾讯这种级别公司还需5年以上，万向控股副董事长、通联数据董事长肖风在接受采访中表示，肖风，公募基金领域的元老，1998年中国公募基金行业破土萌芽时，他牵头创立老五家基金公司之一的博时基金；他也是公募基金领域的传奇人物，掌舵博时基金13年，博时基金的管理规模由的20亿飙升到1100亿，不过这已是过去的，故事，2...。
第三次递交上市申请后，思派健康终于通过了聆讯，为什么说，终于，，因为它曾在2021年8月6日、2022年2月25日两次向港交所主板递交申请，但两度折戟，曲折的上市经历背后，是互联网医疗行业普遍面临的盈利困境，思派健康2019年至2022上半年累计亏损57亿；叮当健康2019至2021三年间累计亏损约28亿；智云健康2019，2021三...。
三位一体，世宏说的是一种招生方式，三位一体综合评价招生，是部分省份在全国率先启动的高校招生改革重要举措，是高考综合改革试点方案规定的四种选拔模式之一，三位，是指高中学业水平考试，以下简称高中学考，、统一高考和综合素质评价，含中学综合素质评价和高校综合素质测试，高校依据专业特色和培养目标，将考生的高中学考成绩、统一高考成绩和综合素...。
新电商玩增量抖音电商至今的玩法都还是，老电商，模式，背后的操盘手多是80后、85后、90后，如果团队操盘手有个95后那都算年轻的了，但是反观抖音的达人阵营，大KOL群体多数集中在95后，爆款内容生产者更是95后，甚至有些MCN不成文的规定，严格要求团队整体年轻化，95后是底线，主创人员还要更年轻化，很多00后已成为内容创作主力军，毕竟...。
即将在9月上映的16部大片，佳片云集，哪一部有望票房黑马？,黑马,佳片,文艺片,喜剧电影,电影票房
外地期间7月9日，白宫资讯发言人卡里娜·让，皮埃尔在简报会上称，美国总统拜登今日同意了得克萨斯州的严重劫难申明，以应答得州因飓风，贝丽尔，所遭受的侵害，飓风，贝丽尔，外地期间7月8日登陆美国南部，已形成至少8人死亡、近300万用户断电，央视记者徐德智，美国得州进入重大灾难状态，多人疑在寒潮中冻死，是的，美国媒体报道，美国南部遭遇寒潮...。
仔细的同伴会留意到，很多流星雨都是以星座命名的，那么你听说过哪些流星雨呢，有哪些以星座命名的流星雨，会用星座的常识来提醒，12星座流星雨期间表，白羊座、金牛座、双子座、巨蟹座、狮子座、处女座、天秤座、天蝎座、射手座、摩羯座、水瓶座、双鱼座有哪些以星座命名的流星雨，12星座流星雨期间表达羊座流星雨，5月22日，7月2日金牛座流星雨，10...。
FolderLock是一款专业文件加密软件，当您的电脑有一些文件夹不希望被其他人知道的时候可以下载这款软件进行文件加密工作，绝不会被人知道。
java自动生成订单编号问题? 想到一个笨办法，你可以把订单号设为主键或者唯一约束，然后你在往数据库里存的时候必然会抛出异常，你用try捕获这个异常然后把订单号+1再次循环往数据库存直到成功。这个办法虽然笨些，但也能解决问题。JAVA类库
近日，国内一家半导体晶圆厂自动化设备企业弥费科技宣布完成超亿元A轮融资，此轮融资由启明创投领投，金浦智能、红晔资本跟投，弥费科技表示，本轮融资资金将用于扩大公司运营规模、加大研发投资和拓展海外市场，公开资料显示，弥费科技成立于2014年11月，是中国上海的一家科技驱动型公司，专注于生产、研发、销售适用于半导体厂的自动物料搬运系统，AM...。
在3月18日上午的WinHEC，Windows硬件工程产业创新峰会，上，微软宣布了Windows10与腾讯、360合作，腾讯高级副总裁汤道生、360董事长周鸿祎分别上台讲述了合作内容，其中有一项细则颇值得回味，这两家公司在当时都有提到会预装自家软件在Windows10里，腾讯在WinHEC上称，将在Windows10中预装腾讯电脑管家...。
雷锋网消息，11月15日，，全球AI，智适应教育峰会，在北京嘉里中心大酒店盛大开幕，峰会由雷锋网联合乂学教育松鼠AI，以及IEEE，美国电气电子工程师学会，教育工程和自适应教育标准工作组共同举办，汇聚国内外顶尖阵容，AI智适应学习是目前产学研三界关注度最高的话题之一，此次峰会，我们邀请到了全球机器学习教父、全球AI排名第一的CMU卡耐...。
12月3日，星纪魅族与阿里云在杭州举行全面合作签约仪式，标志着双方在AI大模型和云计算领域的合作迈出了坚实一步，星纪魅族CEO苏静、阿里云智能集团资深副总裁、公共云事业部总裁刘伟光、吉利控股集团首席数字官姚滨晖等出席仪式，根据合作协议，阿里云将为星纪魅族提供包括云计算服务、基础大语言模型与多模态模型等全方位服务，双方就星纪魅族，手机，...。
发表在哈趣投影仪2022，1，417，23小明Q1和哈趣H1投影仪都是千元左右投影仪，外形都非常的小巧，并且也都内置了电池可以不插电使用，本文来给大家详细分析两款投影仪的参数，看看小明Q1和哈趣H1投影仪对比哪个好，一、光学参数对比小明Q1和哈趣H1投影仪都是采用LCD显示技术的智能投影仪，哈趣H1的亮度为350ANSI流明，小明Q1...。
