研究预测 大模型 研究源 告急 2026年高质量语言数据将耗尽 (研究预测大模型的意义)
语言模型的缩放定律（Scaling law）表明，其规模大小取决于可用数据的数量，所以在过去几年，大约有一半的语言模型是通过扩大数据量来改进性能的。
当前，在参数量上的角逐似乎已进入冷静期，然而，当许多人还在讨论模型要不要继续做大的时候，模型能不能做大的问题已经出现了。
最近，一项来自 Epoch AI Research 团队的研究向我们抛出了一个残酷的事实：模型还要继续做大，数据却不够用了。
研究人员预测了 2022 年至 2100 年间可用的图像和语言数据总量，并据此估计了未来大模型训练数据集规模的增长趋势。
高质量的语言数据存量将在 2026 年耗尽，低质量的语言数据和图像数据的存量将分别在 2030 年至 2050 年、2030 年至 2060 年枯竭。
这意味着，如果数据效率没有显著提高或有新的数据源可用，那么 到 2040 年，模型的规模增长将放缓。
对数据端的建设该重视起来了。
数据存量预测
数据量的多少会限制大模型训练数据集的规模大小，所以要先对数据存量的增长趋势进行预测。
在预测未来语言和图像数据存量方面，研究团队开发了概率模型来预测数据累积率。
近年来无监督学习在基础模型领域大为成功，它允许我们使用少量标注数据和大量未标注数据、针对多项任务进行微调，无监督模型也被证明能够为未标注数据生成有价值的伪标签。所以，这里主要关注未标注数据的存量和累计率。
另外，要预测数据累积率，得先确定哪些因素会导致数据的增长。绝大多数数据是用户生成的，存储于社交媒体平台、博客、论坛中。所以决定某一时期产生多少数据的因素有三个：人口数量、互联网普及率和每个互联网用户产生的平均数据量。研究团队据此开发了一个用户生成内容累积率的模型。
训练数据集规模增长预测
在数据存量的预测基础上，研究人员进一步估测了未来大模型的训练数据集规模的增长趋势。
数据集规模（dataset size）在这里被定义为训练模型所依据的独特数据点（datapoint）的数量。不同领域对数据点的定义不同，对于语言数据而言，数据点即一个词，图像数据则定义为一张图像。
如果根据数据集规模的历史变化来预测未来的趋势，那结果会是“未来会继续延续历史”，这当然不够准确，因为实际上 可训练模型的数据量是有限制的，最大的限制之一就是计算可用性 （compute availability）。要对已有模型增加训练数据量，当然需要更多额外的计算，而计算会受到硬件供应以及购买、租用硬件的成本的制约。
所以，预测数据集规模时要将计算可用性的限制考虑进去，为此作者团队也根据计算可用性和计算优化（compute-optimal）的数据集规模做了预测。
关于模型的规模增长，有一个重要概念是 Scaling law（缩放定律），Scaling law 可用来预测给定计算预算（以 FLOP 衡量）下的模型规模和数据集规模之间的最优平衡。具体来说，最优的数据集规模与计算预算的平方根成正比。这项工作便预测了未来每年将会达到的最优训练数据集规模。
先来看 语言模型 。
语言数据的质量有好坏，互联网用户生成的语言数据质量往往低于书籍、科学论文等更专业的语言数据，在后一种数据上训练的模型性能也更好。所以，有必要区分开来，为了获得更全面的结果，作者分别对低质量语言数据和高质量语言和数据的存量进行了估测，我们来看看结果。
对低质量语言数据的当前总存量进行估测，得到存量为 6.85e13 到 7.13e16 个单词。如下图。
其中，区间上的1e14 很可能是代表对于资金雄厚的大公司如谷歌可用的语言数据存量；1e15 是对于所有科技公司可用的量；1e16 则是全球人类多年间集体产生的量。当前每年语言数据增长率在 6.41% 到 17.49% 之间。
接着，以这里的低质量语言数据存量作为数据集的规模上限来进行预测，结果发现， 语言数据集规模会先经历快速增长直到数据存量耗尽，之后增长速度会大幅放缓。 数据存量耗尽的时间节点在 2030 年之后。
图注：低质量语言数据集规模增长趋势
在高质量语言数据方面，作者估测了数字化书籍、公共 Github 存储库和科学论文中可用文本的全部数量，并假设其占高质量数据集的 30 %-50%，从而预测出当前高质量语言数据的总存量为 9e12 [4.6e12; 1.7e13] 个单词，每年增长率为 4% 到 5%。如下图。
图注：高质量语言数据存量
这时，以高质量语言数据存量作为数据集规模上限，发现了相同的数据集规模放缓模式，但 放缓会发生得更早，在 2026 年之前。
图注：高质量语言数据集规模增长趋势
再来看 视觉模型 。
对于视觉模型来说，什么样的图像数据算是高质量数据，这方面我们目前还了解不多，所以作者这里未区分高低质量。
经估测，作者发现，当今互联网上的图像总存量在 8.11e12 和 2.3e13 之间，年增长率约为 8 %。如下图。
以这一存量作为图像数据集规模的上限，根据历史趋势和计算最优来预测训练数据集规模的增长，发现与语言模型类似， 图像数据集的规模会呈指数增长，直到图像数据存量耗尽，之后增长率会下降。
图注：图像数据集规模增长趋势
作者进一步计算了每种数据集规模每年会遭遇数据存量耗尽的概率，包括两种预测，一是根据历史趋势的预测，二是根据计算可用性的预测。结果如下图。
图注：低质量语言数据存量、高质量语言数据存量和视觉数据存量每年发生耗尽的概率
数据的枯竭将会在 2030 年到 2040 年之间到来；对视觉模型而言，则是 2030 年到 2060 年之间。
高质量的语言数据几乎肯定会在 2027 年之前耗尽。
数据存量的增长速度远低于训练数据集规模的增长速度， 所以如果当下的趋势继续下去，我们的 而且，高质量的数据会更少。
或许更大的数据集能够替代较低质量的数据集，但即使如此，数据集规模增长的放缓是不可避免的，因为扩大数据集同时也会受到计算可用性的制约。
如果这项工作的预测是正确的，那么毫无疑问数据将成为做模型继续做大的主要制约因素，AI 的进展也会随着数据量的耗尽而放缓。
但大模型毕竟是数据驱动的。阿里巴巴达摩院基础视觉团队负责人赵德丽博士曾告诉 AI 科技评论， 数据侧的建设将会成为每一个做大模型工作的机构必须要考虑的问题， 大模型有多少能力，往往取决于你有什么样的数据。
举个例子，赵德丽博士在从事生成模型的研究中发现，与文生图大模型相比，做文生视频大模型要难得多，原因就在于视频数据的数量远比不上文本和图像，更不要谈数据的质量了。相应地，目前已有的文生视频模型的效果都不尽如人意。
不过，事情或许还没那么糟。
这项工作的作者承认，当前的预测结果更多是基于理想条件下的假设，即目前的数据使用和生产的趋势将保持不变，且数据效率不会有大的改进。
但是，如果未来数据效率得到提高，大模型有可能并不需要更多数据就能实现同等的性能；
如果目前看来正确的 Scaling law 被证明为错误，那也就是说在数据很少的情况下，即使数据效率没有提高，也会有其他更好的扩大模型规模的办法；
如果通过迁移学习，多模态模型被证明比单模型模型性能更好，那么也可以增加数据存量从而扩大各种数据模态存量的组合；
就数据存量本身，如果对数据进行组合使用，甚至可以无限增加数据存量；如果社会经济方面发生重大转变，也可能会产生更多新的数据种类，例如等到自动驾驶汽车大规模普及，那么道路视频的记录数据将会大大增加。
以上这些“如果”或许正是大模型的未来所在。
未经「AI科技评论」授权，严禁以任何方式在网页、论坛、社区进行转载！
未经「AI科技评论」授权，严禁以任何方式在网页、论坛、社区进行转载！
版权文章，未经授权禁止转载。详情见 转载须知 。
本文地址： https://www.gpxz.com/article/a7d602c2b469924685a6.html
子域名查询
站长工具提供中文域名在线转码功能，中文域名转码就是将中文字符串转成punycode标准编码的字符串。
蜂鸟网,专业摄影门户网站,学习摄影技巧、分享摄影图片,这里有极具个性的摄影作品,全新数码相机、镜头等摄影器材的行情评测；涉及生活摄影、旅游摄影、风光摄影等主题,是摄影爱好者展示图片作品、交流摄影技巧、分享互动的专业平台,是引领摄影行业的前沿媒体。
4399飞机小游戏大全收录国内外飞机游戏,直升机小游戏,飞机大战小游戏,街机飞机游戏,双人飞机小游戏,双人直升机小游戏,好玩就拉朋友们一起来玩吧！
万年历网为您提供最好最全的2024年万年历查询,日历查询,老黄历查询,万年日历,黄历,老皇历,农历,黄道吉日,黄历吉日,以及生肖属相运程分析,星座运程,免费占卜,黄历择吉日,时辰吉凶宜忌等。查万年历,日历,老黄历就上万年历网。
上海禾工科学仪器有限公司(www.hogon17.com)致力于皂化液在线分析仪，蚀刻液酸浓度在线分析仪，磷化液在线分析仪，氯化铝在线分析仪等科学仪器研发、生产、销售等服务业务。公司组建了跨学科产品研发团队，并聘请资深专家担任技术顾问，多次承担了国家科技部、上海市科委等科技项目开发任务。欢迎您来电洽谈。
考而思教育:英国,美国,加拿大,澳洲留学生海外课程在线辅导,作业网课定制化补习,学术论文写作指导,考试培训,Alevel课程辅导机构,为您的留学之路,保驾护航,提升GPA。
主要从事互联网数据服务,大数据风险评估等服务.公司自成立以来,坚持以人为本的原则,拥有一支高素质专业化的服务团队,保证了我们为客户提供高水准的服务.公司建立了一套科学、严谨的组织架构和专业化、规范化的风险防控体系.希望我们的服务可以真实、有效的帮助到客户,期望与客户携手共进，共创美好灿烂的明天!
太原鼎诺是一家专业生产销售仓储货架、托盘、钢平台、自动化立体库的山西货架厂。位于。咨询热线:18736081699。我们为不同厂家提供不同的仓储方案，来满足不同仓库的需求。在仓储货架生产销售安装等方面，我们有丰富的经验。希望与您建立长久的合作。
东实李尔汽车座椅有限公司公司成立于2004年3月，主要从事汽车座椅及其零部件的研发、制造、销售和服务，是国内综合实力当先的汽车座椅供应商。
会计网-练习网是国内大型的会计远程教育网站，常年从事会计职称考试培训,管理会计师,初级会计职称,中级会计职称,注册会计师,注册税务师,注册资产评估师,高级会计师,经济师,初级会计职称,中级会计职称,注册会计师,注册税务师,高级会计师,经济师,会计考试辅导
佛山欧德森门窗主要从事铝合金门窗，断桥铝门窗，平开窗，推拉窗，阳光房，纱窗等系统门窗的设计、生产、销售。现面向全国进行招商加盟，我们欢迎您的电话咨询。
HDR也叫做高动态范围成像，我们经常能看到电视产品或者投影产品声称自己的产品支持HDR，那么究竟什么是HDR，支持HDR的设备对于用户而言有哪些与众不同呢，但是市面上对于HDR的叫法也是五花八门，杜比视界、HDR10、HDR10，等等，那么到底哪些才是真正的HDR标准呢，首先我们要知道影响HDR画面效果的主要是动态范围和色彩空间，而亮...。
大江东去浪淘沙，在历史发展的洪流之中，有无数软件产品随着潮起潮落浮沉，那些昔日被视为装机必备的好软件，可能现在已经鲜为被人所用，被前浪拍死在沙滩上的软件，到底为何竟会沦落到无人问津的地步?这既取决于它们本身的产品力，也取决于历史进程，而这些软件的运营思路，则深切影响着软件是否走在正确的道路上——本来好端端的软件，一顿操作后失足掉出历史...。
科技巨头自研芯片的阵营或新增一位成员——字节跳动，消息称，知情人士透露字节跳动正在自研云端AI芯片和Arm服务器芯片，雷锋网在字节跳动领英账号的职位信息中看到，一个已经停止接受求职申请的职位为芯片后端设计工程师，主要的工作职责是参与芯片的流片，量产，封测，质量管控等工作，结合知情人士的消息和招聘信息来看，字节跳动有很大的概率在进行芯片...。
外地期间11月11日，日本参议院整体会议赞同了参议院议长尾辻秀久的辞职恳求，日本参议院议长一职由关口昌一接任，总台记者林博翰，关系报道，日本参议院同意参议院议长尾辻秀久辞职恳求，央视资讯，外地期间11月11日上午，日本参议院整体会议赞同了参议院议长尾辻秀久的辞职恳求，此前，尾辻秀久以身材不适为由向参议院提出了辞职放开，尾辻秀久202...。
原料五笔打字法自学的方法1、坚持善意态，1，要想学好五笔要先摆正心态，不要想着可以极速学好，或抱有空想，以为不需苦练就只需靠切实的学习就可以熟练把握五笔，2，学习五笔必需是要仔细苦练，没有三个月的日夜操练，想要学会五笔打字是很难的，2、先背字根这也是学五笔必定要走的一步，而且还是最关键的一步，这一步若过不了，五笔也就不不可学成，只管...。
蛇，公元1989年，公历闰年，共365天，53周，农历己巳年，蛇年，，无闰月，共354天，农历起止期间为1989年2月6日~1990年1月26日，因此，1989年出世的人属蛇，1989属蛇，1989年乃己巳蛇兽性情聪颖，宽厚善良，处事得体，侠义之心，洞察人心，善解人意，知书达理，处事善良，喜好敌对，学习才干强悍，属温文尔雅之辈，人缘好...。
10年的凌志ct200h能买，这款车的目前是最廉价的雷克萨斯，也是雷克萨斯最廉价的车型，总体还是不错的，空间也可以，能源和性能也够用，毕竟混合能源，以省油为主，还有几年几万公里的保养政策和电池保养政策还是能给你省下不少钱，总体省油，省心，牢靠性，耐用性，这几点足够，这款车比拟适宜下班族一些工薪阶级驾驶，还有女性驾驶，总体还是值得介绍的...。
起亚锐欧质量怎样样还行吧我是去年11月份买的百公里7个油左右能源和操控还说的过去怎样说也是合资品牌的车做工和保值方面都比自主品牌的好一些维护也不贵起亚锐欧怎样样，综合评分，3.8，好处，对起亚锐欧最满意的方面有以下几点，第一就是锐欧的质量杠杠的，从把锐欧开回家到如今，期间曾经4年多，里程数也跑了三万四千多公里，除了反常的维护，锐欧没坏...。
二手叉车要看车的年代，成色，发起机好坏，多少钱很难说，国产品牌2，3万的，3，4万的不必定，首先，你必需懂得叉车，判别叉车的成色和各项性能，及以后还能经常使用的年限，而后，你要求懂得二手叉车的普通开售多少钱，最后，您回收的多少钱必要求比二手叉车的开售多少钱低了2013年九成新二手合力4，5吨叉车，多少钱可以买，跪求答案，全新合力4，5...。
有哪些是可以随时收费追剧的工具，在这篇2023最火爆的追剧影视大全app清点就搜集到了很多最受欢迎的，下载之后就可以轻松的观看自己最喜欢的电视剧和电影，须要的用户快来一同下载2023最火爆的追剧影视大全app吧！heibai弹幕app下载行星视频ios版本行星视频ios版本追剧影视大全app有哪些1、heibai弹幕app下载介绍理由...。
快手作为中国最大的短视频平台之一，一直以来都非常重视对农村地区的支持和扶持。因为农村地区的用户相对较少，网络基础设施相对薄弱，用户粉丝群体较小，所以快手采取了一系列措施来增加农村地区的流量和用户数量。
《QQ音乐》是由腾讯自主研发的一款音乐播放软件，是现在的主流音乐播放器之一。QQ音乐支持多种音乐编码，视频区带有原画画质，海量的免费音乐等着用户来享受！界面简洁清爽也是很大的特点，有兴趣的快来下载吧！
免广告游戏软件有哪些呢，以往很多手游都会在游戏中加入各种各样的广告来赚取更多的收益，从而降低了许多玩家对游戏的好感度，因此，这一次，小编要给大家介绍一下无广告的游戏榜单，可以让玩家详细地了解到游戏的方方面面，而不会因为弹出的广告感到烦躁，如果你不喜欢有广告的游戏，那就来看看小编为大家推荐的这几款手游，希望可以帮你早日找到合适的游戏，1...。
雷锋网按，2018全球人工智能与机器人峰会，CCF，GAIR，在深圳召开，峰会由中国计算机学会，CCF，主办，由雷锋网、香港中文大学，深圳，承办，得到了深圳市宝安区政府的大力指导，是国内人工智能和机器人学术界、工业界及投资界三大领域的顶级交流盛会，旨在打造国内人工智能领域最具实力的跨界交流合作平台，7月1日，随着议程进入到第三天，本次...。
数字化的第一步，其实并非直接部署产品或技术，而是从组织架构、从管理上先行，由上而下地推行数字化战略，但太多管理者仍然对数字化缺乏清晰认知，没有意识到它本质是一个商业问题，近日，在由雷锋网主办的，鲸犀产业数字峰会，上，智能领域的管理专家、香港中文大学商学院副院长张晓泉教授，就以，数字化变革与敏捷性，为题，提纲挈领地分享了他对企业数字化的...。
一年前，阿里巴巴国际站首次发布AI外贸产品时，AI行业还刚刚陷入，模型还是应用，的大辩论中，在彼时的采访中，阿里国际站总裁张阔对此没有丝毫迟疑，模型不是稀缺的，真正稀缺的是好的应用，这一判断下，仅仅一年，阿里国际站的AI外贸产品就已经在全球范围内拥有了6万企业用户，发布了700多万商品，接待了2000万次海外客户；这些用AI发布的...。
代码说明，本页面的认证代码为35广告联盟专用评测代码，站长需懂简单html知识，直接复制代码粘贴到联盟网站相应页面即可使用，本代码不适用于其他广告联盟网站请勿获取！文字认证，文字链接代码认证适用所有类型的广告联盟，复制代码后放在35广告联盟网站首页底部或友情链接位置处，普通认证，普通联盟认证标志适用所有类型的广告联盟，能有效提升35广...。
