开放代码又如何 资源集中 成本昂贵 大规模语言模型的民主化越来越难 (开放原代码许可)
5月初，Meta发布了一个可以执行多个不同任务的大型语言模型：Open pretraining Transformer (OPT-175B)。在过去几年里，大型语言模型（large language model，LLM）已经成为人工智能研究的热点之一。
在OpenAI发布包含1750亿参数的深度神经网络GPT-3之后，就引发了一场LLM的「军备竞赛」，OPT-175B是这场竞赛的一个最新参与者。GPT-3已经表明，LLM可以无需额外训练就能执行许多任务。后来，微软将GPT-3集成到它的几个产品中，不仅展示了LLM在科学研究上的前景，也展示了LLM在商业上的应用潜力。
而OPT-175B的独一无二性在于Meta对「开放」的承诺， 正如这个模型的名字（OpenXX）所暗示的那样。Meta已经向公众提供了这个模型，并且公布了训练和发展过程中的大量细节。在Meta AI博客上发表的一篇文章中，Meta将OPT-175B的发布描述为「大规模语言模型的民主化访问」（Democratizing access to large-scale language models）。
Meta这种朝着透明化方向的发展是值得称赞的。 然而，在大型语言模型的激烈竞争下，民主化已经变得难以实现。
1750亿参数的OPT
Meta发布的OPT-175B有一些关键特征。它包括了预训练的模型以及需要训练和使用LLM的代码。训练神经网络比运行神经网络要消耗更多的计算资源，所以，对于没有计算资源来训练模型的组织来说，预训练模型特别有用。通过减少训练大型神经网络所需的计算资源，它还会有助于避免造成巨大的碳足迹。
与GPT-3一样，OPT也有不同的规模，参数从1.25亿到1750亿不等，参数越多的模型学习能力越强。目前，所有300亿参数及以下的版本都可以直接下载。完整的1750亿参数版本的模型将提供给部分研究人员和机构，只需要填写一张申请表。
除了模型，Meta还发布了一个完整的日志，提供了大型语言模型开发和训练过程的详细技术时间表。通常来说，经发表论文只包含关于最终版本模型的信息。Meta表示，该日志提供了一些有价值的信息，包括「用于训练OPT-175B的计算量，以及当底层基础设施或训练过程本身在规模上变得不稳定时所需的人力开销」。
Meta：GPT-3不够透明
Meta在其博客文章中还表示，大型语言模型大多可以通过「付费API」来访问，对LLM的访问进行约束「限制了研究人员去理解这些大型语言模型如何工作以及为什么能工作，阻碍进一步提高模型的鲁棒性和减少模型的偏见和有害性等已知问题」。
这是对OpenAI的一种抨击，OpenAI发布GPT-3只是提供了一种黑箱API服务，而不是将其模型的权重和源代码公开。OpenAI宣称没有公开GPT-3的原因之一，是为了控制有害应用程序的滥用和开发。
而Meta认为，通过将模型提供给更广泛的受众，会有利于研究和预防它们可能造成的任何伤害。
Meta这样描述他们所做的工作：
大型语言模型的成本
然而，需要注意的是，大型语言模型的 「透明和开放」并不等同于「民主化」。 训练、配置和运行大型语言模型的 而且未来可能还会继续增加。
根据Meta的博客文章，研究人员已经成功地大大降低了训练大型语言模型的成本。他们表示，该模型的碳足迹已减少到GPT-3的七分之一。之前也有专家估计，GPT-3的培训成本高达2760万美元。
这说明，OPT-175B的培训成本仍然高达数百万美元。幸运的是，预训练的模型将避免训练模型的需要，并且Meta表示，将提供「只用16块NVIDIA V100 gpu」来进行训练和部署完整模型的代码库。这相当于一台Nvidia DGX-2，成本约为40万美元，对于资金紧张的研究实验室或单个的研究人员来说，这仍不是一笔小数目。根据一篇提供了更多关于OPT-175B细节的论文显示，Meta使用了992块 80GB A100 gpu训练了自己的模型，比V100明显更快。
Meta AI的日志进一步证实，训练大型语言模型是一项非常复杂的任务。OPT-175B的开发时间表上，充斥了诸如服务器崩溃、硬件故障和其他需要高级技术人员来解决的并发症。研究人员还不得不多次重启训练过程，调整超参数，改变损失函数。所有这些产生的额外费用，都是小型实验室所无法承担的。
民主化的阻碍：权力集中在少数公司手中
语言模型如OPT和GPT都是基于transformer架构。transformer的关键特性之一，是它能够并行和大规模地处理大型顺序数据(如文本)。
近年来，研究人员已经证明，通过在transformer架构中添加更多的层和参数，可以提高语言任务的表现。一些研究人员认为，达到更高的智力水平只是一个规模问题。因此，资金充裕的研究实验室，如Meta AI、DeepMind （alphabet旗下)和OpenAI（微软赞助)，都在致力于创建越来越大的神经网络，比如DeepMind最新推出了多模态AI系统Gato。
去年，微软和英伟达创建了一个价值5300亿参数的语言模型，名为Megatron-Turing (MT-NLG)。上个月，谷歌引入了语言模型 Pathways Language Model (PaLM)，这是一个包含了5400亿参数的大规模语言模型。更有传言称，OpenAI将在未来几个月发布GPT-4。
然而，更大的神经网络也需要更多的财政和技术资源。虽然更大的语言模型会有更多新花哨（和新的失败），但它们也会不可避免地把 权力集中在少数富有的公司手中， 较小的研究实验室和独立的研究人员在大型语言模型的研究上更加艰难。
在商业方面，大型科技公司将拥有更大的优势。运行大型语言模型是非常昂贵和具有挑战性的。像谷歌和微软这样的公司都有专门的服务器和处理器，所以他们能大规模运行这些模型并盈利。对于较小的公司来说，搞出一个自家版本的LLM（如GPT-3）的开销太大了。正如大多数企业都使用云托管服务而不是建立自己的服务器和数据中心一样，随着大型语言模型变得越来越流行，像GPT-3 API这样的开箱即用系统将会更具有吸引力。
而这反过来又会进一步地将AI集中在大型科技公司手中。更多的人工智能研究实验室将不得不与大型科技公司合作，以获得研究资金。这将赋予大型科技公司更大的权力来决定AI未来的研究方向（与他们的经济利益相一致的方向）。那些没有短期投资回报的研究领域，可能就会成为这其中的代价。
一个底线是，当我们庆祝Meta为LLM带来透明度的时候不要忘记，大型语言模型的本质仍是不民主的，它们只是更多地对宣传它们的公司有利。
版权文章，未经授权禁止转载。详情见 转载须知 。
农历查有着精准的农历日历表,在这里你可以看到农历日历表2024全年的详细日历内容,包括着农历日历2024日历表，农历日历，农历查询，农历，阴历，日历2024全年农历表等,大家可以实时关注农历查,农历查将为大家展示更为全面的信息。
河南泉象实业有限公司是一家集研发·生产·销售为一体的综合性企业。公司由上海泉象实业有限公司乔迁组建而成，于2017年由上海映智实业有限公司和平煤神马尼龙投资管理有限公司共同出资成立，注册资本6000万元。
明华金滢玻璃有限公司
北京中正司法鉴定所是由邓亚军博士创办，经北京市司法局核准的（司法鉴定许可证号：110013139）专业司法亲子鉴定机构，具有法医物证（DNA鉴定）鉴定、法医临床鉴定，法医病理鉴定资质，亲子鉴定意见在全国范围内具有法律效力，同时可提供国际DNA鉴定服务及技术培训
诗词学习网为您提供超过10万首诗词，拥有古诗词大全,唐诗三百首,现代诗歌大全,诗词名句等栏目，是最好的诗词学习平台！
昆山品虹环保科技专业生产各种曝气器、曝气软管、可提升曝气器、曝气盘、污水处理曝气设备及环保配件.
上海荟仁机电设备有限公司上海荟仁机电设备有限公司专业从事进口机电设备、仪器仪表等疑难备品备件的销售，以中欧、中美、中日机电贸易为主。
探索信息科技前沿与教育领域的深度融合，聚焦高新技术在教学中的最新应用，推动数字化学习与智能教育的发展，为教育信息化与科技创新教育提供深度见解与实践案例。
东莞市利嘉化学股份有限公司自1994年创办以来，一直致力于自行研发、生产高分子工业接着剂产品， 并以代理世界工业接着剂之领跑品牌---LOCTITE。产品有环氧树脂接着剂、工业结构粘合剂、高端瞬间接 着剂、UV光固胶等，广泛用于新型复合材料、汽车、五金、电子、轻工等多个工业领域。
在线厂房网是中西部地区免费厂房信息发布平台，业务涉及厂房出租、出售，个人厂房出租、出售，钢结构厂房出租、出售，仓库出售以及协助环评、排污许可办理，同时汇聚大量的工业园厂房出租、出售信息，其中包括工业园出租、出售以及厂房装修、升级改造等,为业主提供免费发布求租、招租、转让信息提供方便，信息量覆盖30个省市地区，真正实现一指观天下！
恒生移动开发平台，为金融应用创新而生。精品金融场景组件，轻松集成到金融APP中。金融开放API，轻松参与金融APP开发，从开发到交付，一站式终端服务支撑。
西子湖畔是一家运用数字化提供服务的互联网企业，专注于新媒体营销、本地生活服务。我们的服务理念是“连接美好生活”，通过广告媒介、活动策划、品牌宣传和社群互动等模式为客户提供新媒体营销解决方案，通过便民利民、满足需求、提高效率等维度为用户提供本地生活服务。我们致力于为美好生活做出贡献，发挥社会化媒体的力量，以用户为本，助力客户成功，促进城市发展。
微信页面那些密密麻麻的第三方服务，除了火车票机票和美团外卖，其他的你又用过多少呢?很多人都想将这些功能变成自定义，先用自己添加不想用就删除，今天小编终于找到了一个可以自定义第三方服务的方法，今天就分享给大家，首先先来看一些默认状态和删除第三方服务后的对比，大家是不是也觉得页面清晰的很多，这样每次自己需要找相关的应用也更加容易找到，具体...。
去年5月15日三大运营商公布了提速降费方案，至今已满一年，执行情况如何呢?三大运营商均表示，超额完成预定目标，不过中新网了解到，很多用户对提速降费感知并不明显，有专家分析指出，虽然流量单价下降了，但是用户流量使用量上去了，所以感知不明显，提速降费完成情况如何?——三大运营商称超额完成目标自去年5月15日三大运营商公布提速降费方案至今已...。
随着远程控制软件被越来越多人熟知，广泛应用于企业或家庭的远程办公、远程监控，而随着手机快速普及，选一款简单易用，还能在手机上进行远程控制的软件显得更酷，这里给大家介绍一下二款老牌PC远程控制软件在手机上的应用情况，1、向日葵远程控制软件软件简介，向日葵是由Oray花生壳自主研发的一款免费远程控制软件，是主要面向企业和大众的远程桌面连接...。
北汽电动车，一家新时代下的国有控股高科技上市公司和绿色智慧出行一体化解决方案提供商，致力于为用户创造电动化、智能化、个性化的驾乘体验，构建汽车与能源、互联网、AI人工智能产业融合发展的新生态、新格局，打造面向未来的绿色智能科技服务平台，至于北汽电动车怎么代理，一起去了解一下，自2009年成立以来，北汽新能源以电动化为突破口，以科技为核...。
随着交通堵塞问题的加剧和节能环保理念的逐渐盛行，电动车这一环保型的代步工具逐渐受到了越来越多消费者的追捧，众多电动车品牌也全力抓住良机，纷纷连锁加盟的方式拓展业务，那么，不少人肯定会问，加盟折叠电动车好吗，下面就让小编来解开大家心中的疑惑吧！加盟折叠电动车好吗，折叠电动车以其价廉、便捷、环保的功能优势，受到了中低实现目标人士的青睐，电...。
今日，e成科技宣布完成8000万美元C轮融资，此轮融资由光速美国基金，LSVP，和阳光保险领投，老股东光速中国基金、凯辉创新基金和SchroderAdveq跟投，光源资本担任本轮融资独家财务顾问，e成科技创始人兼CEO周友鸿表示，本轮融资将主要用于加速人力资本数字化平台建设，产品及技术研发投入，人才引进及加速市场化等方面，目前，e成科...。
3月18日，萤石智能家居2022春季发布会在线上召开，本次发布会以，智家新生，萤领未来，为主题，会上发布了无线电池摄像机、智能门铃、视频锁、玲珑面板、Wi，Fi6全屋覆盖方案等产品，以及新一代智能中控屏SP4，并通过面向未来的EZVIZConnect技术、AIbyEZVIZ方案，升级萤石智能家居解决方案，旨在为消费者打造智能家居环境，...。
大热的造车赛道，苹果这只狼，终究小步快跑赶来了，近日，援引彭博社一位接近苹果的消息人士透露，苹果预计在2025年推出首款汽车，且以全自动驾驶为目标，摒弃半自动驾驶假设，MarkGurman为彭博社记者，专注苹果，科技商业报道彭博社报道这一消息后，苹果公司股价上涨2.85%至每股157.87美元，公司市值也一夜飙升4600亿元人民币，市...。
北京期间7月27日，第33届夏季奥林匹克静止会揭幕式在法国巴黎举办，揭幕式上，乒乓球静止员马龙、花招游泳静止员冯雨高擎五星红旗，中国体育代表团静止员乘坐的游船在塞纳河巡游，...。
西风起亚悦达k3须要13万一辆，参数1在外观方面，家族式虎啸设计理念为新一代K3前脸注入全新的视觉感触，中网加以锯齿状的镀铬饰条启动装点新车还运用相似跑车格调的发起机盖双棱线，全体外型凌厉依据此前的申报消息，西风悦达起亚k3碰撞测试45星，性能1外观方面新车和海外版的，福瑞迪，基本坚持分歧，并依据国情启动了从新提升调账，全新的虎踞式的...。
全球时报综合报道，在匈牙利接任欧盟轮值主席国的次日，匈牙利总理欧尔班2日突然到访乌克兰首都基辅，并与乌克兰总统泽连斯基会面，这是俄乌迸发抵触以来，欧尔班初次访问乌克兰，多家外媒示意，欧尔班此前不时批判西方国度对乌克兰的军事声援，此次访问可谓，稀有，匈牙利政府发言人佐尔坦·科瓦奇2日经过社交媒体平台X发表，欧尔班已于当日早上达到乌克...。
知道太多反而没兴趣你是星跌入梦栩栩如生签名伤感签名吃不腻的都带腥忘不掉的都来劲没了你也挺好只是自由中带点孤独一年四季收割甜甜的你合适就是和你在一起不用刻意找话题很自然的没脾气不是一种人只会让你郁闷郁闷郁闷好歌推荐全世界失眠你是星跌入梦栩栩如生喜欢就是喜欢哪怕你变成什么想从你的窗子里看月亮夜阑卧听风吹雨铁马是你冰河也是你...
智能手机、平板电脑、超大屏电视、头显设备……显示屏正在集成更多功能，衍生出更多形态，应用到更多场景，在众多新型显示技术中，牢牢占据主流地位的LCD和稳步上升的OLED均已成为行业的，中流砥柱，，但面向显示无处不在的未来世界，唯有创新应用，才能在激烈的竞争中充分释放各自的价值，撬动更大的市场，LCD和OLED已成为行业，中流砥柱，作为信...。
我们的美容养生行业发展速度是很快的，也是收获经济收银很高的行业，群芳泽中医养生作为一个在市场中非常有知名度的品牌，将传统的中医养生保健理论和现代化营养学说相结合，利用内调外养的形式进行体质的调理和保健工作，为消费者的身体健康带来了真正的福音，另外做过行业内的带头品牌，该项目总部依靠自己的技术实力和团队力量建立起更完善的服务推广机制，为...。
发表在新手入门2018，7，214，28无屏电视是智能电视吗，这个问题困扰这大部分用户，无屏电视也是最近一两年发展起来的新名词，想必很多人都以为无屏电视就是智能了吧，那么无屏电视是智能电视吗，接下来投影网小编给大家分析一下，一、无屏电视是智能电视吗，无屏电视应该就是采用投影技术实现画面投放到任何白墙等类似幕布的载体上，摆脱传统液晶电视...。
发表在专业问答2022，8，2416，19展示机型信息，品牌型号，当贝X3系统版本，当贝OS2.0采用的是凸透镜，投影仪镜头是凸透镜，因为投影仪需要光线经过镜头之后成倒像且必须是实像，所以要采用凸透镜，因为经过凸透镜会成放大、倒立的实像，投影仪是凸透镜还是凹透镜投影仪是凸透镜，投影仪采用凸透镜的原因和投影仪的成像方式有关，因为投影仪投...。
发表在当贝投影仪2023，5，1913，25海信ViddaC1Pro是海信最新发布的投影产品，相比ViddaC1S提升不少，那么海信ViddaC1Pro和当贝X5有什么区别呢，下面就通过各项参数配置进行全面分析，看看海信ViddaC1Pro对比当贝X5区别有哪些，哪款更值得用户入手，一、海信ViddaC1Pro和当贝X5有什么区别，1...。
