GPT 不像 GPT EleutherAI 200亿参数的类 推出 模型 (gpt不能用ghost吗)
近日，「黑客组织」EleutherAI 在打破 OpenAI 对 GPT-3 的垄断上又迈出了关键的一步：
发布全新 200 亿参数模型，名曰「GPT-NeoX-20B」。
众所周知，自 2020 年微软与 OpenAI 在 GPT-3 源代码独家访问权上达成协议以来，OpenAI 就不再向社会大众开放 GPT-3 的模型代码（尽管 GPT-1 和 GPT-2 仍是开源项目）。
出于对科技巨头霸权的「反叛」，一个由各路研究人员、工程师与开发人员志愿组成的计算机科学家协会成立，立志要打破微软与 OpenAI 对大规模 NLP 模型的垄断，且取得了不错的成果。
它以古罗马自由女神 Eleutheria 的名字命名，透露出对巨头的不屑与反抗。
与 1750 亿参数的 GPT-3 相比，GPT-NeoX-20B 的参数显然是小巫见大巫。但 EleutherAI 对该成果十分自豪，为什么？
首先介绍一下 EleutherAI 的发展历史。
人工智能威胁论是一个老生常谈的问题。霍金曾在《独立报》上这样形容人工智能的威胁：「尽管人工智能的短期影响取决于控制它的人，但长期影响却取决于它究竟能否被控制。」
EleutherAI 的成立始于 2020 年 7 月，主要发起人是一群号称自学成才的黑客，主要领导人包括 Connor Leahy、Leo Gao 和 Sid Black。
当时，微软与 OpenAI 达成对 GPT-3 的控制访问协议。听闻风声，一群反叛极客就在 Discord（一个社交媒体平台 ）上说：「让我们给 OpenAI 一个教训吧！」
于是，他们就基于 Discord 成立了 EleutherAI，希望建立一个能够与 GPT-3 相媲美的机器学习模型。
创始人 Connor Leahy 在接受 IEEE Spectrum 的采访时说道：
「起初这真的只是一个有趣的业余爱好，但在疫情封城期间我们没有更好的事情可做，它的吸引力很快就变得大起来。」
「我们认为自己是几十年前经典黑客文化的后裔，只是在新的领域，出于好奇和对挑战的热爱而对技术进行试验。」
Discord 服务器现在有大约 10,000 名成员，但只有大约 100 或 200 人经常活跃，由一个 10 到 20 人组成的团队在开发新模型。
自成立以来，EleutherAI 的研究团队首先开源了基于 GPT-3 的、包含 60 亿参数的 NLP 模型 GPT-J，2021 年 3 月又发布类 GPT 的27 亿参数模型 GPT-Neo，可以说成长迅速。
今年2月9日，他们又与 CoreWeave 合作发布了 GPT-Neo 的升级版——GPT-NeoX-20B，官方代码地址如下，现可从 The Eye on the Eye 公开下载。
它也是目前最大的可公开访问的预训练通用自回归语言模型。
在发布声明中，Leahy 特别标注了「标准语言建模任务的准确性」和「由 HendrycksTest 评估衡量的按主题组划分的事实知识的零样本准确性」：
GPT-NeoX-20B 的优势：免费开放
简单来说，GPT-NeoX-20B 是一个包含 200 亿参数、预训练、通用、自回归大规模语言模型。
如果你不知道是什么，想想 OpenAI 的 GPT-3，它是近两年前震惊世界的大型语言模型，语言能力神通广大，包括编写计算机代码、创作诗歌、生成风格难以区分的带有权威语气的假新闻，甚至给它一个标题、一句话，它就可以生成一篇文章，因为它可以根据很少的输入信息自行「创作」，而且创作出来的东西还可以文意皆通。（题外话：就像漫威低配版的贾维斯）
必须承认的是，OpenAI 的模型比 EleutherAI 更大，有 1750 亿个参数（模型内部编码信息的节点或数字）。参数越多，模型吸收的信息就越多、越细化，因此模型就越「聪明」。
但 EleutherAI 是世界上同类模型中最大、性能最好的模型，可免费公开获得。
「我们希望更多的安全研究人员能够使用这项技术。」Leahy 说。
此外，EleutherAI 与 OpenAI 在训练大规模模型所需的计算能力上有所不同。
OpenAI 在数量不详的 Nvidia V100 Tensor Core GPU 上训练了 GPT-3。此后，OpenAI 的合作伙伴微软开发了一个用于大型模型训练的单一系统，该系统具有超过 285000 个 CPU 内核、10000 个 GPU，以及每个 GPU 服务器每秒 400 Gb 的网络连接。
这并没有阻止 EleutherAI 在反 GPT-3 垄断上的努力。他们最初使用谷歌提供的硬件作为其 TPU 研究云计划的一部分，构建了一个具有 60 亿个参数的大型语言模型 GPT-J。对于 GPT-NeoX-20B，该小组得到了 CoreWeave 的帮助，CoreWeave 是一家专门针对基于 GPU 的工作负载的云服务提供商。
虽然 OpenAI 号称是人工智能非盈利组织，但目前来看，其本质还是由科技公司主导开发的私有模型。
EleutherAI 的数学家和人工智能研究员 Stella Biderman 对 IEEE Spectrum 表示：
「这些私有模型限制了我们这种独立的科研人员权限，如果我们不了解它的工作原理，科学家、伦理学家、整个社会就无法就这项技术应该如何融入我们的生活进行必要的对话。」
EleutherAI 的工作促进了对大型语言模型的可解释性、安全性和伦理的研究，受到外界肯定。
机器学习安全领域的主要人物 Nicholas Carlini 在最近的一篇论文中表示：「如果没有 EleutherAI 完全公开发布 The Pile 数据集及其 GPT-Neo 系列模型，我们的研究是不可能实现的。」Pile 数据集是一个 825 GB 的英文文本语料库，用于训练大规模语言模型。
马斯克不只一次发表人工智能比人类强这一观点。他认为人是碳基生物自带上限。而人类进化的速度很明显比不上人工智能，所以人工智能迟早超过人类，这是AI最大的潜在威胁。OpenAI 也是他基于这个考量和其他科技大亨共同创立的。
Leahy 认为 AI 的最大风险不是有人利用它作恶，而是构建一个非常强大的 AI 系统，无人知道如何控制。
他说：「我们必须将人工智能视为不像我们思考的奇怪外星人。」他补充说，「人工智能擅长优化目标，但如果给定一个愚蠢的目标，结果可能是不可预测的。他担心研究人员会在创造越来越强大的人工智能的竞赛中过度自信，在这个过程中偷工减料。」
其实任何志同道合的计算机科学家都可以构建一个大型语言模型，但很难获得合适的硬件来训练大型语言模型，因为这需要非常高的资本投资，而如今只有几百家公司拥有这种硬件。
「我们需要研究这些系统，以了解我们如何控制它们。」EleutherAI的创作初衷正是通过使这种规模的模型易于访问，从而让有兴趣的人们进一步研究人工智能系统的安全使用。
反观 OpenAI，「Open」怕不是只对金钱 Open 吧？
版权文章，未经授权禁止转载。详情见 转载须知 。
本文地址： https://www.gpxz.com/article/542b5e5da366b4d820a6.html
张大妈工资计算器(hizdm.cn)按照最新的五险一金缴纳比例计算各城市的税后工资收入，帮助您更详细了解五险一金扣税的各比例和金额。
LOL网址导航网是专业的上网导航网站,精心收录各类优质热门网站信息,同时提供天气、快递、违章等各种生活便民查询工具网址,为您提供安全便捷的上网导航服务,现已被众多网友设为上网主页,网址导航大全首选LOL网址导航.
四川国恒建筑设计有限公司是一家专长于建筑设计、规划设计、策划咨询、景观设计，以及相关服务的综合性专业化设计机构。公司创建于1998年9月，执有中华人民共和国住建部颁发的建设工程设计甲级资质。经过多年的发展，现有二百余名工程设计人员，已成为区域综合排名前列的民营设计单位，成都市勘察设计协会副会长单位，四川省勘察设计协会理事单位，也是四川省拥有工程设计大师的民营设计单位。
同花顺旗下一站式基金投资平台，轻松找到最适合您的基金。并为您提供基金净值查询、投资收益计算、基金定投、基金网上交易、基金数据等多种专业、及时、全面的基金服务。
无边泳池，透明游泳池,亚克力游泳池，亚克力厚板，英国露彩特原材料厂家
东莞市精邦机械科技有限公司是一家专业的测试设备制造商，主要生产剩余电压测试仪、鲁尔量规、ISO80369量规、高频电刀分析仪等产品。我们为实验室、企业、高校、航空航天等客户群体提供高质量的测试设备和解决方案。
灵境云是云工场科技旗下品牌，边缘云第一股（02512.HK）。依托全国2000+边缘节点，提供GPU/NPU算力租赁、CDN加速、IDC/托管、异构算力调度平台与模型服务（推理/微调/训练），助力政企与行业低时延落地AI应用。
校校专注为国际学校和留学语培机构提供AI教学与校区运营管理系统，校校class目前的免费班级作业管理平台、一站式留学语培机构系统解决方案，高效协同的数字化智慧校园解决方案广泛被国际学校、培训机构及老师使用并受到高度好评。校校Class还有国际教育行业领先的一站式数字化运营管理系统，全日制国际学校教务教学管理系统，一站式留学语培SaaS服务系统。
绍兴富强宏泰印染有限公司是“浙江富强实业集团有限公司”在滨海的集聚企业，公司位于滨海工业集聚区绿色蓝印小镇北九路。
广德日通电子科技有限公司（原苏州日通电路板有限公司）创立于一九八八年，是专业生产单、双面印制电路板的企业。公司拥有生产设备和检验仪器，雄厚的技术队伍，严格的品保系统，已获得美国UL认证，ISO9001：2000质量体系认证
上海祺甚远电子科技有限公司是一家集半导体行业耗材、设备、贸易和自动化的研发、制造、销售为一体的高科技公司
专注于计算机系列知识分享，为广大编程爱好者提供良好的学习环境，所有基础学习资源全部免费开放
随着人们对品牌化意识的增强，越来越多的人想加盟内衣品牌来赚取人生财富，内衣市场需求大，开店前景可观，操作简单，吸引了众多创业者的眼球，但由于一件内衣的价格比较便宜，不少人会担心赚不到钱，那么，开内衣加盟店好吗曼妮芬内衣加盟条件是什么呢?一起来看下文的介绍吧，开内衣加盟店好吗?其实，内衣加盟店的收银大小需要根据内衣品牌的风格、店铺大小以...。
2016年春天，被同学和同事亲切地称为，ProfessorX，的结束了其为人艳羡的普林斯顿大学教授生涯，也离开了其一手创办的，计算机视觉与机器人实验室，ComputerVisionandRoboticsLabs，同年秋天，肖健雄举家横穿美国，从新泽西搬到硅谷，在这里，肖健雄开启了创业之路——他创办了一家名为AutoX的科技公司，为...。
薇娅全网被封！逃税被罚，追缴税款、加收滞纳金并处罚款共计13.41亿元，目前已有上千人主动自查补缴税款12月20日，国家税务总局浙江省税务局公布薇娅偷逃税案件，依法对黄薇，薇娅，作出税务行政处理处罚决定，追缴税款、加收滞纳金并处罚款共计13.41亿元，随后，薇娅发布致歉信称，在自查和调查过程中，发现自己确实在税务上有违反税收法律法规的...。
今日融资快报埃斯顿，拟4.5亿元对全资子公司埃斯顿机器人增资埃斯顿公告，公司拟使用自有资金4.5亿元对全资子公司南京埃斯顿机器人工程有限公司进行增资，其中3亿元计入注册资本，1.5亿元计入资本公积，此次增资完成后，埃斯顿机器人的注册资本将由1.5亿元增加至4.5亿元，公司仍持有埃斯顿机器人100%的股权，埃斯顿于1993年在南京注册设...。
发表在明基投影仪2019，9，1114，57本人的新房耗时一年，总算是装修完并搬迁入住了，装修的过程是漫长而又充满辛劳的，装修的结果是让人喜悦和欣慰的，装修期间，各种琐事，有让人高兴的，也有让人闹心的，林林总总，一言难尽，不过由于装修是个系统工程，一下子也写不完，所以我只能挑我较擅长的一项一项慢慢分享，这次分享的是家庭高清智...。
11月11日，在日本众议院首相指名选举决胜轮投票中，自民党总裁石破茂获胜，再次入选日本首相，有国内疑问钻研专家向南都记者剖析称，石破茂只管可以续任首相，但由于此前执政联盟在国会众议院选举中的惨败，执政根基曾经极端不稳，未来须要接待党内和在朝党接踵而来的各种应战，在变数中再次入选南都此前报道，往年10月1日，石破茂入选日本第102任首相...。
请问四月十四是什么星座，谢谢，阳历04月14日，星座白羊座出世日期3月21日，4月20日，星座不知何时曾经进入人们的生存，年轻人与好友见面聊天都会青睐问一下星座，帮你看看你的性情怎样样，你有什么样的情感等等，但还是有的好友对星座还不是很片面的了解，星座屋在这里给大家说说不同的星座不同的共性，白羊座共性白羊座的人激动、爱冒险、小气、天...。
广汽丰田雅力士L致炫是一款体现优秀的车型，首先，它的外观时兴慷慨，颜值颇高，LED日间行车灯的设计让整个车辆充溢动感，而车内空间宽阔，即使身高一米七五的驾驶者也能感遭到温馨的驾驶体验，没有压榨感，其次，后排座椅的空间也十分富余，储物空间只管不算太多，但后备箱的空间足够满足日经常常使用需求，内饰做工精细，新车的异味稍有存在，但不会影响全...。
长劳碌动ET的保险费用结构重要包含交强险和商业险，详细来说，交强险的费用大概在950元左右，而商业险的费用范畴在2646，2759元之间，总体计算，长劳碌动ET的保险费用区间大概为3596，3709元，以酷派版为例，一年的保险费用约为950元，假设加上商业险局部，那么一年的总保险破费大概是3709元，假设思考三年的总费用，估量总计大概...。
北斗星汽车多少钱普通在5万左右，1、昌河公司与日本铃木公司协作开发的，北斗星，家用多配置乘用车，是航空技术与日本技术的结晶，是科技与文明的完美联合，该车集，轿车、游览车、越野车、微型车，的好处于一身，齐全合乎，安保、环保、节能，的时代潮流，性能多少钱比十分高，价位迷人，该车市场定位为家用经济型车，国产化后多少钱将在5至6万元，齐全贴近...。
关于b40北京吉普的多少钱，参考多少钱是10万至18万，该车型的形状设计十分粗犷，驳回向外拱起的塑料件，野性十足，前脸的外型驳回竖条格栅，看上去很有之前的JEEP滋味，后车厢顶篷可以拆上去，带来更多的野外驾驶乐趣，轮胎驳回规范的越野车样式，小轮圈搭配大轮胎，搭配很高的离地间隙，可以让人有信念趟过条件厚道的破败路面，内饰方面，只管消息不...。
网易汽车值得买为您提供鹰潭市迈腾最低报价、团购。为您全方位评估推荐最优车型，网易汽车值得买您指尖上的购车顾问！
在很多人的心中都有致富的梦想，往往人们只有想法没有方向，不知道如何选择加盟的项目，市场需求量高、发展空间大的项目是可以帮助创业者实现致富梦想的好选择，餐饮行业一直以来都呈现朝阳发展的现状，在市面上出现很多面皮品牌，家家店的生意都十分的火热，闻名前来用餐的食客都不间断，是很有发展潜力的创业项目，接下来，小编为大家介绍面皮加盟流程和条件是...。
2023当贝春季新品发布会上，当贝X系列新品X5闪亮登场，当贝X5激光投影仪采用全新处理芯片，大幅度提高投影性能，同时拥有超高亮度，具体当贝X5激光投影仪的实际使用效果如何呢，下面就来详细了解一下，当贝X5激光投影仪亮点汇总，01，当贝X5激光投影仪开箱02，当贝X5激光投影仪外观当贝X5激光投影仪沿用了当贝X3的外观设计理念，前脸采...。
发表在极米投影仪2019，7，819，55极米Z4Air是一款仅能商用也可家用的投影仪，为什么能商用呢，因为它具有很强的商务便携性，其中一项功能就是和电脑一键同屏，这个功能非常的方便，下面就为大家展示一下首先我们电脑端要进官网下载极米同屏助手，在服务里面下载极米同屏助手请注意投影机版本和电脑系统，投影机版本在设置，关于，系统信息里面下...。
安装第三方软件看电视直播教程，1.从电脑里下载好当贝市场apk，点击立即下载，或下载创维酷开破解版当贝市场apk，点击立即下载，并拷贝到U盘，然后将U盘连接，这时在电视主界面点击，我的应用，；在我的应用中，进入，U盘安装，，选择当贝市场安装包进行安装；安装好打开当贝市场，选择你想下载的电视软件，比如优酷TV版应用；4.但下载完成后点击...。
1.人类命运共同体是一种深远的价值观理念，其核心在于强调各国之间的相互依存与合作，2.该理念涵盖了国际权力观、共同利益观、可持续发展观和全球治理观，提倡在追求本国利益的同时，兼顾他国的合理需求，推动全球共同发展，3.地球是我们共同的家园，各国共享一个世界，因此倡导，人类命运共同体，的意识至关重要，4.人类命运共同体的理念内涵丰富多样，...。
