GPT 不像 GPT EleutherAI 200亿参数的类 推出 模型 (gpt不能用ghost吗)
近日，「黑客组织」EleutherAI 在打破 OpenAI 对 GPT-3 的垄断上又迈出了关键的一步：
发布全新 200 亿参数模型，名曰「GPT-NeoX-20B」。
众所周知，自 2020 年微软与 OpenAI 在 GPT-3 源代码独家访问权上达成协议以来，OpenAI 就不再向社会大众开放 GPT-3 的模型代码（尽管 GPT-1 和 GPT-2 仍是开源项目）。
出于对科技巨头霸权的「反叛」，一个由各路研究人员、工程师与开发人员志愿组成的计算机科学家协会成立，立志要打破微软与 OpenAI 对大规模 NLP 模型的垄断，且取得了不错的成果。
它以古罗马自由女神 Eleutheria 的名字命名，透露出对巨头的不屑与反抗。
与 1750 亿参数的 GPT-3 相比，GPT-NeoX-20B 的参数显然是小巫见大巫。但 EleutherAI 对该成果十分自豪，为什么？
首先介绍一下 EleutherAI 的发展历史。
人工智能威胁论是一个老生常谈的问题。霍金曾在《独立报》上这样形容人工智能的威胁：「尽管人工智能的短期影响取决于控制它的人，但长期影响却取决于它究竟能否被控制。」
EleutherAI 的成立始于 2020 年 7 月，主要发起人是一群号称自学成才的黑客，主要领导人包括 Connor Leahy、Leo Gao 和 Sid Black。
当时，微软与 OpenAI 达成对 GPT-3 的控制访问协议。听闻风声，一群反叛极客就在 Discord（一个社交媒体平台 ）上说：「让我们给 OpenAI 一个教训吧！」
于是，他们就基于 Discord 成立了 EleutherAI，希望建立一个能够与 GPT-3 相媲美的机器学习模型。
创始人 Connor Leahy 在接受 IEEE Spectrum 的采访时说道：
「起初这真的只是一个有趣的业余爱好，但在疫情封城期间我们没有更好的事情可做，它的吸引力很快就变得大起来。」
「我们认为自己是几十年前经典黑客文化的后裔，只是在新的领域，出于好奇和对挑战的热爱而对技术进行试验。」
Discord 服务器现在有大约 10,000 名成员，但只有大约 100 或 200 人经常活跃，由一个 10 到 20 人组成的团队在开发新模型。
自成立以来，EleutherAI 的研究团队首先开源了基于 GPT-3 的、包含 60 亿参数的 NLP 模型 GPT-J，2021 年 3 月又发布类 GPT 的27 亿参数模型 GPT-Neo，可以说成长迅速。
今年2月9日，他们又与 CoreWeave 合作发布了 GPT-Neo 的升级版——GPT-NeoX-20B，官方代码地址如下，现可从 The Eye on the Eye 公开下载。
它也是目前最大的可公开访问的预训练通用自回归语言模型。
在发布声明中，Leahy 特别标注了「标准语言建模任务的准确性」和「由 HendrycksTest 评估衡量的按主题组划分的事实知识的零样本准确性」：
GPT-NeoX-20B 的优势：免费开放
简单来说，GPT-NeoX-20B 是一个包含 200 亿参数、预训练、通用、自回归大规模语言模型。
如果你不知道是什么，想想 OpenAI 的 GPT-3，它是近两年前震惊世界的大型语言模型，语言能力神通广大，包括编写计算机代码、创作诗歌、生成风格难以区分的带有权威语气的假新闻，甚至给它一个标题、一句话，它就可以生成一篇文章，因为它可以根据很少的输入信息自行「创作」，而且创作出来的东西还可以文意皆通。（题外话：就像漫威低配版的贾维斯）
必须承认的是，OpenAI 的模型比 EleutherAI 更大，有 1750 亿个参数（模型内部编码信息的节点或数字）。参数越多，模型吸收的信息就越多、越细化，因此模型就越「聪明」。
但 EleutherAI 是世界上同类模型中最大、性能最好的模型，可免费公开获得。
「我们希望更多的安全研究人员能够使用这项技术。」Leahy 说。
此外，EleutherAI 与 OpenAI 在训练大规模模型所需的计算能力上有所不同。
OpenAI 在数量不详的 Nvidia V100 Tensor Core GPU 上训练了 GPT-3。此后，OpenAI 的合作伙伴微软开发了一个用于大型模型训练的单一系统，该系统具有超过 285000 个 CPU 内核、10000 个 GPU，以及每个 GPU 服务器每秒 400 Gb 的网络连接。
这并没有阻止 EleutherAI 在反 GPT-3 垄断上的努力。他们最初使用谷歌提供的硬件作为其 TPU 研究云计划的一部分，构建了一个具有 60 亿个参数的大型语言模型 GPT-J。对于 GPT-NeoX-20B，该小组得到了 CoreWeave 的帮助，CoreWeave 是一家专门针对基于 GPU 的工作负载的云服务提供商。
虽然 OpenAI 号称是人工智能非盈利组织，但目前来看，其本质还是由科技公司主导开发的私有模型。
EleutherAI 的数学家和人工智能研究员 Stella Biderman 对 IEEE Spectrum 表示：
「这些私有模型限制了我们这种独立的科研人员权限，如果我们不了解它的工作原理，科学家、伦理学家、整个社会就无法就这项技术应该如何融入我们的生活进行必要的对话。」
EleutherAI 的工作促进了对大型语言模型的可解释性、安全性和伦理的研究，受到外界肯定。
机器学习安全领域的主要人物 Nicholas Carlini 在最近的一篇论文中表示：「如果没有 EleutherAI 完全公开发布 The Pile 数据集及其 GPT-Neo 系列模型，我们的研究是不可能实现的。」Pile 数据集是一个 825 GB 的英文文本语料库，用于训练大规模语言模型。
马斯克不只一次发表人工智能比人类强这一观点。他认为人是碳基生物自带上限。而人类进化的速度很明显比不上人工智能，所以人工智能迟早超过人类，这是AI最大的潜在威胁。OpenAI 也是他基于这个考量和其他科技大亨共同创立的。
Leahy 认为 AI 的最大风险不是有人利用它作恶，而是构建一个非常强大的 AI 系统，无人知道如何控制。
他说：「我们必须将人工智能视为不像我们思考的奇怪外星人。」他补充说，「人工智能擅长优化目标，但如果给定一个愚蠢的目标，结果可能是不可预测的。他担心研究人员会在创造越来越强大的人工智能的竞赛中过度自信，在这个过程中偷工减料。」
其实任何志同道合的计算机科学家都可以构建一个大型语言模型，但很难获得合适的硬件来训练大型语言模型，因为这需要非常高的资本投资，而如今只有几百家公司拥有这种硬件。
「我们需要研究这些系统，以了解我们如何控制它们。」EleutherAI的创作初衷正是通过使这种规模的模型易于访问，从而让有兴趣的人们进一步研究人工智能系统的安全使用。
反观 OpenAI，「Open」怕不是只对金钱 Open 吧？
版权文章，未经授权禁止转载。详情见 转载须知 。
本文地址： https://www.gpxz.com/article/542b5e5da366b4d820a6.html
上海证券报，中国证券网，新华社主管主办，证监会法定信息披露平台，以权威、专业、价值为宗旨的全媒体财经机构，以开放、分享、共赢为目标的综合性资本市场服务平台
安徽省晋昇起重科技有限公司专注马鞍山塔吊,塔式起重机,施工升降机租赁出租,主要从事建筑工程施工升降机,塔式起重机销售,租赁,安装,拆卸,维护,保养一体化综合服务,机械质量好,价格优惠,详细欢迎来电咨询
破解版软件和绿色版软件下载基地-起点下载,成立于2004年,原中国破解联盟,是国内最早的破解版软件,汉化版软件和绿色版软件下载中心,下载绿色版,破解版和汉化版请记住起点下载!
天堂2单机论坛
名医百科
荷兰皇家工作犬协会（香港）旗下工厂广州市恒纳电器制造有限公司是一家年轻而有活力的企业。荷皇KNPV品牌是公司注册商标，位于中国广东广州，是一家集生产、国内外销售、服务于一体的宠物用品、小家电生产企业。主要生产：荷皇KNPV牌宠物航空箱等宠物用品及配套宠物电子产品，电热水壶，净水器等小家电产品。公司通过了ISO9001、BSCI等认证。产品认证有GS，CE，CB，RoHS，LFGB，Reach等。
App开发公司提供,网站建设,App定制开发,微信小程序定制开发,营销型网站建设,网站建设,定制网站系统,以及定制高级网页,app,微信等技术服务,网站建设案例高达3000家,放心选择,值得信赖
宁波科瑞博电梯配件有限公司
江门市龙佑光电科技有限公司是一家专注于LED照明领域技术研发、产品制造、品牌营销及销售为一体的照明企业。公司拥有先进的现代化生产设备、专业的检测仪器，是国内主要LED灯泡，LED光源的OEM、ODM生产企业，公司以高起点、高品质、高追求为宗旨，凭借着团队超前的设计理念与研发能力以及优良的品质，严格的管理方法，采用先进的生产加工设备与工艺在激烈的市场竞争中不断的发展壮大。
中国流变学学会--ChineseSocietyofRheology
要使用iOS保存一个帖子，请点击...，然后从面板中选择微软云笔记第一步第二步第三步要使用安卓保存一个帖子，请点击...，然后从面板中选择微软云笔记第一步第二步要保存文字内容，请直接与我对话要保存语音，请直接按住说话要保存网页内容，请键入网页链接地址，URL，要保存图片、视频、位置等，请点击，，然后保存内容不过，想要拥有以上功能，你需...。
现在大家的经济水平有了很大的提升，在孩子的教育上自然也比较舍得加盟，会给孩子选择专业的教育机构进行系统的学习，让孩子感受到更广阔的的世界，开拓眼界，学习到更多的知识，现在市面上的教育品牌很多，同类化现象也比较严重，其中极客晨星少儿编程这个品牌是很有特色的，它主要是少儿编程的研发和推广，有着自己不一样的品牌特色，很受广大家长的信赖和欢迎...。
水果连锁品牌比较多，有很多受欢迎的品牌店出现，经营很稳定，能够给大家提供价格实惠新鲜的水果，果缤纷时尚鲜果，自创办以来就能做到大家好评不断，可以给创业者提供更满意的指导培训，做好店铺的经营管理，果缤纷时尚鲜果加盟好不好，关于品牌具体优势大家要了解一下，果缤纷时尚鲜果现在连锁店现在遍及在很多城市，能够做到圈粉无数，公司以现代化的水果店经...。
相互宝即将关停，用户不再参与分摊12月28日，相互宝发布公告表示，相互宝发布公告表示，为更长远保护所有成员权益，经过慎重思考和讨论，将于2022年1月28日24时停止运行，相互宝公告显示，自公告之日起，成员不再参与互助分摊，原定于公告日扣款的分摊金及2022年1月的两期分摊金，全部由相互宝平台承担，为了更好地保障相互宝成员权益，相互宝...。
近日，奥普特发布投资者关系活动记录表，奥普特，代码，688686，是一家从事机器视觉核心软硬件产品的研发、生产和销售的高新技术企业，成立于2006年，是我国较早进入机器视觉领域的企业之一，主要产品为光源、光源控制器、镜头、相机、视觉控制系统，其生产的机器视觉产品已广泛应用3C电子、新能源、半导体等多个行业，以下是调研全文重要内容，雷峰...。
说实话，我觉得这份通报来的太晚了一些，如果说在这件事情发生之后就能够及时的通报，那么大家不可能会这么的气愤，因为这件事情已经过去了太多天了，但是唐山方面一直都没有一个准确的消息出来，对于这件事情我们什么都不知道，除了从最开始的视频当中，我们除了知道有九个犯罪嫌疑人和四个受害者之外，那九个人是什么样的况，那几个受害者又是什么样的情况，我...。
只能说反经常常使用没有大疑问，很难保证不会产生小疑问，比如做工差，内饰差，噪音大，严厉来说，西北V5菱致耐用不耐用的疑问无法回答，由于受车主往常的用车习气、能否按时保养、反常行驶路况等主观起因影响很大，最便捷的例子，假设往常行驶的路况不平均，寿命必需会更短，西北V五菱汽车由深圳汽车个人和三菱合资，三菱提供技术和发起机允许，在能源方面，...。
新款奥迪A5敞篷跑车的售价在47.68万至56.38万之间，新款奥迪A5敞篷版车型新增了量子灰的涂装选用，而40TFSI时兴型则新增了LED大灯，内饰方面，45TFSI时兴型、45TFSI静止型及45TFSIquattro静止型都新增了车内气氛灯，此外，新款奥迪A5还优化了车辆操作的方便性，45TFSI时兴型增配了奥迪虚构座舱，该性能...。
日产370z敞篷版是一款备受注目标跑车，假设你想购置它，可以返回4S店启动购置，日产370z敞篷版在中国市场备受欢迎，而且是一款口碑极佳的车型，关于日产来说，中国市场是一个极速开展的、越来越共性化的市场，与其余车型不同，370z敞篷版并没有延长，反而缩小了长度、轴距和高度，从而提高了行驶稳固性，只管以跑车的规范来看，内饰或者显得个别，...。
circumstances[英][sɜ，kəmstənsɪz][美][sɜ，kəmstənsɪz]生词本扼要释义n.境况；境遇；，尤指，经济状况；命运；环境，circumstance的名词双数，；事情；境遇；机会1.N，COUNT状况；情景；情势Thecircumstancesofaparticularsituationarethec...。
网站漏洞扫描大师是一款对网站进行检测安全的工具，为广大网络用户注意上网安全提供帮助，整个工具界面简单，且操作特别的简单
某音里经常会遇到这样一种视频，多少多少年前的一张黑白照片，对比经过处理以后变成彩色的同一张照片，最火的一段视频是经过AI修复的1937年的北京街头，老照片修复这个项目到现在都很火，有人找就有人满足需求，仅某信里每天搜索老照片的有180万左右，老照片修复也有6千多，度娘关键词周指数平均是2000左右，简单来说就是老照片修复的项目一直存在...。
餐饮行业中出现越来越多的美食产品，每种产品在价格方面、口感方面、营养方面各不相同，为广大消费者带来舌尖上的享受，桥头排骨是得到大众顾客喜爱的美食品牌，产品在市场上销售量旺盛，市场经常出现供不应求的现象，火热的发展现状吸引到一些创业者的关注，大家想要了解桥头排骨好吃吗，开店需要多大面积，2011年桥头排骨公司创立，总部起源于河北秦皇岛，...。
齐召4万名员工，阿里举办2017年会庆生，马云称要建世界第5大经济体2017年9月9日是阿里巴巴集团的18周岁生日，昨天，9月8日，，阿里全球4万名员工齐聚杭州黄龙体育中心，参加了其2017年会，无论是规模，还是现场的壮观表现，阿里此次的年会都堪比奥运会级别，作为全球最具影响力的互联网公司之一，阿里也在年会中充分体现了科技感，现场40...。
2024年，对于想要加盟青少年近视弱视矫正领域的创业者来说，易视界无疑是一个值得提及的品牌，以下是对易视界的详细分析，一、品牌实力易视界是一家专注于青少年视力健康的全国连锁眼健康品牌，致力于帮助全球青少年减少近视率，该品牌已有多年的直营经验，至2024年，易视界在郑州已有30多家直营店，全国门店数量超过1000家，这充分展示了易视界在...。
历经几十年的发展，全球形成了Wintel，Windows，Intel，和AA，Android，Arm，两大信息化生态体系，并且都由美国主导，采用授权指令系统可以研制产品，但不可能形成自主产业生态，就像中国人可以用英文写文章，但不可能基于英文形成民族文化，龙芯中科董事长胡伟武此前对说，，于是在内因和外因的共同作用下，我们决定自...。
