GPT 不像 GPT EleutherAI 200亿参数的类 推出 模型 (gpt不能用ghost吗)
TherAI 推出 200亿参数的类 GPT 模型：不像 GPT-3，它免费开放" src="http://www.gpxz.com/zdmsl_image/article/20241203175612_55856.jpg" loading="lazy">
近日，「黑客组织」EleutherAI 在打破 OpenAI 对 GPT-3 的垄断上又迈出了关键的一步：
发布全新 200 亿参数模型，名曰「GPT-NeoX-20B」。
众所周知，自 2020 年微软与 OpenAI 在 GPT-3 源代码独家访问权上达成协议以来，OpenAI 就不再向社会大众开放 GPT-3 的模型代码（尽管 GPT-1 和 GPT-2 仍是开源项目）。
出于对科技巨头霸权的「反叛」，一个由各路研究人员、工程师与开发人员志愿组成的计算机科学家协会成立，立志要打破微软与 OpenAI 对大规模 NLP 模型的垄断，且取得了不错的成果。
它以古罗马自由女神 Eleutheria 的名字命名，透露出对巨头的不屑与反抗。
与 1750 亿参数的 GPT-3 相比，GPT-NeoX-20B 的参数显然是小巫见大巫。但 EleutherAI 对该成果十分自豪，为什么？
首先介绍一下 EleutherAI 的发展历史。
人工智能威胁论是一个老生常谈的问题。霍金曾在《独立报》上这样形容人工智能的威胁：「尽管人工智能的短期影响取决于控制它的人，但长期影响却取决于它究竟能否被控制。」
EleutherAI 的成立始于 2020 年 7 月，主要发起人是一群号称自学成才的黑客，主要领导人包括 Connor Leahy、Leo Gao 和 Sid Black。
当时，微软与 OpenAI 达成对 GPT-3 的控制访问协议。听闻风声，一群反叛极客就在 Discord（一个社交媒体平台 ）上说：「让我们给 OpenAI 一个教训吧！」
于是，他们就基于 Discord 成立了 EleutherAI，希望建立一个能够与 GPT-3 相媲美的机器学习模型。
创始人 Connor Leahy 在接受 IEEE Spectrum 的采访时说道：
「起初这真的只是一个有趣的业余爱好，但在疫情封城期间我们没有更好的事情可做，它的吸引力很快就变得大起来。」
「我们认为自己是几十年前经典黑客文化的后裔，只是在新的领域，出于好奇和对挑战的热爱而对技术进行试验。」
Discord 服务器现在有大约 10,000 名成员，但只有大约 100 或 200 人经常活跃，由一个 10 到 20 人组成的团队在开发新模型。
自成立以来，EleutherAI 的研究团队首先开源了基于 GPT-3 的、包含 60 亿参数的 NLP 模型 GPT-J，2021 年 3 月又发布类 GPT 的27 亿参数模型 GPT-Neo，可以说成长迅速。
今年2月9日，他们又与 CoreWeave 合作发布了 GPT-Neo 的升级版——GPT-NeoX-20B，官方代码地址如下，现可从 The Eye on the Eye 公开下载。
它也是目前最大的可公开访问的预训练通用自回归语言模型。
在发布声明中，Leahy 特别标注了「标准语言建模任务的准确性」和「由 HendrycksTest 评估衡量的按主题组划分的事实知识的零样本准确性」：
GPT-NeoX-20B 的优势：免费开放
简单来说，GPT-NeoX-20B 是一个包含 200 亿参数、预训练、通用、自回归大规模语言模型。
如果你不知道是什么，想想 OpenAI 的 GPT-3，它是近两年前震惊世界的大型语言模型，语言能力神通广大，包括编写计算机代码、创作诗歌、生成风格难以区分的带有权威语气的假新闻，甚至给它一个标题、一句话，它就可以生成一篇文章，因为它可以根据很少的输入信息自行「创作」，而且创作出来的东西还可以文意皆通。（题外话：就像漫威低配版的贾维斯）
必须承认的是，OpenAI 的模型比 EleutherAI 更大，有 1750 亿个参数（模型内部编码信息的节点或数字）。参数越多，模型吸收的信息就越多、越细化，因此模型就越「聪明」。
但 EleutherAI 是世界上同类模型中最大、性能最好的模型，可免费公开获得。
「我们希望更多的安全研究人员能够使用这项技术。」Leahy 说。
此外，EleutherAI 与 OpenAI 在训练大规模模型所需的计算能力上有所不同。
OpenAI 在数量不详的 Nvidia V100 Tensor Core GPU 上训练了 GPT-3。此后，OpenAI 的合作伙伴微软开发了一个用于大型模型训练的单一系统，该系统具有超过 285000 个 CPU 内核、10000 个 GPU，以及每个 GPU 服务器每秒 400 Gb 的网络连接。
这并没有阻止 EleutherAI 在反 GPT-3 垄断上的努力。他们最初使用谷歌提供的硬件作为其 TPU 研究云计划的一部分，构建了一个具有 60 亿个参数的大型语言模型 GPT-J。对于 GPT-NeoX-20B，该小组得到了 CoreWeave 的帮助，CoreWeave 是一家专门针对基于 GPU 的工作负载的云服务提供商。
虽然 OpenAI 号称是人工智能非盈利组织，但目前来看，其本质还是由科技公司主导开发的私有模型。
EleutherAI 的数学家和人工智能研究员 Stella Biderman 对 IEEE Spectrum 表示：
「这些私有模型限制了我们这种独立的科研人员权限，如果我们不了解它的工作原理，科学家、伦理学家、整个社会就无法就这项技术应该如何融入我们的生活进行必要的对话。」
EleutherAI 的工作促进了对大型语言模型的可解释性、安全性和伦理的研究，受到外界肯定。
机器学习安全领域的主要人物 Nicholas Carlini 在最近的一篇论文中表示：「如果没有 EleutherAI 完全公开发布 The Pile 数据集及其 GPT-Neo 系列模型，我们的研究是不可能实现的。」Pile 数据集是一个 825 GB 的英文文本语料库，用于训练大规模语言模型。
马斯克不只一次发表人工智能比人类强这一观点。他认为人是碳基生物自带上限。而人类进化的速度很明显比不上人工智能，所以人工智能迟早超过人类，这是AI最大的潜在威胁。OpenAI 也是他基于这个考量和其他科技大亨共同创立的。
Leahy 认为 AI 的最大风险不是有人利用它作恶，而是构建一个非常强大的 AI 系统，无人知道如何控制。
他说：「我们必须将人工智能视为不像我们思考的奇怪外星人。」他补充说，「人工智能擅长优化目标，但如果给定一个愚蠢的目标，结果可能是不可预测的。他担心研究人员会在创造越来越强大的人工智能的竞赛中过度自信，在这个过程中偷工减料。」
其实任何志同道合的计算机科学家都可以构建一个大型语言模型，但很难获得合适的硬件来训练大型语言模型，因为这需要非常高的资本投资，而如今只有几百家公司拥有这种硬件。
「我们需要研究这些系统，以了解我们如何控制它们。」EleutherAI的创作初衷正是通过使这种规模的模型易于访问，从而让有兴趣的人们进一步研究人工智能系统的安全使用。
反观 OpenAI，「Open」怕不是只对金钱 Open 吧？
版权文章，未经授权禁止转载。详情见 转载须知 。
数夫移动运用管理平台具有高扩充性、高集成性、高兼容性特点，通过云端对移动设备的各种应用属性进行自主管控。涵盖移动应用开发、管理、安全、整合等。
seo优化建议可以快速定位你页面哪些地方存在不利seo的因素
陌贝网-专业权威的轴承交易平台，专业提供SKF轴承、NSK轴承、FAG轴承、TIMKEN轴承、NTN轴承、INA轴承、ZWZ轴承、HRB轴承、LYC轴承、天马轴承、人本轴承等进口及国产品牌、轴承型号、轴承价格、轴承型号查询功能服务及在线担保交易等服务，为您的轴承贸易保驾护航。
《玩个球》是一款以球形为角色扮演形象，以大鱼吃小鱼为核心游戏玩法的多人在线休闲竞技类型的网络游戏。这里拥有各种好看又有趣的皮肤、光环、口水！快来玩吧~
深圳市阳光博睿教育技术有限公司,是国内领先的移动数据技术提供商深圳市梦网科技发展有限公司的全资子公司
中国绿色建筑行业和建筑通风行业领导者
山西新闻,主流媒体,山西门户。山西新闻网是经国务院新闻办审核批准，由山西日报社主管、主办的山西省重点新闻网站。山西新闻网以“立足山西、传播山西、服务网友”为职责，走全媒体、多终端的发展道路，被中国互联网协会列为“全国百强网站”之一”。
广州宏原汽车配件有限公司
凯华机械多年来一直专注于：无纺布面粉袋封口机,面粉袋超声波封口机,面粉袋封口机、缝边机等设备的生产研发和销售以及完善的售后系统。热线：13655875103
广东英鹏环境设备有限公司自主研发防爆型产品,其中包括防爆空调,防爆冷水机,防爆暖风机,防爆机柜空调,防爆防潮柜,防爆直膨式空调,防爆一体式屋顶空调,防爆除湿机等防爆电器生产,专业定制技术方案,可免费咨询,专业生产厂家-广东英鹏环境设备有限公司
臭氧发生器,空气消毒机是青岛美特斯净化是主营产品,是专业的生产厂家,提供有水处理臭氧发生器,小型臭氧发生器,和空气消毒机广泛应用于食品加工,制药行业,饮料加工,果蔬加工，冷库保鲜,水处理,污水处理,泳池消毒,养殖行业等。
4月12日上午，当贝投影D5XPro新品在官方平台曝光，海报信息显示，该款产品为，激光小钢炮，且，性能全面狂飙，，这表明此次推出的是一款黑马型产品，具备较大的市场潜力，且在综合性能和实力上将会有多方位的提升，海报主体部分可看到新品大致轮廓，和前代产品当贝D5X相比新品配色更深，机身背后布有各项功能亮点，其中最值得关注的是，ALPD激光...。
提到AI的落地你最先会想到什么，有人想到了AI芯片的利用率以及底层硬件的调度；有人想到AI芯片的算力效益；还有人想到算力服务，AI的落地，能够为智慧城市的建设，更精准的天气的预测，构建更安全的网络环境等提供底层支撑，但是，AI的落地依旧面对诸多的挑战，比如，如何才能将AI用起来，如何才能渐进式的实现AI的价值，如何基于AI发展算力经济...。
文字链接认证代码普通联盟标志认证代码企业广告联盟标志认证代码广告联盟评测代码说明，本页面的认证代码为抖金广告联盟专用评测代码，站长需懂简单html知识，直接复制代码粘贴到联盟网站相应页面即可使用，本代码不适用于其他广告联盟网站请勿获取！文字认证，文字链接代码认证适用所有类型的广告联盟，复制代码后放在抖金广告联盟网站首页底部或友情链接位...。
发表在明基投影仪2022，5，2011，29明基CP2611投影仪是一款商务办公高亮度会议投影仪，相信很多小伙伴对这款投影仪都不太了解，商务投影仪一般是高亮度高对比度的款式，方便在有较强光线干扰的情况下去使用，那这款明基CP2611投影仪的配置是如何呢，作为商务办公教学投影仪来说适合吗，又有哪些特点，下面带大家来了解一下，明基CP26...。
随着人们生活水平的提高，水果日渐成为了我什么生活的必须品，水果呈现出了刚性需求的现象，而且从现在的趋势来看，水果已经成日常生活的基本消费，加上水果的发展空间也高，就拿普通的时令水果来说，时令水果的就有百分之六十左右，净发展空间达到百分之35以上，而一些进口的或者是反季节的会更高，所以水果店也日渐成为一个的项目，所以许多的加盟者商就看到...。
太平洋汽车网，长安星卡上市于2019年5月16日，由长安欧尚消费制作，官网指点价为3.29，4.79万元，新豹MINI上市于2016年11月1日，由长安超过消费制作，官网指点价为3.29，4.14万元，长安微货星卡，是基于长安汽车旗下有着十五年历时的长安之星平台上降生的产品，具有皮实、耐用，省油更能载的长处，而在F，35战役机的制作...。
苹果手机收费下载软件的方法如下，拓展常识，iPhone是苹果公司，AppleInc.，于2007年1月9日开局出售的搭载iOS操作系统的系列手机产品，截至2022年9月，苹果公司，AppleInc.，已发布37款手机产品；iPhone系列产品静音键在设施侧面的左侧；iPhone5之前机型经常使用30Pin，即30针，接口，iPhone...。
企业如何走出“轮回”_方寸博客_rc9_新浪博客,方寸博客_rc9,
MySecretFolder是一款简单实用的文件夹加密工具，能够帮助用户轻松高度加密私人文件夹，去方位保护用户的隐私安全。
ASUSSmartGesture是一款专门针对华硕旗下的笔记本电脑产品推出的触摸板智慧驱动程序，这款软件能够满足用户对触摸板的自定义配置需求
ShapeChecker是一款专门用来修复shp文件的工具。Shap文件包括一个主文件、一个索引文件和一个dBASE表，其中主文件的后缀就是.shp。
精美扁平化自适应typecho后台主题Fresh曾用名：PrettyFresh主题采用了目前最流行的Bootstrap前端开发框架与typecho进行深度适配;主题在继承typecho一贯简单高效风格的同时让其更加贴合现代年轻用户的审美。自适应+扁平化的设...
uProxy项目由华盛顿大学和非功利组织BraveNewSoftware研发，由谷歌提供资金资助，该软件的工作原理是，通过将两个用户以加密的形式连接起来，构成一个虚拟网络，最终绕开审查，...。
从快播科技5月15日被吊销增值电信业务经营许可证至今，其官方网站依然无法登录，同样紧闭的，还有快播公司的大门和高管们的口风，但与之形成鲜明对比的是，快播生态链上的众多中小视频网站并不甘于沉寂，虽然少了快播这个昔日的大佬，但中小视频网站的江湖却还在，快播变成了，西瓜，杨云，一个普通得不能再普通的网友，平时喜欢上网追最新美剧，在他浏览器的...。
小吃对市场的发展前景是很广阔的，因为大多数的人都是抵挡不了美食的诱惑的，尤其是像米线这样的小吃，不仅味道鲜美而且还可以作为一顿正餐来食用，在市场上是非常的受到广大的消费者欢迎的，一般米线店的智慧之选成本小，可经营，而且不需要太多的员工，是很适合小本智慧之选的一个项目，云知缘过桥米线在市场是备受喜爱的，那么，开家云知缘过桥米线加盟店需要...。
华为发布鸿蒙系统后，中行、浦发等数十家银行，立刻发声力挺鸿蒙，并接入系统，鸿蒙的面世，也立马引发了金融IT从业者的三个疑问，•哪些金融机构会支持鸿蒙，怎样支持，•金融机构接入鸿蒙，有哪些方式和形式，•接入鸿蒙可能存在哪些隐患和风险，带着疑问，雷锋网，AI金融评论，与业内多位银行IT专家进行探讨，一，哪些金融机构力挺鸿蒙，在鸿蒙发布后...。
汉堡是快餐类美食，受欢迎程度高，大人小孩都喜欢吃，餐饮市场中有很多名气较高的汉堡品牌，比如汤姆之家汉堡就深受消费者认可，开设了众多门店，有着较大的汉堡经营规模，店中除了主打汉堡之外，也推出了很多特色小吃，比如薯条和炸鸡等，基本能够满足现在消费者的饮食需要，对该品牌感兴趣的人群会问，汤姆之家快餐汉堡怎么运营的，是连锁经营吗，汤姆之家快餐...。
