零一万物大模型首次发布 2.0 李开复说话算数 正在路上 AI (零一万物大模型)
作者 | 王悦
编辑 | 陈彩娴
11月6日，李开复带队创办的 AI 2.0 公司零一万物，开源发布了Yi系列模型，包含 34B 和 6B 两个版本。
令人惊艳的是，从参数量和性能上来看，Yi-34B 相当于只用了不及 LLaMA2-70B一半、Falcon-180B五分之一的参数量，碾压 了LLaMA2-70B 和 Falcon-180B 等众多大尺寸模型。凭借这一表现，跻身目前世界范围内开源最强基础模型之列。
根据 Hugging Face 英文开源社区平台和 C-Eval 中文评测的最新榜单，Yi-34B 预训练模取得了多项 SOTA 国际最佳性能指标认可，成为全球开源大模型「双料冠军」。这也是迄今为止唯一成功登顶 Hugging Face 全球开源模型排行榜的国产模型。
获悉，「Yi 」系列大模型，命名来自「一」的拼音。「Yi 」中的「Y」上下颠倒，巧妙形同汉字的「人」，结合 AI 里的 i ，代表Human + AI ，强调以人为本的精神，为人类创造巨大的价值。
零一万物创始人及CEO李开复博士表示：「零一万物坚定进军全球第一梯队目标，从招的第一个人，写的第一行kl代码，设计的第一个模型开始，就一直抱着成为‘World's No.1’的初衷和决心。」
从「AI 1.0」迈向「AI 2.0」，李开复说话算数，一步步向目前迈进。
一、零一万物大模型 Yi 首次曝光
作为国产大模型， Yi-34B 不得不说的的优势之一就是更「懂」中文。对比大模型标杆GPT-4，在CMMLU、E-Eval、Gaokao 三个主要的中文指标上，Yi-34B 也具有绝对优势，能够更好地适配国内市场需求。
从更为全面的评估看，在全球大模型各项评测中最关键的 「MMLU」（Massive Multitask Language Understanding 大规模多任务语言理解）、BBH等反映模型综合能力的评测集上，Yi-34B 同样表现突出，在通用能力、知识推理、阅读理解等多项指标评比中全部胜出，与 Hugging Face 评测高度一致。
各评测集得分：Yi 模型 v.s. 其他开源模型
在语言模型中，上下文窗口是大模型综合运算能力的关键指标之一，对于理解和生成与特定上下文相关的文本至关重要，拥有更长窗口的语言模型可以处理更丰富的知识库信息，生成更连贯、准确的文本。
据了解，此次开源的 Yi-34B 模型，将发布全球最长、可支持 200K 超长上下文窗口（context window）版本，可以处理约40万汉字超长文本输入。理解超过 1000 页的 PDF 文档，让很多依赖于向量数据库构建外部知识库的场景，都可以用上下文窗口来进行替代。
相比之下，OpenAI 的 GPT-4 上下文窗口只有 32K，文字处理量约 2.5 万字。今年三月，硅谷知名 AI 2.0 创业公司Anthropic 的 Claude2-100K 将上下文窗口扩展到了 100K 规模，零一万物直接加倍，并且是第一家将超长上下文窗口在开源社区开放的大模型公司。
上下文窗口规模扩充从计算、内存和通信的角度存在各种挑战，零一万物能做到这个程度也并非一蹴而就。受限于计算复杂度、数据完备度等问题，大多数发布的大型语言模型仅支持几千 tokens 的上下文长度。
为了解决这个限制，零一万物技术团队实施了一系列优化，包括：计算通信重叠、序列并行、通信压缩等。通过这些能力增强，实现了在大规模模型训练中近 100 倍的能力提升。
其实，Yi 系列模型之所以能取得如此亮眼的成绩，背后的 AI Infra 是功不可没的，其通过「高精度」系统、弹性训和接力训等全栈式解决方案，确保训练高效、安全地进行。
凭借强大的 AI Infra 支撑，零一万物团队能实现超越行业水平的训练效果，Yi-34B 模型训练成本实测下降40%，实际训练完成达标时间与预测的时间误差不到一小时，进一步模拟上到千亿规模训练成本可下降多达 50%。
截至目前，零一万物 Infra 能力实现故障预测准确率超过90%，故障提前发现率达到 99.9%，不需要人工参与的故障自愈率超过 95%，
无论是人前耀眼的成绩还是背后基础能力的攻坚，也都离不开零一万物潜心数月练就的大模型 「科学训模」方法论。
大模型效果依赖于更多、更高质量的数据，零一万物在数据处理管线上可谓「不惜成本」。
数据处理管线和加大规模预测的训练能力建设，把以往的大模型训练碰运气的「炼丹」过程变得极度细致和科学化，不仅保证了目前发布 Yi-34B、Yi-6B 模型的高性能，也为未来更大规模模型的训练压缩了时间和成本，
经过几个月大量的建模和实验，零一万物自研出一套「规模化训练实验平台」，用来指导模型的设计和优化。数据配比、超参搜索、模型结构实验都可以在小规模实验平台上进行，对 34B 模型每个节点的预测误差都可以控制在0.5%以内。
在 Yi 开源模型的全球首发日，零一万物 CEO 李开复也宣布，在完成 Yi-34B 预训练的同时，已经旋即启动下一个千亿参数模型的训练。「零一万物的数据处理管线、算法研究、实验平台、GPU 资源和 AI Infra 都已经准备好，我们的动作会越来越快」。
二、从「AI 1.0」到「AI 2.0」
零一万物的首次成果公布，体现的不仅是技术的进步，还有商业的可能性。
今年 3 月，李开复作了一场关于 AI 从 1.0 时代跨到 2.0 时代的演讲。随后，零一万物在李开复所设想的 AI 2.0 框架下成立，招揽了前百度安全副总裁马杰、前微软副总裁祁瑞峰等等技术大咖，阵容豪华，引起业内的广泛关注。
过去十年，深度学习催生了一批优秀的 AI 公司，随后经过多年的发展，在过去两年曾进入短暂的低谷期，一度传出 AI 泡沫、AI 寒冬的说法。其中的根源就在于：上一代 AI 公司尽管基于崭新的技术立足，但在商业化上的步伐却比预期慢。
而从去年 8 月 Stable Diffusion 掀起 AIGC 热潮以来，加上去年11月底 ChatGPT 发布，全球 AI 突然看到了新的机会。这个新的机遇，被李开复称为「AI 2.0」。
ChatGPT 之后，AI 时代的进步在技术上体现为通用人工智能（AGI）雏形初显，在商业应用上则被李开复形容为平台级的趋势爆发。
所谓「平台」，包含一个大的目标，即要大幅降低开发 AI 应用的成本。如同电与电网的区别，电是一项伟大的发明，但如果没有电网，就不会出现微波炉、电烤箱、电动车等新的发明。换言之，AI 2.0 之于 AI 1.0 的区别，就在于将 AI 技术变成平台，将定制变成通用，将点变成面。
过去十年的商业实践验证了 AI 1.0 时代的瓶颈。在 AI 1.0 时代，数据越多、结果越好，但同时也因为需要大量的标注数据，成本巨大。此外，AI 1.0 时代的应用在各个领域是相互割裂的，诞生了一连串的「孤岛应用」，无法形成有效的平台。
但 AI 2.0 时代的技术基石是自监督，可以让 AI 模型不进行数据标注也能学习。虽然同样需要将大量的、跨领域的数据拿来学习，但学习后形成一个基础模型（即大模型）后再去做知识的迁移，AI 即相当于一个世界模型。经过多年的训练与积累，基础模型更成熟，基于基础模型再做平台应用，即可打破 AI 应用的孤岛现象，边际效益与日俱增。
换言之，AI 2.0 时代有三大优势：一是减少人工标注；二是模型规模大，具备世界知识；三是能够以极低的成本对基础模型进行微调训练，即可适应不同领域的任务。所以，在 AI 2.0 时代，每个领域都有机会将原有的应用重构一遍，用更短的时间生产出更高质量的数字内容，而且千人千面、精准优化信息流，做出更伟大的商业模式。
一方面，降低训练成本是减少 AI 应用开发成本、催生一系列爆款应用的前提；另一方面，长文本处理是商业应用的一道拦路虎。如果长文本处理的技术瓶颈能突破，许多更高难度的应用也会被一一破解，如处理超长篇幅的法务合同、交叉对比多篇学术论文、基于长篇剧本进行角色扮演、通过多篇财报进行市场分析等等。
因此，「长文本处理」在下半年成为大模型赛道的兵家必争之地。从 Anthropic AI 对 OpenAI 发起挑战后，国内多家大模型厂商也陆续推出长文本处理里程碑。如月之暗面的 Kimi Chat 支持 20 万字输入，百川智能的 Baichuan2-192k 支持 35 万字输入，零一万物的 Yi-34B 迅速扩展到 40 万字。
此次零一万物团队开源大模型 Yi-34B 与 Yi-6B，在长文本领域可以做到最长 200k 上下文窗口、40 万字的文本处理，也与李开复此前谈的 AI 2.0 思想相一致。同时，据零一万物介绍，他们还依托基础的计算设施与算法优化等 Infra 能力，将训练成本下降了 40%。
上传到 Hugging Face 不过两天后，Yi-34B 的下载量就超过了 1000 次，获得了接近 150 个点赞。
长文本处理的技术突破，不仅是表面上关于 Token 数的数据变更，更重要的是其体现了人工智能领域整体对 AI 2.0 时代所蕴含的商业潜力的认同与乐观。正是因为对大模型为代表的新一代 AI 技术的信心，才有如此多优秀的技术人才涌入该赛道，在极短的时间内快速突破了长文本等技术问题的局限。
据了解，如今长文本处理已逐渐被热情的 AI 技术人才攻破，目前业内流行的技术方法包括：最简单粗暴的堆显存，或滑动窗口、降采样等，或在 Attention-mask 中做动态内插。这些方法的效果很好，缺点是计算开销大。但在各大云计算厂商的加持下，算力壁垒也被逐渐打了下来。
可以看见，AI 进入一个新的时代毫无疑问已是行业共识。AI 2.0 代表一个新的商业愿景，道阻路长，玩家众多，但后来者零一万物也已成为其中最有潜力的团队之一，期待零一万物接下来的表现。
OpenAI 首届开发者大会召开在即，AI 科技评论持续关注，欢迎同样关注的朋友添加作者微信s1060788086一起交流。
原创文章，未经授权禁止转载。详情见 转载须知 。
本文地址： https://www.gpxz.com/article/3b383ce8f410b5d76f25.html
新闻媒体网站排名,根据网站的综合值按照不同的新闻媒体网站进行筛选排名结果,通过筛选新闻媒体网站可以看到每个新闻媒体网站里面的网站排名优质的网站是哪些
下厨房美食菜谱网倡导在家烹饪、健康的生活方式，提供有版权的实用菜谱做法与饮食知识，提供厨师和美食爱好者一个记录、分享的平台。
上海沈泉泵阀制造有限公司是专业的水泵厂家，专业供应销售隔膜泵、计量泵、螺杆泵、磁力泵、卫生泵、管道离心泵等系列规格产品，产品型号齐全、厂家直销。订购热线：400-6656-887【免费选型报价】
你我网，缘自圈圈说，记载着圈圈的生活过往，只为留住那份曾经的感动；圈圈，自由职业/投机交易/互联网/销售/设计。没有立场，没有信仰，有时候教养也没有。
济南中升机械制造有限公司（咨询：156-2878-1468）主营别墅电梯安装,别墅电梯价格,别墅电梯尺寸,家用电梯尺寸等,服务完善,欢迎咨询.
句子大全，汇聚海量好句与精选段落。无论您是寻找灵感、提升写作，还是丰富日常表达，这里都有适合您的好词好句。我们精心挑选，只为让您找到那句最打动人心的言语。
无锡市恒祥昌瑞隔断科技有限公司是一家集隔间技术生产和销售为一体的生产型企业。公司主营：活动隔断、固定隔断、感应门、生态门等产品。活动隔断也称活动屏风、隔断、活动隔断墙、隔音活动墙、活动墙、活动隔墙等；固定隔断也称玻璃隔断、玻璃隔墙、办公室玻璃隔断、办公室隔断、办公室固定隔断、办公高隔间等。
世纬洛克,专注创意幕墙工程,提供各类创意幕墙工程设计,制造,施工,检查检测,维修维护,升级改造一体化服务.
威海华菱光电股份有限公司生产的高速工业相机,微距工业相机,机器视觉相机等产品在锂电制造,半导体制造,食品安全,生物医药,建材加工等行业得到应用
中福国际是全球知名的Broadcom(博通)代理商，Broadcom(博通)公司是全球领先的有线和无线通信半导体公司。如果你要找Broadcom产品型号，都可以找中福国际，大量现货等你来！
汇率网为您提供最新、最准确的货币汇率查询服务。我们24小时不间断更新,让您随时掌握市场脉搏,轻松进行汇率换算和追踪。无论是个人旅行还是企业金融决策,全球实时汇率网都是...
达标仪器坚持以高品质、高性能为基础，打造外形独特美观、功能完善、性能稳定的试验设备，秉承以科技求发展，以质量求生存，以客户求效益服务于中国制造业，为产品品质的检测和提升，提供精益求精的测试设备，直接有效的解决方案、周到高效的技术服务。
互联网行业，真的要变天了吗?中国整整20年的互联网时代真的要过去了吗?这篇文章看完，我相信大多数人会细思极恐，7月26号，香港恒生科技指数30支成份股，总市值一天蒸发了超过13000亿港元，国内的互联网巨头们几乎是无一幸免，快手、哔哩哔哩，跌幅达到12%，腾讯、京东跌幅超过7%，阿里巴巴、百度大跌超过6%，巨头们的眼泪还没擦干呢，第二...。
爱美之心人皆有之，现代社会，除了女性朋友爱美，爱漂亮外，也有不少的男性朋友对自己的外在非常看重，去美容院消费的人群也越来越多，于是开美容院的人也逐年的增加，同时也有一部分想智慧之选开美容院的人不知道美容院的收银点在哪里，一直犹豫不决，今天作为相悦四季小编就详细的和大家分享一下关于开美容院的收银点在哪里作一下总结，目前国内的美容行业基本...。
发表在专业问答2021，1，2513，00展示机型信息，品牌型号，坚果激光电视U2Pro系统版本，JMGO4.0坚果激光电视由于不支持梯形校正功能，因此想要正对屏幕的话，只能通过调整坚果激光电视的镜头朝向来调整画面，因为激光电视需要配对抗光幕，所以可以拿抗光幕作为参考标准，等到坚果激光电视投射的画面铺满幕布即可，坚果激光电视怎么调正对...。
市场繁荣为品牌发展奠定了好的基础，各大品牌都有奋勇向上发展，比如南昌金筷子，选择特色经营，一系列产品和得体的服务也让顾客们对其满意不已，南昌金筷子主打的是小吃系列，对创业者来说，这样的定位很有利于商业活动的展开，下面我们来就南昌金筷子加盟费多少的话题了解一下吧，南昌金筷子加盟费多少，南昌金筷子品牌隶属于金筷子企业管理有限公司，专注于休...。
全爆仓了，一家三口欠债19.6亿，公司全卖了也不够还,股权,持股,股票,欠债,平仓线,加加食品,上市公司
新历1992年4月16日旧历是三月十四，壬申年，猴年，甲辰月壬戌日，请参考，图示1992年全年日历表1992年，366天，平年1月星期一星期二星期三星期四星期五星期六星期天月星期一星期二星期三星期四星期五星期六星期天3月星期一星期二星期三星期四星期五星期六星期天4月星期一星期二星期三星期四星期五星期六星期天5月星期一星期二星期三星...。
日产皮卡作为日产汽车的一个系列，曾经遭到了泛滥生产者的青眼，日产皮卡的粗劣外观、温馨内饰以及安保性能都让生产者收获颇丰，那么，日产的皮卡怎样样呢，一、外观设计日产皮卡外观设计粗劣，具有日系车的大气优雅，充溢生机，驳回全新的设计理念，异乎寻常的车身线条，有力的腰线和充溢动感的车尾设计，让日产皮卡在汽车市场中锋芒毕露，二、内饰设计日产皮卡...。
应该有安卓版的chrome阅读器下载的物品保留在哪儿，找不到啊，1.第一种方法，点击工具扳手，点击，下载内容，，会看到右上角，关高低载文件夹，点击就可以了，2.第二种方法，或许关上扳手后点击，设置，，下拉，显示初级设置，，初级设置外面有，下载内容，，，下载内容保留位置，3.GoogleChrome，又称Google阅读器，是一个由G...。
元旦期间市场信息_潘益兵_新浪博客,潘益兵,
GTA5内置修改器(EnhancedNativeTrainer)是一款功能强大的GTA修改器工具，能够帮助用户轻松修改游戏中的各种数值，降低游戏难度，轻松通关游戏。
Balabolka是一个文本转语音（TTS）的程序，可以使用计算机系统上安装的所有语音。屏幕上的文字可以被保存为一个WAV，MP3，OGG或者wma文件。
腾讯课堂iPad版是腾讯专门开发的一款iPad线上教育学习软件，腾讯课堂iPad版收录了大量的精品课程，可以了名师面对面请教交流，海量教学课程资源和名师，腾讯课堂iPad版让你坐在家里就能体验高质量的学习教育，不用再去外面花钱补课了;您可以免费下载。
七夕将至，，浪漫经济，颇显活力，抖音生活服务特别上线了，七夕甜蜜季，主题会场，推出特惠团购、代金券、好礼转赠等活动，在满足约会送礼需求的同时，提供实实在在的价格优惠，平台数据显示，8月2日至8月8日，珠宝首饰代金券、酒店住宿相关抖音团购订单量同比去年节前增幅分别达到了238%和206%，情侣偏爱的暑期游玩酒景套餐、摄影写真相关团购订单...。
2020年8月7日，第五届全球人工智能与机器人峰会，CCF，GAIR2020，在深圳正式开幕，CCF，GAIR2020峰会由中国计算机学会，CCF，主办，雷锋网、香港中文大学，深圳，联合承办，鹏城实验室、深圳市人工智能与机器人研究院协办，作为中国最具影响力和前瞻性的前沿科技活动之一，CCF，GAIR大会已经度过了四次精彩而又辉煌的历程...。
有心的小伙伴便会发现，不管是步行街，还是小区附近，都会有便利超市的存在，可以说在这个经济发展迅速，生活节奏加快的时代，便利超市是不能缺少的存在，许多人对于加盟开超市早就有了想法，想要加盟开超市，从超市这个行业分得一杯羹，那么如何加盟开超市，下面就为大家分析分析，如何加盟开超市，想要加盟超市的加盟商可以先电话咨询总部，先大概的了解想要加...。
ASKC1200镜头拆机清灰方法教程，图文版，！拆机镜头清灰方法教程！ASK可能很多人都没有听过这个投影仪品牌，目前京东上已经没有的卖了，为了让大家了解一下，首先来给大家介绍一下ASK这个品牌的历史，先给大家上一课！ASK品牌来自挪威，自1986年推出全球第一款OHP屏以来，始终以独创的技术，不断拓宽投影应用的疆界，在欧洲，ASK的当...。
发表在行业动态2021，1，514，26导读，国内首条全自动超短焦镜头组装线进入产业化阶段，据了解，福光股份通过对多镜片的胶合加工工艺流程研究和完善，从而使多镜片胶合透镜的品质和良率提升，具备成熟加工的条件，据了解，由国内光学仪器研发制造商福光股份，首创的国内首条全自动组装线进入产业化阶段，福光股份通过对多镜片的胶合加工工艺流程研究和...。
