零一万物大模型Yi (零一万物大模型)

文章编号:43645 最新资讯 2024-12-09 零一万勿 大模型 魔搭社区

11 月 6 日,李开复博士带队创办的AI2.0公司零一万物正式开源发布首款预训练大模型 Yi-34B,模型开放商用申请,已在 阿里云魔搭社区modelScope首发。魔搭第一时间推出了模型部署相关教程,供开发者参考并快速上手。

零一万物此次开源的Yi系列模型包含34B和6B两个版本。据 Hugging Face英文开源社区平台和C-Eval中文评测的最新榜单,Yi-34B 预训练模型取得了多项 SOTA 国际最佳性能指标认可,成为全球开源大模型“双料冠军”。

零一万物创始人及 CEO 李开复博士表示:“零一万物坚定进军全球第一梯队目标,从招的第一个人,写的第一行代码,设计的第一个模型开始,就一直抱着成为‘World's No.1’的初衷和决心。”

零一万物大模型Yi-34B夺得全球开源评测“双料冠军”,已在阿里云魔搭开源

魔搭社区开源地址:

魔搭社区最佳实践:

Yi-34B 登顶全球英文及中文权威榜单 No.1

在 Hugging Face英文测试公开榜单Pretrained预训练开源模型排名中,Yi-34B以70.72 分位列全球第一,碾压 LLaMA2-70B 和 Falcon-180B 等众多大尺寸模型。

零一万物大模型Yi-34B夺得全球开源评测“双料冠军”,已在阿里云魔搭开源

Hugging Face Open LLM Leaderboard (pretrained) 大模型排行榜,Yi-34B高居榜首(2023 年 11 月 5 日)

在 C-Eval中文权威榜单排行榜上, Yi-34B超越了全球所有开源模型。对比GPT-4,在 CMMLU、E-Eval、Gaokao 三个主要的中文指标上,Yi-34B 也具有绝对优势。

零一万物大模型Yi-34B夺得全球开源评测“双料冠军”,已在阿里云魔搭开源

C-Eval 排行榜:公开访问的模型,Yi-34B 全球第一(2023 年 11 月 5 日)

在全球大模型各项评测中最关键的 MMLU(Massive Multitask Language Understanding 大规模多任务语言理解)、BBH 等反映模型综合能力的评测集上,Yi-34B 同样表现突出,在通用能力、知识推理、阅读理解等多项指标评比中全部胜出。

零一万物大模型Yi-34B夺得全球开源评测“双料冠军”,已在阿里云魔搭开源

各评测集得分:Yi 模型 v.s. 其他开源模型

和 LLaMA2 一样,Yi 系列模型在 GSM8k、MBPP 的数学和代码评测表现略逊 GPT 模型。未来,零一万物的系列开源计划中将推出代码能力和数学能力专项的继续训练模型。

全球最长200K 上下文窗口

Yi-34B模型将发布全球最长、可支持200K超上下文窗口(context window)版本,可以处理约40万汉字超文本输入。上下文窗口是大模型综合运算能力的金指标之一,对于理解和生成与特定上下文相关的文本至关重要。

受限于计算复杂度、数据完备度等问题,上下文窗口规模扩充从计算、内存和通信的角度存在各种挑战。为此,零一万物技术团队实施了一系列优化,包括计算通信重叠、序列并行、通信压缩等,实现了在大规模模型训练中近100倍的能力提升,也为Yi系列模型上下文规模下一次跃升储备了充足“电力”。

AI Infra实测实现 40%训练成本下降

李开复曾经表示,“做过大模型 Infra 的人比做算法的人才更稀缺”。超强的 Infra 能力是大模型研发的核心护城河之一。

AI Infra(AI Infrastructure 人工智能基础架构技术)涵盖大模型训练和部署提供各种底层技术设施,包括处理器、操作系统、存储系统、网络基础设施、云计算平台等等。

零一万物 Yi系列大模型基于阿里云平台打造,阿里云强大的智能算力基础设施为模型训练提供了稳固的基石。零一万物的Infra 技术通过“高精度”系统、弹性训和接力训等全栈式解决方案,确保训练高效、安全地进行。

凭借强大的 AI Infra,Yi-34B模型训练成本实测下降40%,实际训练完成达标时间与预测的时间误差不到一小时,进一步模拟上到千亿规模训练成本可下降多达 50%。目前,零一万物 Infra 能力实现故障预测准确率超过 90%,故障提前发现率达到 99.9%,不需要人工参与的故障自愈率超95%。

零一万物组建了由前 Google 大数据和知识图谱专家领衔的数据团队,建设了高效、自动、可评价、可扩展的智能数据处理管线;还自研出一套“规模化训练实验平台”,用来指导模型的设计和优化。数据处理管线和加大规模预测的训练能力建设,把以往的大模型训练碰运气的“炼丹”过程变得极度细致和科学化。

李开复宣布,零一万物已启动下一个千亿参数模型的训练。

接下来,零一万物将基于 Yi系列大模型,打造更多To C超级应用。李开复强调,“AI 2.0 是有史以来最大的科技革命,它带来的改变世界的最大机会一定是平台和技术,正如 PC 时代的微软 Office,移动互联网时代的微信、抖音、美团一样,商业化爆发式增长概率最高的一定是 ToC 应用。零一万物邀请开发者社群跟我们一起搭建 Yi 开源模型的应用生态系,协力打造 AI 2.0 时代的超级应用。”

版权文章,未经授权禁止转载。详情见 转载须知 。


本文地址: /article/34b638f65fca17671bc0.html
全局中部横幅
全局中部横幅
中药材信息,中药材价格,中药材指数,中药材交易,中药材交流,尽在中药材药通网!

买中药材、卖中药材、看中药材信息、看中药材行情,了解中药材种植技术、中药材市场行情、中药价格,尽在药通网

CFA-资料包 - 课程中心 - 免费学习体验,零基础课程,配套模拟试题,历年真题、章节练习-高顿教育

高顿教育不仅提供2024年CFA免费备考资料、历年真题、备考经验等相关资源,还提供CFA培训课程与辅导网课等具体服务

编织人生 - 权威手工编织网站,编织爱好者学习毛衣编织的门户网站,织毛衣就上编织人生网-编织人生

编织人生-手工编织网是国内手工编织领域的卓越品牌。内容包括毛衣编织教程,编织视频教学,儿童毛衣编织方法等,拥有编织人生门户,会编织教学平台及编织人生论坛几个部分组成。更多手工编织教程尽在编织人生网。

快牛_快牛智营_quickcep_跨境独立站智能导购_跨境营销自动化_跨境消费者CDP_跨境SaaS营销工具

QuickCEP是一款为跨境独立站卖家和中国DTC品牌卖家提供智能导购机器人、在线客服、EDM营销工具、消费者数据库分析与管理的第三方SaaS工具。具备跨境独立站用户行为分析_用户互动、在线客服、在线导购、智能导购机器人功能、可实现流程化的跨境用户EDM营销活动、实现自动化的SOP、帮助跨境电商卖家_实现用户画像的洞察和分析、形成自己的海外消费者数据库_从而更好的实现_精准海外广告投放_海外获客_帮助跨境电商卖家_和_中国DTC品牌企业_出海成功!

丹阳旭铃|丹阳旭铃精密零部件有限公司官网

丹阳旭铃精密零部件有限公司(由日本株式会社旭工业所投资成立的独资企业)我公司专业打造优质汽车零部件70年,对应所有金属加工都能提供日本的品质和具有市场竞争力的价格。

潍坊净禾环保科技有限公司-

潍坊净禾环保科技有限公司主营销售产品有各种高效复合型、正压型二氧化氯发生器、壁挂式二氧化氯发生器、硫酸法和电解法二氧化氯发生器等,产品型号多,选择性大,受到广大用户认可,产品销往全国各地。

重庆中青公考_重庆人事考试网_重庆公务员考试网_重庆事业单位考试网

重庆人事考试重庆人力资源和社会保障网、重庆公务员考试网,提供重庆公职考试招聘信息,包括2020重庆公务员考试、事业单位考试、国考、教师招聘考试公告、报名入口、职位表下载、准考证打印、成绩查询、面试名单、试题及笔试面试培训。

海星体育tv-海星体育直播-海星体育直播平台官网 - 海星体育

海星体育是一款非常专业的足球篮球体育赛事直播平台,海星体育tv汇聚了全球热门的体育赛事资讯,为用户提供了足球赛事直播、篮球赛事直播、赛事详细数据等服务;海星体育直播国内外近百位懂球权威专家入驻海星体育直播平台官网,多角度全方位解读每日各大联赛热门赛事,带领广大足篮球爱好者轻松玩转足篮各级联赛!

广东华兴银行

华兴银行股份有限公司(简称广东华兴银行)是经国务院有关部委批准,于2011年8月依法创新设立的一家股份制商业银行。注册资本为50亿元,注册地为汕头经济特区,运营总部设在广州市。

任福顺烧鸡 - 任福顺酱香牛腱 - 任福顺虎皮凤爪 - 任福顺香卤猪蹄

任福顺烧鸡,任福顺酱香牛腱,任福顺虎皮凤爪,任福顺香卤猪蹄

佛山市伟翔世昊金属制品厂 - 首页

中国广东佛山不锈钢定制加工,可全国上门勘测,图纸深化设计,来图来样定制生产,装箱物流发货,工厂直营热线:15994200200,黑钛不锈钢金属屏风花格背景墙批发不锈钢金属装饰包边线条踢脚线生产厂家

全局底部横幅