阿里通义Qwen2成斯坦福大模型榜单最强开源模型 (阿里通义千问)

文章编号:36912 资讯动态 2024-11-30 通义千问Qwen2 72B模型 阿里云 MMLU

6月20日消息,斯坦福大学的大模型测评榜单HELM MMLU发布最新结果,斯坦福大学基础模型研究中心主任Percy Liang发文表示,阿里通义千问Qwen2-72B模型成为排名最高的开源大模型,性能超越Llama3-70B模型。

MMLU(Massive Multitask Language Understanding,大规模多任务语言理解)是业界最有影响力的大模型测评基准之一,涵盖了基础数学、计算机科学、法律、历史等57项任务,用以测试大模型的世界知识和问题解决能力。但在现实测评中,不同参评模型的测评结果有时缺乏一致性、可比性,原因包括使用非标准提示词技术、没有统一采用开源评价框架等等。

阿里通义Qwen2成斯坦福大模型榜单最强开源模型

斯坦福大学基础模型研究中心(CRFM,Center for ReSearch on Foundation Models)提出的基础模型评估框架HELM(A holistic framework for evaluating foundation models),旨在创造一种透明、可复现的评估方法。该方法基于HELM框架,对不同模型在MMLU上的评估结果进行标准化和透明化处理,从而克服现有MMLU评估中存在的问题。比如,针对所有参评模型,都采用相同的提示词;针对每项测试主题,都给模型提供同样的5个示例进行情境学习,等等。

日前,斯坦福大学基础模型研究中心主任Percy Liang在社交平台发布了HELM MMLU最新榜单,阿里巴巴的通义千问开源模型Qwen2-72B排名第5,仅次于Claude 3 Opus、GPT-4o、Gemini 1.5 pro、GPT-4,是排名第一的开源大模型,也是排名最高的中国大模型。

据悉,通义千问Qwen2于6月初开源,包含5个尺寸的预训练和指令微调模型,目前Qwen系列模型下载量已经突破1600万。

版权文章,未经授权禁止转载。详情见 转载须知 。


本文地址: http://www.gpxz.com/article/0553b0be47b0e5ca4ec8.html
全局中部横幅
平台激光焊接机

浙江骏镭智能装备有限公司是一家主要经营平台激光焊接机、QCW、连续、手持、机器人、机械精密激光焊接机、便携式激光清洗机、大功率激光清洗机的厂家及供应商,工厂批发价格实惠,广受客户好评,业务覆盖全国,主要覆盖宁波、杭州、湖州、台州、上海、绍兴、佛山、中山等地。

悬旌万里

《赤壁》端游新服【天下归心】4月12日12:00正式开启,诚邀各路英雄豪杰入驻,体验战斗的热血与激情!新服预约持续进行中,丰厚的礼包,精彩的活动接连登场,千万不要错过噢!4月3日至5月1日玩家可在官网新服专题页进行新服预约,预约成功即可在4月12日开服后在同一页面领取预约礼包。 符合超级老友身份的玩家入驻新服,还可以领取超级老友预约礼包(超级老友认定条件前往专题页查看),内含超级老友专属道具:坐骑玉兰白龙,此坐骑可以使用“风行草”升级为真·玉兰白龙。

苏州绿缔制冷工程设备有限公司

绿缔制冷专业建造各类冷库,可设计安装各类冷藏库、保鲜冷库、物流冷库、冷冻库、速冻冷库、速冻隧道、防爆冷库、实验冷库、医药冷库及超低温冷库,并可提供各类成套制冷设备及“绿缔牌”商用冷柜产品。

关于我们

瑞年科技-深圳市瑞年科技有限公司成立于2008年专注于测力传感器测量和设计,为客户提供精密测力传感器产品.我们有自己的生产基地,从CNC加工到应变片生产,我们都有完整的传感器生产流程.金属表面处理、传感器封装、传感器测试、工程测试、传感器校准等.

手机游戏下载

56游戏网致力为网友收集当下热门的游戏、软件下载,为网友们提供最新手游攻略、软件教程、游戏排行榜,每天分享最新的游戏、软件资源免费提供参考下载。欢迎关注56游戏网!

山东誉欣优品纺织科技有限公司

山东誉欣优品纺织科技有限公司从事30年服饰定制,专业开发和生产各种行业西装、衬衫、公务装、职业装、工作服、工程服、保安服、职业装、T恤衫、文化衫、POLO衫、绒衣帽衫、棒球帽、围裙等

宁波轴承厂,微型轴承,轴承生产厂家,易兴轴承

宁波轴承厂,微型轴承,轴承生产厂家,易兴轴承-宁波易兴轴承有限公司

考研个人分享网

考研个人分享网http://www.363322014.com/是个人分享的博客考研类网站,考研人的笔记,分享,是一种享受,做好自己,传递知识。创作不易,多多点赞,转发支持一下。研究生们可以通过搜索、筛选和整理,选择适合自己的资料。我爱学习。

石墨铜套厂家

嘉善县广优轴承有限公司长期致力于无油自润滑轴承和实体浇铸铜套的开发与设计,主营无油轴承,滑动轴承,自润滑轴承,固体润滑轴承,模具导套,自润滑铜套,轴套,铜套等几大系列的产品.

金蝶ERP

上海紫宏信息科技有限公司电话:400-880-3658!主营产品有金蝶财务软件、云星空,苍穹精斗云,金蝶kis云、k3云,金蝶cloud专为中小企业提供财务管理解决方案和管理软件的开发服务,是一家致力于中小企业软件信息化建设的高科技公司.


全局底部横幅