阿里通义Qwen2成斯坦福大模型榜单最强开源模型 (阿里通义千问)

文章编号:36912 资讯动态 2024-11-30 通义千问Qwen2 72B模型 阿里云 MMLU

6月20日消息,斯坦福大学的大模型测评榜单HELM MMLU发布最新结果,斯坦福大学基础模型研究中心主任Percy Liang发文表示,阿里通义千问Qwen2-72B模型成为排名最高的开源大模型,性能超越Llama3-70B模型。

MMLU(Massive Multitask Language Understanding,大规模多任务语言理解)是业界最有影响力的大模型测评基准之一,涵盖了基础数学、计算机科学、法律、历史等57项任务,用以测试大模型的世界知识和问题解决能力。但在现实测评中,不同参评模型的测评结果有时缺乏一致性、可比性,原因包括使用非标准提示词技术、没有统一采用开源评价框架等等。

阿里通义Qwen2成斯坦福大模型榜单最强开源模型

斯坦福大学基础模型研究中心(CRFM,Center for Research on Foundation models)提出的基础模型评估框架HELM(A holistic framework for evaluating foundation models),旨在创造一种透明、可复现的评估方法。该方法基于HELM框架,对不同模型在MMLU上的评估结果进行标准化和透明化处理,从而克服现有MMLU评估中存在的问题。比如,针对所有参评模型,都采用相同的提示词;针对每项测试主题,都给模型提供同样的5个示例进行情境学习,等等。

日前,斯坦福大学基础模型研究中心主任Percy Liang在社交平台发布了HELM MMLU最新榜单,阿里巴巴的通义千问开源模型Qwen2-72B排名第5,仅次于Claude 3 Opus、GPT-4o、Gemini 1.5 pro、GPT-4,是排名第一的开源大模型,也是排名最高的中国大模型。

据悉,通义千问Qwen2于6月初开源,包含5个尺寸的预训练和指令微调模型,目前Qwen系列模型下载量已经突破1600万。

版权文章,未经授权禁止转载。详情见 转载须知 。


本文地址: https://www.gpxz.com/article/0553b0be47b0e5ca4ec8.html
全局中部横幅
全局中部横幅
传图识色

只需上传图片就能识别图片上的色板,简单易用。

去旅行大概要花多少钱,张家界旅游报价费用

旅游三天要花多少钱,出去旅游的花费一般多少,张家界旅游报价价格,去张家界旅行大约得花多少钱,去一次湖南张家界费用约为1000元。

寄快递

快递查询单号【www.guomeikuaidi.com】介绍快递单号查询服务,可查询包括圆通快递查询单号、顺丰快递查询、EMS快递、申通、天天快递、京东快递单号查询、韵达快递查询单号查询等国内知名快递公司快递单号跟踪查询.

企业展厅设计

安徽励展文化科技有限公司专业从事展陈创意设计与布展施工一体化,主要业务包含企业展厅设计、党史馆设计、合肥展厅设计、合肥展馆设计、展馆设计、展馆展览设计、展览设计、展厅设计、博物馆设计、科技馆设计等,是一家专注文化科技领域,集策划、设计、布展、陈列、装饰装修为一体的全产业链文化公司。

【上海写字楼出租

上海写字楼网,提供上海写字楼租赁,上海办公楼出租,上海商务楼招租,上海写字楼出租,免费发布求租求购信息,提供上海房产信息、家居装修资讯上海房产楼盘详情、上海租房二手房商业地产信息.

方管,方管价格,Q235B方管,Q345B方管

天津方管厂欢迎咨询:138-2188-4447主营方管,方管价格,Q235B方管,Q345B方管等,优良的品质,价格合理,品质保障,厂家直销,欢迎您的选择.

风电安装平台

精铟海工位于粤港澳大湾区核心区域--广东佛山,是一家集海洋工程装备制造、设计、研发与海上施工于一体的国家高新技术企业。公司建有省企业技术中心

趣推荐软件园

趣推荐软件专业为大家提供各种免费、好玩的安卓游戏下载及安卓软件下载,绿色无毒安卓软件应有尽有,致力于打造专业安卓软件免费下载中心。

鲸禧工业设计公司

深圳鲸禧工业设计公司是深圳知名的产品设计与制造企业,专业提供产品外观设计,产品结构设计,医疗产品设计,医疗器械设计,医疗设备设计,三防产品设计,消费电子设计,机械设备设计,家电设计,储能电源设计等产品设计及生产供应链管理的综合服务供应商;荣获国家级高新技术企业,深圳市十大工业设计服务机构。

河南荣N安全工程师事务所有限公司

河南荣N安全工程师事务所有限公司成立于2014年11月26日,注册资本300万,位于郑州高新区。主要经营范围:安全管理、安全咨询、安全事务代理、安全顾问、安全生产技术服务;警示标志、消防器材、应急物资、劳动防护用品的销售。

全局底部横幅