阿里通义Qwen2成斯坦福大模型榜单最强开源模型 (阿里通义千问)

文章编号:36912 最新资讯 2024-11-30 通义千问Qwen2 72B模型 阿里云 MMLU

6月20日消息,斯坦福大学的大模型测评榜单HELM MMLU发布最新结果,斯坦福大学基础模型研究中心主任Percy Liang发文表示,阿里通义千问Qwen2-72B模型成为排名最高的开源大模型,性能超越Llama3-70B模型。

MMLU(Massive Multitask Language Understanding,大规模多任务语言理解)是业界最有影响力的大模型测评基准之一,涵盖了基础数学、计算机科学、法律、历史等57项任务,用以测试大模型的世界知识和问题解决能力。但在现实测评中,不同参评模型的测评结果有时缺乏一致性、可比性,原因包括使用非标准提示词技术、没有统一采用开源评价框架等等。

阿里通义Qwen2成斯坦福大模型榜单最强开源模型

斯坦福大学基础模型研究中心(CRFM,Center for Research on Foundation Models)提出的基础模型评估框架HELM(A holistic framework for evaluating foundation models),旨在创造一种透明、可复现的评估方法。该方法基于HELM框架,对不同模型在MMLU上的评估结果进行标准化和透明化处理,从而克服现有MMLU评估中存在的问题。比如,针对所有参评模型,都采用相同的提示词;针对每项测试主题,都给模型提供同样的5个示例进行情境学习,等等。

日前,斯坦福大学基础模型研究中心主任Percy Liang在社交平台发布了HELM MMLU最新榜单,阿里巴巴的通义千问开源模型Qwen2-72B排名第5,仅次于Claude 3 Opus、GPT-4o、Gemini 1.5 pro、GPT-4,是排名第一的开源大模型,也是排名最高的中国大模型。

据悉,通义千问Qwen2于6月初开源,包含5个尺寸的预训练和指令微调模型,目前Qwen系列模型下载量已经突破1600万。

版权文章,未经授权禁止转载。详情见 转载须知 。


本文地址: /article/0553b0be47b0e5ca4ec8.html
全局中部横幅
全局中部横幅
俄罗斯为什么持续打击乌空军基地?

俄罗斯专家称,近期俄罗斯向乌克兰发射的90%的巡航导弹和弹道导弹都是在打击部署苏-24的乌军机场

教育文化网站 - 教育文化网站排名 - 网站排行榜

教育文化网站排名,根据网站的综合值按照不同的教育文化网站进行筛选排名结果,通过筛选教育文化网站可以看到每个教育文化网站里面的网站排名优质的网站是哪些

耐候钢铁-专业耐候钢批发零售、耐候钢板及锈钢板产品加工制作厂家

电话13920660886主营:耐候钢板、耐候钢、耐候板、锈钢板、耐腐蚀钢板加工制作各种成品件,客户来图定制,耐候钢板折弯、焊接、打孔、镂空雕刻、腐蚀雕刻等;天津精诚钢铁销售有限公司注册资金500万,是一家集钢材销售、加工、仓储、物流为一体的专业化钢铁企业

高平台球阀-气动球阀-电动球阀-不锈钢球阀-气动阀门-温州厚科阀门科技有限公司

厚科阀门是专业高平台球阀Q041F,气动阀门,气动球阀Q641F,不锈钢球阀,气动蝶阀等气动阀门厂家,产品遍布世界各地,公司创立至今以专业的技术支持、产品质量稳定、及完善的售后服务赢得国内外广大用户的认可及信赖。

广州曦信装饰材料有限公司

广州曦信装饰(欧巴克集团隶属子公司),以产品出口为主营业务,凭借集团20多年生产和销售建筑装饰产品的丰富经验,30,000多平方的厂区面积以及年产能1,500,000平方米的生产能力,一直致力于为客户提供优质的金属天花板、造型板以及吸音板等产品,同时为海内外各类工程项目设计和制造创新铝板产品提供系统的解决方案.

电动升降柱_电动推杆_气动升降桌-昆山哲特机电科技有限公司

昆山哲特机电科技有限公司厂家主要生产:电动升降柱,电动推杆,气动升降桌,伺服立柱,移动升降桌等业务,公司位于:昆山玉山镇昆北路2188号

内蒙古定制网站|呼和浩特模板网站|呼市网站开发|包头软件开发|乌兰察布手机网站|内蒙古微官网|内蒙古政采商城制作|呼和浩特软件公司-国风魔力

国风魔力一站式建站服务,助力企业打造0基础建站。主要以定制网站、模板网站、网站开发、软件开发为主,为企业模板建站提供一条龙服务。

企业级云主机、香港服务器、美国虚拟主机、国内外免备案VPS网站服务器空间租用提供商-云务通

云务通-是基于云计算领先的互联网服务提供商,专业提供云服务器、虚拟主机、国内及海外vps主机、域名注册、高防服务器、海外免备案服务器等,高速网络服务实时扩展节约成本。帮助企业及个人轻松上云。

我的系统园地

本页集合了全世界最多的搜索引擎入口,方便您搜寻全球各国家的各种资源!为大家提供安全快速,简洁,方便实用的搜索引擎导航和搜索指南技巧学习.真正实现搜你所想!

全局底部横幅