国产大模型全阵容 中文大模型竞技场推出! (国产模型牌子)

文章编号:40171 最新资讯 2024-12-03 Chatbot 国产大模型 魔搭社区 Arena

LMSYS Org推出的大模型竞技场Chatbot Arena,已成为海外最具公信力的大模型榜单之一,但该榜单中文化程度相对不足。近日,上海人工智能实验室联合魔搭社区推出中国大语言模型评测竞技场Compass Arena,首度集齐国内主流大模型全阵容,阿里通义千问、百度文心一言、腾讯混元、讯飞星火、字节跳动豆包、智谱AI、百川智能、零一万物、月之暗面、MiniMax、深度求索、书生·浦语等20款国产大模型出战,角逐中国大模型“最强王者”。

相比考题固定的传统测评,大模型竞技场采用盲测、开放的测评模式,可以更全面地检验模型实力。Compass Arena设置了随机、匿名对战,大模型选手们成为“蒙面唱将”,模型信息隐去后,由系统随机匹配进行PK,用户可以天马行空自由出题,并作为评委主观评判和投票。如果大模型不小心“自报家门”,则对话被过滤,不计入成绩。通过成千上万轮PK挑战和用户投票,系统将对大模型进行自动排名。

国产大模型全阵容,中文大模型竞技场推出!

魔搭社区直播时,网友脑洞大开在线出题

Compass Arena由上海人工智能实验室OpenCompass司南评测体系与魔搭社区联合建设,前者负责组织评测,后者负责开源模型引入及社区打造。据上海人工智能实验室OpenCompass团队介绍,Compass Arena力求体现社区用户的真实反馈,评测机制借鉴Chatbot Arena,采用Elo评分系统,即国际象棋等对弈活动评估的权威标准。在这种模式下,大模型竞技类似“在游戏中打排位”,胜率成为评估模型水平的关键指标,同时随着排位变高,系统也会自动匹配高段位选手进行对战。

与Chatbot Arena相比,Compass Arena更聚焦中文大模型,主流国产大模型全覆盖,同时评测用户大多使用中文,可以充分评估国产大模型的性能。

目前,Compass Arena已汇聚超20款商业及社区模型,包括Qwen-Max、ERNIE-4.0-8K、Spark3.5 Max、Abab6.5、GLM4等国内头部厂商的旗舰款大模型,并引入了Llama3、Mixtral等海外标杆模型进行参照。更多模型及厂商还在不断加入中。

上线不到一周,已有上万人访问魔搭Compass Arena页面。魔搭社区表示,欢迎广大开发者和网友参与大模型排位赛的投票,共同促进国产大模型的进步和赶超。后续,Compass Arena首期排行榜将揭晓,并将定期公布更新。

魔搭社区Compass Arena链接:

Compass Arena首批大模型名单:

Abab6.5-Chat (MiniMax)

Baichuan 4 (百川智能)

C4AI Command R+ (Cohere)

DBRX-Instruct (DataBricks)

Deepseek-LLM-67B-Chat(深度求索)

Deepseek-MoE-16B-Chat(深度求索)

Doubao-Pro-4K (字节豆包)

ERNIE-4.0-8K (百度文心一言)

GLM4 (智谱AI)

Hunyuan-Pro (腾讯混元)

InternLM2系列(上海AILab书生·浦语)

Llama3系列(Meta)

Mixtral 8x22B Instruct (Mistral)

moonshot-V1-32K (月之暗面)

Qwen1.5系列 (阿里通义千问)

Qwen-Max (阿里通义千问)

Spark3.5-Max (讯飞星火)

Yi-34B-Chat (零一万物)

Yi-Large (零一万物)

版权文章,未经授权禁止转载。详情见 转载须知 。


本文地址: /article/1bf1fc340897e018992e.html
全局中部横幅
全局中部横幅
漫谷瓷砖_佛山漫谷瓷砖_漫谷瓷砖定制家-高端漫谷瓷砖

漫谷瓷砖十大品牌,佛山漫谷瓷砖品牌,高端漫谷瓷砖为您提供多样化的瓷砖贴图装修设计案例,海量瓷砖装修效果图.免费家装设计,免费预约上门量房,体验一站式的家装设计服务!

气流分级机_超细气流粉碎机-青岛德瑞科粉体技术设备有限公司

青岛德瑞科粉体技术设备有限公司主营气流分级机、气流粉碎机、超细粉碎机等粉碎机设备,是一家致力于粉体加工设备的高新技术型企业。

徐涂艺术网

“徐涂艺术”品牌由“诗书画”三绝禅修艺术家徐涂老师首创,包括:徐体书法、写意国画、诗词楹联等落地原创常年展览定制、一对一精准人才教学、企事业文化艺术、古玩收藏鉴赏顾问等。

长春理疗馆_中医理疗加盟_吉林省理疗馆加盟-蜂鹿堂理疗馆

蜂鹿堂理疗馆,蜂鹿堂理疗馆是一家以理疗,贴敷(自主研发产品)绿色疗法。好适用颈肩腰腿疼等如风湿骨痛,儿科贴敷,妇科外用产品,皮肤病外用产品,保健食品等产品的长春理疗馆,现为进行品牌升级,特进行中医理疗加盟,吉林省理疗馆加盟,以期共创事业。

贝赛思|国风社|俱乐部|国际学校

贝赛思国风社俱乐部,传播古风遗韵,弘扬国学文化,在学校掀起国学学习热潮。贝赛思国风社俱乐部立志成为热爱中国传统文化的贝赛思学子汇聚之所。从大漠孤烟塞北,到杏花春雨江南,从琵琶铁骨铮铮的十面埋伏,到古筝荡气回肠的渔舟唱晚,我们醉心于民族传统经典,也在细细体味百态人间。

『TB58卖家网』电商卖家开网店运营经验交流分享社区论坛

『TB58卖家网』专注交流的电商卖家社区,每天有众多卖家参与交流和分享,分享淘宝、京东、抖音、拼多多等网店运营经验及相关干货知识(TB58―只属于网店卖家的圈子)

浙江之声

浙江广播电视集团成立于2001年11月8日,是一家以广播电视为主业,兼营相关产业的综合媒体集团,是国内最具影响力的省级媒体之一。2016年,连续第六年荣获“中国500最具价值品牌”,位居全国媒体第五、浙江媒体第一。

佛山柏意门窗专注高品质系统门窗极简系统窗系列 | 品柏林之美 享意式生活

广东佛山柏意门窗是一家集研发、设计、生产、销售、服务为一体的新兴品牌,拥有完善的铝材产业链、经验丰富的制作团队、健全的服务网络及销售体系;十多年来公司一直秉持客户至上、服务第一、以诚会友、以质保源的宗旨。并严抓产品质量,从源头抓起,不断更新产品优势,夯实企业产品质检,真诚的为客户服务。公司先后于荆门、武汉、贵阳、安徽、河南等地陆续建...

佳梆激光:激光切割机-激光焊接机-激光清洗机

山东佳梆数控科技集团有限公司专业制造激光切割机,光纤激光切割机,金属激光切割机,激光管材切管机,激光焊接机,激光清洗机,手持激光焊接机,手持激光清洗机,具备强大而研发和生产能力,厂房占地面积30000平方米,咨询多少钱一台或价格电话:4006396218。

张工智控——全球领先的能控方案提供商

张工智控集团秉承“绿色能源匠心独运量身定制合作共赢”的理念,以早日实现“碳达峰”、“碳中和”为发展目标,专注能耗数据管理,专攻绿色解决方案,AI能耗智控系统综合节电率达到30%-80%。

全局底部横幅