通义千问继续开源多模态模型 Qwen2

文章编号:40673 最新资讯 2024-12-03 Qwen2 大语言模型 通义千问 Audio

8月13日消息,阿里通义大模型继续开源,Qwen2系列开源家族新增音频语言模型Qwen2-Audio。Qwen2-Audio可以不需文本输入,直接进行语音问答,理解并分析用户输入的音频信号,包括人声、自然音、音乐等。该模型在多个权威测评中都显著超越先前的最佳模型。通义团队还同步推出了一套全新的音频理解模型测评基准,相关论文已入选本周正在举办的国际顶会ACL 2024。

声音是人类以及许多生命体用以进行交互和沟通的重要媒介,声音中蕴含丰富的信息,让大模型学会理解各种音频信号,对于通用人工智能的探索至为重要。Qwen2-Audio是通义团队在音频理解模型上的新一步探索,相比前一代模型Qwen-Audio,新版模型有了更强的声音理解能力和更好的指令跟随能力。

通义千问继续开源多模态模型,Qwen2-Audio音频理解能力刷新行业最佳水平

Qwen2-Audio是一款大型音频语言模型(Large Audio-Language Model ,LALM),具备语音聊天和音频分析两种使用模式,前者是指用户可以用语音向模型发出指令,模型无需自动语音识别(ASR)模块就可理解用户输入;后者是指模型能够根据用户指令分析音频信息,包括人类声音、自然声音、音乐或者多种信号混杂的音频。Qwen2-Audio能够自动实现两种模式的切换。Qwen2-Audio支持超过8种语言和方言,如中文、英语、法语、意大利语、西班牙语、德语、日语,粤语。

通义团队同步开源了基础模型 Qwen2-Audio-7B 及其指令跟随版本Qwen2-Audio-7B-Instruct,用户可以通过Hugging Face、魔搭社区ModelScope等下载模型,也可以在魔搭社区“创空间”直接体验模型能力。

通义千问继续开源多模态模型,Qwen2-Audio音频理解能力刷新行业最佳水平

Qwen2-Audio的模型结构与训练方法

根据Qwen2-Audio技术报告,Qwen2-Audio的模型结构包含一个Qwen大语言模型和一个音频编码器。在预训练阶段,依次进行ASR、AAC等多任务预训练以实现音频与语言的对齐,接着通过SFT(监督微调) 强化模型处理下游任务的能力,再通过 DPO(直接偏好优化)方法加强模型与人类偏好的对齐。

研发团队在一系列基准测试集上对模型效果作了评估,包括 LibriSpeech、Common Voice 15、Fleurs、Aishell2、CoVoST2、Meld、Vocalsound 以及通义团队新开发的 AIR-Benchmark基准。在所有任务中,Qwen2-Audio 都显著超越了先前的最佳模型和它的前代 Qwen-Audio,成为新的SOTA模型。

通义千问继续开源多模态模型,Qwen2-Audio音频理解能力刷新行业最佳水平

Qwen2-Audio 在多个测评中都显著超越了先前的最佳模型

附:Qwen2-Audio下载或体验地址

魔搭模型页面:

魔搭体验页面:

Github:

Hugging Face:

Qwen2-Audio技术报告:

AIR-Benchmark论文地址:

版权文章,未经授权禁止转载。详情见 转载须知 。


本文地址: /article/0c8838df0e86a9939d52.html
全局中部横幅
全局中部横幅
电视剧,剧情介绍,演员表,节目预告_电视猫

电视猫为您提供电视剧原创分集剧情介绍、演员表、人物大结局等信息,最新一期综艺节目预告、热门电影、明星资料以及每周电视节目单,电视猫是您看电视看剧情的必备网站。

中国国家博物馆官方网站

中国国家博物馆网站全面及时介绍中国国家博物馆概况,藏品,展览,活动,学术研究,国际交流等各项内容,提供参观导览,门票预约,留言问答等多类服务,努力为公众了解国家博物馆,参观国家博物馆和享受国家博物馆提供的各类文化休闲服务提供支持

联测仪表-联测自动化-杭州联测自动化技术有限公司

联测仪表是一家集研发设计、生产和销售于一体的综合型企业。联测仪表专业研发生产销售电磁流量计、污水流量计、自来水流量计等流量计产品,联测仪表咨询热线:18767163200。

百度热搜

百度热搜以数亿用户海量的真实数据为基础,通过专业的数据挖掘方法,计算关键词的热搜指数,旨在建立权威、全面、热门、时效的各类关键词排行榜,引领热词阅读时代。

舒思缘家具

两周年活动进行中,全屋只要家具12888,赶紧行动起来!

拼多多商家后台,一站式店铺管理工作台,0元开店坐享流量红利,高效店铺工具轻松上手,与百万卖家交流经营心得

拼多多-社交电商引领者,官方入驻平台,0元开店1分钟入驻。开网店就选拼多多,新电商新机遇。社交电商流量红利期,获客成本超低,抢占巨额流量入口极速打造爆款。拼多多商家后台,全流程开店教程,从新手入门到进阶玩法,手把手教你开网店,已经有上千万卖家在拼多多入驻赚钱了。入驻、上新、货源、客服、物流、售后,一切问题在拼多多都迎刃而解。海量资源位,超多无门槛活动,新店老店都能上。超多店铺营销推广工具,新手开店不怕没客源。专属对接小二,帮你解决店铺运营困惑。

桌面插座-液晶屏翻转器-HDMI延长器-超薄液晶摄像头升降器-珠海唯立玛科技有限公

珠海唯立玛科技有限公司是致力于建筑智能化系统多媒体音视频产品及工程项目配套设备产品供应服务商,主要有投影机电动吊架,桌面插座,摄像头升降器,液晶屏翻转器,超薄屏翻转器,HDMI信号延长器,阵切换系统,超薄液晶升降一体机,中控矩阵系统,HDMI信号延长器,HDMI网线延长器,HDBase-T矩阵,等产品,经过多年的不懈努力,赢得了广大用户的好评,本着优质的产品,为项目系统保驾护航。

酷乐文具网

酷乐文具网中国领先的文具资讯平台,汇集文具行业所有知名文具品牌,提供办公文具,学生文具,文具批发。

意趣网:让生活更多意趣

意趣网致力于让生活更多意趣。景点、地标、建筑、文化、诗词、音乐、以及美术、人文、历史的介绍、好吃的、好玩的……意趣网与您分享。

致高无尚精神财富继续传承,家的延续,民族文化 - i家谱网

家之有谱如国之有史追溯百家姓氏之根源,i家谱网寻求国内外流传之古谱还是百家姓氏有谱可循有史可查,是每一个人都能谱写家族的史,也是经历者,给您子子孙孙留下致高无尚精神财富。

全局底部横幅