多模态能力再升级 阿里国际发布最新开源多模态模型Ovis (多模态理解)
看一眼菜品图就知道怎么做、能给植物看病、能把手写英文准确翻译成中文、还能精准分析财报数据……多模态能力再次升级！今天，阿里国际AI团队发布了一款多模态大模型Ovis，在图像理解任务上不断突破极限，多种具体的子类任务中均达到了SOTA（最新技术）水平。
多模态大模型能够处理和理解多种不同类型的数据输入，例如文本、图像。与大型语言模型（LLMs）相比，大语言模型在处理和生成文本数据方面有专长，而多模态大模型能够处理非文本数据，如图像等等。
根据多模态权威综合评测平台OpenCompass的数据，Ovis1.6-Gemma2-9B在30B参数以下的模型中取得了综合排名第一，赶超MiniCPM-V-2.6等行业优秀大模型。
图：Ovis在OpenCompass上的测评数据情况
据介绍，Ovis能够在数学推理问答、物体识别、文本提取和复杂任务决策等方面展现出色表现。例如，Ovis可以准确回答数学问题，识别花的品种，支持多种语言的文本提取，甚至可以识别手写字体和复杂的数学公式。
案例1:Ovis对手写文案的识别及翻译能力
案例2：Ovis对复杂数学公式的处理能力
案例3:Ovis通过对图片的识别处理能够给出菜谱
具体来说，Ovis模型有五大优点：
1、创新架构设计：可学习的视觉嵌入词表：首次引入，将连续的视觉特征转换为概率化的视觉token，再经由视觉嵌入词表加权生成结构化的视觉嵌入，克服了大部分MLLM中MLP连接器架构的局限性，大幅提升多模态任务表现。
2、高分图像处理：动态子图方案：支持处理极端长宽比的图像，兼容高分辨率图像，展现出色的图像理解能力。
3、全面数据优化：多方向数据集覆盖：全面覆盖Caption、VQA、OCR、Table、Chart等各个多模态数据方向，显著提升多模态问答、指令跟随等任务表现。
4、卓越模型性能：Ovis展现出了优异的榜单表现。在多模态权威综合评测Opencompass上，Ovis1.6-Gemma2-9B在30B参数以下的模型中取得了综合排名第一，超过了Qwen2-VL-7B、MiniCPM-V-2.6等模型。尤其在数学问答等方向表现媲美70B参数模型；在幻觉等任务中，Ovis-1.6的幻觉现象和错误率显著低于同级别的模型，展现了更高的生成文本质量和准确性。
5、全部开源可商用：Ovis系列模型License采用 Apache 2.0。Ovis 1.0、1.5的数据、模型、训练和推理代码都已全部开源，可复现。Ovis1.6系列中的Ovis1.6-Gemma2-9B也已开源权重。
在AI领域，多模态大模型的应用场景非常广泛，包括但不限于自动驾驶、医疗诊断、视频内容理解、图像描述生成、视觉问答等。例如，在自动驾驶领域，多模态大模型可以整合来自摄像头、雷达和激光雷达的数据，以实现更精准的环境感知和决策。由于多模态大模型能够学习如何联合理解和生成跨多种模式的信息，也被视为朝向通用人工智能的下一个步骤。
根据此前媒体报道，阿里国际在去年成立了一支AI团队，目前已经在40多个电商场景里测试了AI能力，覆盖跨境电商全链路，包括商品图文、营销、搜索、广告投放、SEO、客服、退款、店铺装修等，其中多个应用场景均基于Ovis模型进行开发，已帮助50万中小商家、对1亿款商品进行了信息优化。据介绍，商家的AI需求不断增长，近半年的数据显示，平均每两个月，商家对于AI的调用量就翻1倍。
附相关链接：
论文arXiv:
Github:
HuggingFace:
Demo:
版权文章，未经授权禁止转载。详情见 转载须知 。
本文地址： /article/10ff32e0a1ca47445378.html
百度爱番番应用百度强大AI能力，帮助企业实现营销数字化、自动化、智能化，为企业提供拓客、集客、管客的一站式智能解决方案，助力企业营销变得专业且智能。
春秋旅游网—春秋旅游官方网，提供国内游、出境游、周边游、跟团游、自由行、邮轮游、景点门票、春航特价机票、旅游签证预定，四十年品质保障.
雕塑网是中国雕塑行业门户网站，提供雕塑招标服务，雕塑咨询服务，承办雕塑活动，提供招聘求职信息，是雕塑企业和雕塑家的专业宣传平台。
《卡车人生》在模拟卡车驾驶的玩法基础上，打造多人联机驾驶空间，并融合无缝大地图设定、多变的天气环境系统，用心创造精彩卡车世界，还原卡车货运生活之美。
淄博帝霖电子元件有限公司是山东省专业从事环形线圈电感、工字磁棒以及高频变压器生产的厂家，公司经营各种磁性材料，可按需求定制加工生产各种电子元件，期待与您合作。
湘潭市天鸿电子研究所是一家研发、生产、销售无损检测设备。研发产品有不同用途的专用超声波检测仪、声波振源、超声波发生器、超声波换能器等。
阿白律师网,国内首家针对小白来普及律法知识的网站；免费首家公益普及法律知识的网站，对接专业律师咨询，让您的疑问，能够得到解答！
江苏顺泰交通是专业生产中杆灯高杆灯,市政路灯太阳能路灯,庭院灯景观灯,玉兰灯智慧路灯,风光互补路灯厂家,免费咨询15052509897微信同号,品质好价格优,欢迎前来选购！
天小络QwQ
水发众兴集团有限公司成立于2008年2月22日，为山东省管国有独资企业水发集团旗下的一级投资平台公司，注册资本金23亿元。公司聚焦基础产业、基础设施和民生工程三大领域，已发展成为集“水务、能源、环保”三大产业为一体的投资控股集团。
宁波励坤机电设备有限公司（励坤叉车）是一家宁波叉车代理销售公司，专业从事宁波叉车销售，宁波叉车出租，宁波叉车租赁，宁波叉车维修等。有丰田、林德、合力、江淮等众多叉车品牌。
保安堂-一个关于中医相关的理论中医书籍、中药材、中药方剂等中医学习的地方。
黄章和魅族是否，大彻大悟得有点儿迟，?不久前瑞幸爆雷，市值蒸发逾9成，作为史上最快IPO，资本的力量让瑞幸迅速成为一颗明星，又瞬间跌落尘埃，甚至引发中概股危机，然而纵观中国互联网波澜壮阔的烧钱历程，瑞幸烧掉的几十亿，不过是沧海一粟，惊人的资本在一次次烧钱大战中烟消云散，青烟散去，社会留下了些什么?本文将盘点中国互联网10年来的8次烧钱...。
科技发展日新月异，我们日常生活中经常使用的电脑也发生了很多变化，早些年电脑还是CRT显示器，机箱外观也比较朴素，现在的电脑则变得越来越人性化，外观也更加时尚，但是虽然电脑怎么变，还是有很多反人类设计，让我们在使用电脑时非常尴尬，下面笔者就为大家总结一下电脑上10个反人类，1、USB区分正反信大家在使用电脑时经常都会用到USB接口，比如...。
金山云在5月8日晚以，云敲钟，的方式赴美上市了，将双脚踏进纳斯达克的大门，一场资本与市场的，狂欢，就此开启，在此之前，国内主打前沿科技的科创板已经为多个云计算赛道的友商鸣锣开道，雷军眼中，金山做云，是敢想敢干，直接ALLIN，漂亮仗，背后，是金山云开盘股价涨幅30%，收盘股价涨幅40%，总市值达到47.74亿美元，近338亿人民币，...。
文字链接认证代码普通联盟标志认证代码企业广告联盟标志认证代码广告联盟评测代码说明，本页面的认证代码为乐快传媒广告联盟专用评测代码，站长需懂简单html知识，直接复制代码粘贴到联盟网站相应页面即可使用，本代码不适用于其他广告联盟网站请勿获取！文字认证，文字链接代码认证适用所有类型的广告联盟，复制代码后放在乐快传媒广告联盟网站首页底部或友...。
大家好！我是迅雷创始人程浩，现在成立远望资本，聚焦人工智能领域投资，前两天我分别在混沌大学与2019产品创新大会上，跟很多创业者和科技从业者们分享了一些我对创新的理解和感悟，希望帮助大家还原出一些创新的真相，迅雷在技术创新上还是很有发言权的，因为大家知道，迅雷不是第一个做下载的，但我们通过P2SP算法，把整个下载速度提高了5到10倍，...。
发表在综合交流大区2019，1，1810，58还有两周多的时间，我们就将迎来一年一度的新春佳节，很多朋友现在正在忙着准备年货吧，今天笔者为大家推荐一款不错的智能投影，它可以轻松投射出全高清百吋大屏，让你体验更为沉浸的观影享受，新年换新选择它准没错，高画质的百吋大屏新年换新选它就对了笔者要推荐的就是极米Z6无屏电视，这款产品白色的机身看...。
互联网赚钱的三级火箭模式，流量框架，价值体系，成交流程，一、产品赚钱的本质就是交易，提供产品，满足需求，所以你能提供什么样的产品，服务，价值，这是赚钱的基础，要能开发并且设计出一个让用户兴奋、惊喜的产品，产品开发四要素为，人群、场景、问题、解决方案，一群什么样的人，在什么样的场景之下，遇到了什么样的问题，然后我们的产品是如何解决这个问...。
作为日本汽车巨头丰田旗下的一款奢侈SUV，汉兰达自2003年问世以来，其销量不时上游世界同级别SUV，作为消费者最关心的多少钱疑问，本文将为您揭晓丰田汉兰达目前的市场报价状况，1.经典汉兰达指点价，24.58，39.98万元经典汉兰达共有8款车型，售价区间在24.58，39.98万元之间，其中2.7L奢侈版和2.7L至尊版多少钱相反，...。
十二白羊座3月21日，4月19日金牛座4月20日，5月20日双子座5月21日，6月21日巨蟹座6月22日，7月22日狮子座7月23日，处女座8月23日，9月22日天秤座9月23日，10月23日天蝎座10月24日，11月22日射手座11月23日，12月21日魔羯座12月22日，1月19日水瓶座1月20日，2月18日双鱼座2月19日，3月...。
悦翔v3的车身尺寸长宽高区分为4200mm、1650mm、1469mm，这是官网提供的数据，须要留意的是，悦翔v3的车长是指垂直于车辆纵向对称平面并区分抵靠在汽车前、后最外端突出部位的两垂直间的距离；车宽是指平行于车辆纵向对称平面并区分抵靠车辆两侧最外刚性固定突出部位的平面之间的距离；车高是指车辆最高点与车辆支承平面之间的距离，悦翔v...。
言语失误由于外面的字是代码代换进去的一个错了就都错了你可以重下也可以下载补丁求，エロ医3D，简体中文汉化完美硬盘版下载，完美免DVD游戏下载，种子也好，好的加分！！！拜谢！！同求~~日系大型エロゲRpg游戏繁星汉化版18款手游介绍，18款牛头人rpg汉化游戏直装版收费下载日系大型エロゲRpg游戏繁星汉化版游戏玩法便捷，外面的角色立绘也...。
信长之野望14：创造威力加强版免费下载,迅雷下载
Petal(豆瓣FM客户端),Petal是由网友开发的一款第三方豆瓣FM桌面客户端，完成了移动端的部分功能，让你在电脑上播放豆瓣fm的音乐，能够打开后自动播放，记住上次窗口位置，隐藏关于界面等！,您可以免费下载。
信长之野望14：创造威力加强版免费下载,迅雷下载
pc6官方下载为您提供MosGram泡泡聊天,我们的MosGram泡泡聊天是一款功能全面，专业高效的聊天交友软件，软件能够与手机端实时同步聊天记录，而且安全高效，聊天数据都经过加密，还拥有免费语音和视频聊天系统，欢迎下载使用,您可以免费下载。
百度爱采购是百度旗下的B2B垂直搜索引擎，旨在帮助用户一站直达全网商品信息，触达海量优质商家。让买家快速便捷的找到优质货源，为商家提供海量匹配的询价信息，获得更多，快速达成*，降低成本提升。百度爱采购，让采购批发变得更简单。
《失落的方舟》无论是游戏玩法、场景和画面，还是人物造型，都受到很多玩家的欢迎和喜爱。《失落的方舟》官方目前正在不定期更新各种游戏内容。每次更新后，相关玩法都会有所调整或更新，让玩家备受期待。很多朋友关...
