多模态能力再升级 阿里国际发布最新开源多模态模型Ovis (多模态理解)
看一眼菜品图就知道怎么做、能给植物看病、能把手写英文准确翻译成中文、还能精准分析财报数据……多模态能力再次升级！今天，阿里国际AI团队发布了一款多模态大模型Ovis，在图像理解任务上不断突破极限，多种具体的子类任务中均达到了SOTA（最新技术）水平。
多模态大模型能够处理和理解多种不同类型的数据输入，例如文本、图像。与大型语言模型（LLMs）相比，大语言模型在处理和生成文本数据方面有专长，而多模态大模型能够处理非文本数据，如图像等等。
根据多模态权威综合评测平台OpenCompass的数据，Ovis1.6-Gemma2-9B在30B参数以下的模型中取得了综合排名第一，赶超MiniCPM-V-2.6等行业优秀大模型。
图：Ovis在OpenCompass上的测评数据情况
据介绍，Ovis能够在数学推理问答、物体识别、文本提取和复杂任务决策等方面展现出色表现。例如，Ovis可以准确回答数学问题，识别花的品种，支持多种语言的文本提取，甚至可以识别手写字体和复杂的数学公式。
案例1:Ovis对手写文案的识别及翻译能力
案例2：Ovis对复杂数学公式的处理能力
案例3:Ovis通过对图片的识别处理能够给出菜谱
具体来说，Ovis模型有五大优点：
1、创新架构设计：可学习的视觉嵌入词表：首次引入，将连续的视觉特征转换为概率化的视觉token，再经由视觉嵌入词表加权生成结构化的视觉嵌入，克服了大部分MLLM中MLP连接器架构的局限性，大幅提升多模态任务表现。
2、高分图像处理：动态子图方案：支持处理极端长宽比的图像，兼容高分辨率图像，展现出色的图像理解能力。
3、全面数据优化：多方向数据集覆盖：全面覆盖Caption、VQA、OCR、Table、Chart等各个多模态数据方向，显著提升多模态问答、指令跟随等任务表现。
4、卓越模型性能：Ovis展现出了优异的榜单表现。在多模态权威综合评测Opencompass上，Ovis1.6-Gemma2-9B在30B参数以下的模型中取得了综合排名第一，超过了Qwen2-VL-7B、MiniCPM-V-2.6等模型。尤其在数学问答等方向表现媲美70B参数模型；在幻觉等任务中，Ovis-1.6的幻觉现象和错误率显著低于同级别的模型，展现了更高的生成文本质量和准确性。
5、全部开源可商用：Ovis系列模型License采用 Apache 2.0。Ovis 1.0、1.5的数据、模型、训练和推理代码都已全部开源，可复现。Ovis1.6系列中的Ovis1.6-Gemma2-9B也已开源权重。
在AI领域，多模态大模型的应用场景非常广泛，包括但不限于自动驾驶、医疗诊断、视频内容理解、图像描述生成、视觉问答等。例如，在自动驾驶领域，多模态大模型可以整合来自摄像头、雷达和激光雷达的数据，以实现更精准的环境感知和决策。由于多模态大模型能够学习如何联合理解和生成跨多种模式的信息，也被视为朝向通用人工智能的下一个步骤。
根据此前媒体报道，阿里国际在去年成立了一支AI团队，目前已经在40多个电商场景里测试了AI能力，覆盖跨境电商全链路，包括商品图文、营销、搜索、广告投放、SEO、客服、退款、店铺装修等，其中多个应用场景均基于Ovis模型进行开发，已帮助50万中小商家、对1亿款商品进行了信息优化。据介绍，商家的AI需求不断增长，近半年的数据显示，平均每两个月，商家对于AI的调用量就翻1倍。
附相关链接：
论文arXiv:
Huggingface:
Demo:
版权文章，未经授权禁止转载。详情见 转载须知 。
本文地址： https://www.gpxz.com/article/10ff32e0a1ca47445378.html
广东生活服务网站排名,根据网站的综合值按照不同的广东生活服务网站进行筛选排名结果,通过筛选广东生活服务网站可以看到每个广东生活服务网站里面的网站排名优质的网站是哪些
豆果美食食材频道提供上万种食材图文介绍，包含详细的食材功效、营养价值、适宜人群以及相关菜谱等内容。清晰的食材分类和图片列表大全让你轻松找到喜欢的食物。
青岛华铸科技公司是专业的抛丸机厂家，主要型号有路面抛丸机、通过式抛丸机、吊钩式抛丸机配件等，为您量身打造全套抛丸机系统解决方案。价格合理，欢迎来电订购。
界面科学仪器(北京)有限公司是专业的接触角测量仪供应商，主营产品有：接触角测量仪等,界面科学仪器(北京)有限公司不仅具有专业的技术水平，更有良好的售后服务和优质的解决方案,欢迎来电洽谈
www.niulinmen.com
空岛资源网是一个手机游戏和手机软件下载资源站，提供大量的免费下载资源。网站包含各种类型的应用和游戏，如社交、娱乐、教育等。用户可以通过搜索功能或分类浏览来查找他们需要的应用或游戏。同时，该网站还提供了相关资讯和评测文章，帮助用户更好地了解所下载内容。无论您是安卓用户还是苹果用户，在这里都能找到适合自己的应用和游戏资源。
以生产固定阀控密封式铅酸蓄电池、电动助力车用阀控铅酸蓄电池及其极板，集研究开发、生产、销售为一体的现代化企业。
安阳弘森机械有限公司是从事热处理加工的厂家，主要针对高速精密主轴部件的热处理、各种模具，材质有H13、42CrMo、40CrNiM0、Cr12Mov、Cr12，T10等精细热处理，经过我们十余年的不懈努力，积累了丰富的经验。毛经理：13849256998
佛山市凯信涂装设备有限公司成立于2005年，是一家专业从事静电粉末喷涂系统及涂料供应系统的高新技术企业。主要产品有:数控智能型静电喷粉枪、全能手动静电喷粉枪、涂料供给系统等，适用于:灯饰照明，医疗器械，汽车配件，家用电器，办公家具，装饰建材，管道等各种金属表面粉末喷涂。
在线工具导航网站，免费使用无需注册，快速使用无门槛。
易瑾慧,上海易瑾慧机电科技有限公司
义乌义港通物流有限公司(www.ywygt56.com)主要从事义乌到中山、东莞、深圳、广州物流等专线。是一家集国内公路运输、航空货运代理、城际配送、国际货运代理于一体的物流企业。
莉比小公主是人气较高的一位卡通公主，而且她自身的形象也极其讨人喜欢，因而以她为原型设计的游戏也比较多，而此次想分享的莉比小公主游戏合集，就是这方面的作品，虽然它们所设计的玩法都不尽相同，但都能让人们与莉比小公主一起玩耍，共同在游戏里休闲和放松，1、，莉比小公主之奇幻仙境，当看到仙境里的小动物都被坏巫婆施展了变形魔法，莉比小公主自然要想...。
有两个问题，一是做燃料电池肯定离不开对标日本汽车厂家，相比他们几十年的积累，你们要在哪些方面进行突破，第二个问题，一个产品可能有时候实现某一个指标比较突出并不难，但更多的还需要综合性能的平衡以及很长的产品寿命，你们的产品寿命大概是多少，评委对朔景动力的路演项目讲解者方谋进行点评提问，朔景动力的主要研发领域是氢燃料电池金属双极板水冷...。
蛋糕在人群中是很受欢迎的美食，不同的蛋糕带来不一样的滋味，消费者在品尝之后会令人身心愉悦，享受到更加甜蜜的时光，原麦森林蛋糕店就是一个不错的品牌，但是仍有人对该品牌有所不了解，想要知道原麦森林蛋糕店加盟多少钱，下面小编就为大家简单的介绍一下，原麦森林蛋糕店加盟多少钱，原麦森林蛋糕店主要销售的产品是蛋糕，精选好的小麦粉制作，同时该品牌的...。
0556491大神级投影控发表于2024，11，04当贝播放器在线字幕的使用方法如下，1.打开当贝播放器，进入到主界面，在主界面的上方找到，字幕选择，选项，点击进去，2.在字幕选择界面中，找到，在线，字幕选项，点击开始使用，3.在界面的中间部分，可以选择影片来源和选择字幕效果，其中影片来源一般会有三个来源，，高清影视，的最新片源和经典...。
方法一，第一步，我们进盒子自带的应用商店，下载一款软件名称，天天瑜伽，APP，下载并且打开，保留在这个界面不动第二步，安卓手机或苹果手机在手机应用商店下载，悟空遥控器，APP，注意，需同一个wifi环境，并且连接到盒子设备IP；第三步，找到悟空遥控器右下角应用商店，搜索当贝市场，点击下载推送到设备上，此时你会看到电视机右下角显示，当贝...。
随着这场金融危机的影响不断扩散，全球各行各业正面临一场严峻的2考验，为了响应政策进一步拉动内需成为推动经济发展的一个的方式，在扩大内需增加消费应对措施中，鼓励创业，以带动就业成为了主要政策路线之一，2010年上海世博会，上海市政府出台了很多创业优惠政策，便于跟世博会同期举办这个大型博览会，为了推动创业项目和智慧之选加盟行业的发展帮助中...。
[全球时报驻德国特派特约记者刘赫青木]据路透社等内媒报道，外地期间7月15日，欧盟成员国迁就针对中国电动汽车征收暂时关税的方案启动表决投票，德国联邦政府将向欧盟提交对于对中国产电动汽车加征关税的立场性文件，外部人士通知路透社，德方的正式立场还没有最终敲定，但有迹象显示或者会投弃权票，以便推进欧盟与中国继续就关税启动商量，4日，欧盟委员...。
公众R36搭载的是一款出色的3.6升V型6缸人造吸气发起机，这款发起机被公众赋予了VR6的代号，VR6发起机是公众个人的一款经典之作，它以共同的V型气缸陈列模式和6个气缸的设计，为R36提供了弱小的能源输入，这款3.6升V6发起机的排量，是经过计算每个气缸从上止点移动到下止点所经过的空间容积而得出的，这样的设计不只确保了R36领有出色...。
有限小说txt选集小说附件已上行到网络网盘，点击收费下载，有限小说曾通过网络安保检测，安心下载有限之军火狂人小说txt选集收费下载有限之军火狂人txt选集小说附件已上行到网络网盘，点击收费下载，很道歉，回答者上行的附件已失效，有限，txt选集下载有限txt选集小说附件已上行到网络网盘，点击收费下载，有限曾通过网络安保检测，安心下载...。
9859七绝·早餐大惊喜之明月楼炒肉团子_玉山后人1_新浪博客,玉山后人1,
焯是最近特别流行的一个梗，其中的表情包更是魔性搞笑，小伙伴们都看过这个梗的表情包吗？下面小编给大家带来焯表情包gif大全，感兴趣的小伙伴们一起看看吧。焯表情包gif大全【梗的意
bcm20702a0蓝牙驱动是一款专门针对博通旗下的同款蓝牙产品推出的官方驱动程序，这款驱动能够帮助用户解决蓝牙产品与电脑的连接问题
看别人玩是享受，自己体验便是折磨......前段时间活跃于各大直播平台，并且让不少玩家和主播暴怒甚至于崩溃的魔性游戏，和班尼特福迪一起攻克难关，，在经过了一段时间的测试之后今天终于在Steam平台上正式发售了，作为一款在画风、建模上都不能称之为出色的作品，本作这样而表现着实令人感到震惊，而它目前的高热度也说明了一个问题，想要真正爆红，...。
ToB业务、游戏、广告，三驾马车，集体发力，腾讯重回增长曲线，5月17日，腾讯发布2023年Q1财报，当季总营收1500亿元，同比增长11%，其中，，金融科技及企业服务，业务收入487亿元，同比增长14%，占总营收的32%，连续八个季度超过30%，这显示出，ToB业务已经成为腾讯主要增长引擎和收入基本盘，财报指出，企业服务收入同比增速...。
近日，由百图生科与播禾创新主办，，医健AI掘金志，协办的，首届中国生物计算大会，在苏州闭幕，作为主论坛报告的开场嘉宾，北京大数据研究院院长鄂维南，以，机器学习与科学计算，为题，在大会做了开场报告，鄂维南表示，从50年代开始，科学计算领域发展了差分方法、有限元方法、谱方法等基本方法来处理基础的物理模型，并且在工程和技术上得到了广泛应用，...。
今日融资快报穹彻智能完成数亿元Pre，A轮融资穹彻智能完成累计数亿元人民币的天使轮和Pre，A轮两轮融资，联合创始人卢策吾在斯坦福人工智能实验室的博士后期间，师从李飞飞教授和LeoGuibas教授，现任上海交通大学教授，是国内最早研究具身智能领域的学者之一，因其在这一领域的杰出贡献，获得2023年科学探索奖，穹彻智能成立于2023年1...。
双减的目的之一就是让校外的学科教学回归校内，一位教培从业者告诉AI掘金志，原来的教培为了弥补校内教学的知识盲点而存在，现在重新回归校内，对校内教学的质量及效率都提出了新的需求，技术赋能传统教学，提高教学质量、管理效率，增强学生的学习能力，是目前传统校内教育转型的趋势，大华股份智慧教育业务负责人王梁斌表示，提升校内教学质量，提高...。
