解锁多模态大模型 大模型 港中文贾佳亚团队提出 LISA 推理分割 能力 (多模态界面)
当前的视觉识别系统都依赖人类用户明确指代目标物体或预先设定识别类别，进而进行识别。它们仍然只能处理简单明确的指令（如“橙子”），而无法解析相对隐式和复杂的指令（如在下图中指出 “维生素C含量高的食物”）。
而真正的智能感知系统应该根据用户指令推理其真实意图。例如，在指示机器人时，人们往往倾向于直接给一个指令“我想要看电视“，而不是分几个步骤”走去茶几旁边，帮我找到遥控器，然后按下按钮打开电视“。这些场景都要求感知系统具有复杂推理和联系世界知识的能力。
最近，香港中文大学贾佳亚团队发布一项新研究，提出一项新任务——推理分割（Reasoning Segmentation），该任务要求模型能够处理复杂的自然语言指令，并给出精细的分割结果。
如上图所示，推理分割任务具有很大的挑战性，可能需要借鉴世界知识（例如，左图需要了解“短镜头更适合拍摄近物体”），或进行复杂图文推理（如右图需要分析图像和文本语义，才能理解图中“栅栏保护婴儿”的含义），才能获得最终理想的分割结果。
尽管当前多模态大模型（例如Flamingo [1], BLIP-2 [2], LLaVA [3], miniGPT-4 [4], OTTer [5]）使得AI能够根据图像内容推理用户的复杂问题，并给出相应的文本分析和回答，但仍无法像视觉感知系统那样在图像上精确定位指令对应的目标区域。
因此，此项研究工作提出LISA（Large Language Instructed Segmentation Assistant）多模态大模型。LISA通过引入一个
同时，该工作还创建了ReasonSeg数据集，其中包含上千张高质量图像及相应的推理指令和分割标注。
实验证明，在训练过程中仅使用不包含复杂推理的分割数据（通过将现有的语义分割数据如ADE20K [6]，COCO-Stuff [7]以及现有指代分割数据refCOCO系列 [8]中的每条数据转换成“图像-指令-分割Mask”三元组） ，LISA能在推理分割任务上展现出优异的零样本泛化能力。此外，进一步使用239个推理分割数据进行微调训练还能显著提升LISA在推理分割任务上的性能。而且LISA还表现出高效的训练特性，只需在8张具有24GB显存的3090显卡上进行10,000次训练迭代，即可完成7B模型的训练。
技术方案概述
首先将图像和文本送到多模态-大语言模型（在实验中即LLaVA），得到输出的文本结果，如果此时文本结果包含
如果存在
LISA在训练过程中使用了自回归交叉熵损失函数，以及对分割结果监督的BCE和DICE损失函数。
模型效果
最终，LISA不仅在传统的语言-图像分割指标（refCOCO、refCOCO+和refCOCOg）上展现出优异性能，还能处理以下分割任务情景：1）复杂推理，2）联系世界知识，3）解释分割结果以及4）多轮对话。
在有复杂情景的ReasonSeg数据集上，LISA显著领先于其他相关工作（如Table 1），进一步证明其出色的推理分割能力。
效果展示
本文地址： /article/ee5369148c5ddc9d33ea.html
网站安全检测为站长免费提供了网站漏洞检测、网站挂马实时监控、网站篡改实时监控等服务
人民网-人民视频人民视频人民视频，融合人民网内容聚合和品牌优势、腾讯技术平台和流量优势、歌华有线终端优势，打造中央级视听内容制作、集成和发布平台，是面向5G时代的智能化视频社区，赋能媒体深度融合发展。2019年人民视频客户端升级改版，打造面向可视化内容的全生产链条和全生态体系，建立覆盖其完整生命周期的一体化解决方案。
LOL网址导航网是专业的上网导航网站,精心收录各类优质热门网站信息,同时提供天气、快递、违章等各种生活便民查询工具网址,为您提供安全便捷的上网导航服务,现已被众多网友设为上网主页,网址导航大全首选LOL网址导航.
青赤鸟生活百科网，这里有你想知道的知识：生活,旅游美食,汽车百科等内容！
机汇云CRM整合SCRM客户管理、SCM供应链协同、DSS决策支持系统，支持免费试用，咨询热线：19967498075。
【牛云说营销】-用新广告，新策划，新营销的思路，帮助传统企业突破营销困境，利用移动互联网工具，依托于传统店面，进行线上线下互动营销，实现企业互联网+深度提炼，精华解读，用最简单的方式玩转，餐饮、装修、房地产、健身房等传统企业营销，让您迅速成为营销牛人！
嗨秀直播是国内专业的视频秀场直播平台,这里有优质美女主播,是最娱乐最前沿的视频聊天室、还提供美女热舞视频、在线k歌、美女主播互动、真人聊天室、同城交友直播、丰富的互动直播体验,快加入吧.
广东省机械技师学院
成都白癜风医院哪家效果好?成都白癜风治疗专科医院地址在哪里?成都专门治疗白癜风的医院-成都博润白癜风医院是西南地区治疗白癜风效果好的成都白癜风专科医院,24小时咨询热线:400-005-7879。
青岛保税区嘉铭国际贸易有限公司专业代理销售PX能量回收装置,米顿罗计量泵,米顿罗MRoy系列,米顿罗Milroyal系列,米顿罗Primeroyal系列等,米顿罗产品性能、精确度和持久度世界一流,诚邀需求米顿罗产品的朋友前来洽谈!
项目信息工作平台是由中医药适宜技术开发推广办公室主办的中医药OAO一体化信息工作平台，开展国医大师、名老中医中医药适宜技术学术研修培训项目及中医药适宜技术研修培训项目。
在投影仪和电视这两款大屏设备的博弈中，投影仪的优势逐渐显现，特别对于高科技感兴趣的年轻人来讲，投影仪更具有新鲜感、易移动、打造氛围感大屏等优势，投影仪行业在近年来发展快速，直至4K激光投影进入家庭生活，家用投影从小众走向大众，在家用激光投影中，当贝X3一直表现出色，后续还推出了4K机型当贝X3Pro，彼时我也拿到了坚果N1Pro，坚果...。
，更能让人放松，也更能让我们发作好感，蔬方沙拉加盟费多少钱，蔬方，一家沙拉美食餐厅，不只为我们带来绿色的健康美食，还为我们带来新鲜有风格的用餐环境，让我们好像处于鸟语花香、万木勃发的大，而然地遗忘作业生活中的遇到的各种烦恼，蔬方是一家以主食沙拉为主产品线的时髦特征潮店，餐品品种繁复，沙拉有红吞拿鱼沙拉、果园沙拉、牛肉秋葵沙拉、鲑鱼玄米...。
作者简介，杨柳，足记APP创始人，非典型文艺女青年一枚，江湖摸爬滚打多年但是初入移动互联网行业的产品经理，有的时候不太想承认自己是一枚，文艺女青年，，我知道这个标签背后所代表的隐含意思，傲娇、高冷、小资、完美主义、不接地气……几乎都是贬义，基本可以凝结成一个字，作，透着一股，不靠谱，的气质，背负这个标签潇洒自在过了好多年，一不小心，这...。
雷锋网爆了个料~上两会的马化腾要做智能电视了，某知情人士也再一次跟小编确定了这件事情的真实性，小编的同事惊呼，这太猛了！，，业内人士对鹅厂做电视怎么看，有钱任性的小马哥又打算怎么推进电视领域的业务，在智能硬件领域屡屡碰壁的鹅厂这次又会不会一雪前耻，来听听大家的说法吧~腾讯做电视的动机悟空遥控器的创始人孙鹏告诉雷锋网，智能电视OTT业务...。
7月4号下午5点左右，借了充电宝，用不大略不到一个小时，就把充电宝还出来同一个充电柜，由于没有去看有没有显示出借完成就走了，充电宝是必定要放回充电柜的，今天早晨回家看到订单还在计费今天早晨就咨询了客服客服说核实中先订单暂停，过后显示是两元，由于客服说先暂停了订单计费，让上班人员过去核实，我认为在核实，也会给我打电话，时期也没有给我电话...。
详细操作步骤如下，步骤一、如今最新版本是迅雷7.0，那么在网高低载好迅雷，而后装置之后启动迅雷7软件，在窗口下选用，收费高清下载，选项，如图所示，步骤二、如今关上了迅雷的一个视频网页，在下面一些最新电影列表，而后找到想下载的电源或许电视剧，间接点击即可下载，如图所示，步骤三、比如要下载张柏芝的，影子爱人，间接点击前面的下载，就会弹出下...。
依照中国传统周公解梦的观念，梦见大便意味财产，现代心思学解释梦见自己拉粑粑梦见自己拉粑粑，从心思学过去讲，拉粑粑有，辞旧迎新，之含意，潜看法中您想放弃自己不好的观念或许想改正自己不好的习气，想开局崭新的踊跃的生存，这样的态度是值得必需的，独身者梦见自己拉粑粑，预示着你近期在爱情上走烂桃花运，倡导你要多加小心，防止自己的激情被同性应用，...。
近年来，SUV车型越来越遭到生产者的青眼，其中，江铃陆风X6因其陈腐的外观设计、出色的悬架系统和出色的空间体现备受关注，然而，很多生产者困惑的疑问就是，江铃陆风X6多少钱，本文将为您带来一份详细的多少钱解析，以协助您更明晰地了解该车型，在了解多少钱之前，咱们先来看一下江铃陆风X6的车型性能，依据车型性能不同，江铃陆风X6共有四种车型，...。
腾翼c30定位于经济家轿的产品售价从5.89到7.19万元，多少钱十分有竞争力，只管长城腾翼C30在整车性价比如面具备很高的长处，和腾翼C30相似，和悦的外型更为便捷、笨重，和悦三厢的关键用户个体还是愈加倾向于家庭用户的需求，和悦形状应该会讨年轻家庭的喜欢，而腾翼C30则适宜谋求稳重的，低调，家庭，关于大少数家庭来说，内饰格调并不须要...。
第十届欧洲议会选举投票于布鲁塞尔期间6日至9日在欧盟27个成员国举办，初步统计结果显示，持两边立场的振兴欧洲党团以及绿党和欧洲自在联盟组成的党团所获议席增加幅度较大，欧洲议会向右歪斜显著，欧洲议会选举每五年举办一次性，此次选举也是英国正式，脱欧，后的首场欧洲议会选举，作为欧盟的监视、咨询和立法机构，欧洲议会是欧盟外围机构之一，欧盟各成...。
WIFI万能钥匙中我们可以破解网络链接WIFI，那么如何开启WIFI万能钥匙的自动打开数据网络功能呢？下面就来看一下小编给大家带来的开启方法是什么吧。
2023最新全功能版在线WEB工具箱PHP源码66toolkit一个多功能的Web工具PHP脚本，包含45种工具，适用于日常任务和开发人员。功能简介DNS查找工具。IP查找工具。SSL查找工具。Whois查询工具。Ping工具。MD5生成器...
Portraiture滤镜,portraiture磨皮滤镜是一款支持Photoshop以及Lightroom的插件，用于人像图片润色。它能智能地对图像中的皮肤材质、头发、眉毛、睫毛等部位进行平滑和减少疵点处理,您可以免费下载。
惠普hpsmarttank675打印机驱动,惠普hpsmarttank675打印机驱动是一款针对同名打印机所推出的驱动安装程序。经常有用户说不能使用功能，那么现在安装该驱动程序就能完美解决这个问题，支持Win7/8/10的32位和64位，喜欢的可以了解,您可以免费下载。
2023最新全功能版在线WEB工具箱PHP源码66toolkit一个多功能的Web工具PHP脚本，包含45种工具，适用于日常任务和开发人员。功能简介DNS查找工具。IP查找工具。SSL查找工具。Whois查询工具。Ping工具。MD5生成器...
重庆分类目录网站收录交通物流相关的优秀网站大全分类检索，为上网用户提供交通物流网站排行榜与您分享、收藏！
WIFI万能钥匙中我们可以破解网络链接WIFI，那么如何开启WIFI万能钥匙的自动打开数据网络功能呢？下面就来看一下小编给大家带来的开启方法是什么吧。
