解锁多模态大模型 大模型 港中文贾佳亚团队提出 LISA 推理分割 能力 (多模态界面)
当前的视觉识别系统都依赖人类用户明确指代目标物体或预先设定识别类别，进而进行识别。它们仍然只能处理简单明确的指令（如“橙子”），而无法解析相对隐式和复杂的指令（如在下图中指出 “维生素C含量高的食物”）。
而真正的智能感知系统应该根据用户指令推理其真实意图。例如，在指示机器人时，人们往往倾向于直接给一个指令“我想要看电视“，而不是分几个步骤”走去茶几旁边，帮我找到遥控器，然后按下按钮打开电视“。这些场景都要求感知系统具有复杂推理和联系世界知识的能力。
最近，香港中文大学贾佳亚团队发布一项新研究，提出一项新任务——推理分割（Reasoning Segmentation），该任务要求模型能够处理复杂的自然语言指令，并给出精细的分割结果。
如上图所示，推理分割任务具有很大的挑战性，可能需要借鉴世界知识（例如，左图需要了解“短镜头更适合拍摄近物体”），或进行复杂图文推理（如右图需要分析图像和文本语义，才能理解图中“栅栏保护婴儿”的含义），才能获得最终理想的分割结果。
尽管当前多模态大模型（例如Flamingo [1], BLIP-2 [2], LLaVA [3], miniGPT-4 [4], Otter [5]）使得AI能够根据图像内容推理用户的复杂问题，并给出相应的文本分析和回答，但仍无法像视觉感知系统那样在图像上精确定位指令对应的目标区域。
因此，此项研究工作提出LISA（Large Language Instructed Segmentation Assistant）多模态大模型。LISA通过引入一个
同时，该工作还创建了ReasonSeg数据集，其中包含上千张高质量图像及相应的推理指令和分割标注。
实验证明，在训练过程中仅使用不包含复杂推理的分割数据（通过将现有的语义分割数据如ADE20K [6]，COCO-Stuff [7]以及现有指代分割数据refCOCO系列 [8]中的每条数据转换成“图像-指令-分割Mask”三元组） ，LISA能在推理分割任务上展现出优异的零样本泛化能力。此外，进一步使用239个推理分割数据进行微调训练还能显著提升LISA在推理分割任务上的性能。而且LISA还表现出高效的训练特性，只需在8张具有24GB显存的3090显卡上进行10,000次训练迭代，即可完成7B模型的训练。
技术方案概述
首先将图像和文本送到多模态-大语言模型（在实验中即LLaVA），得到输出的文本结果，如果此时文本结果包含
如果存在
LISA在训练过程中使用了自回归交叉熵损失函数，以及对分割结果监督的BCE和DICE损失函数。
模型效果
最终，LISA不仅在传统的语言-图像分割指标（refCOCO、refCOCO+和refCOCOg）上展现出优异性能，还能处理以下分割任务情景：1）复杂推理，2）联系世界知识，3）解释分割结果以及4）多轮对话。
在有复杂情景的ReasonSeg数据集上，LISA显著领先于其他相关工作（如Table 1），进一步证明其出色的推理分割能力。
效果展示
版权文章，未经授权禁止转载。详情见 转载须知 。
大众礼品网为您提供丰富的礼品选择，满足您不同场合和需求的送礼要求。我们推荐创意礼品、节日礼品特惠，并提供定制礼品服务，让您的礼品更具个性。
查询百度权重和百度的关键字排名，查询360权重和360的关键字排名
中国人民政治协商会议全国委员会官方门户网站
开封市盛大公路材料有限公司建于一九八七年。我厂专家、高中级科技人员占总人数的50%，是实现科研生产、路用技术一体化较早的厂家。咨询热线：13099689293。
四川成都蓉益塑料托盘制造有限公司是一家非专业从事多种工业塑料产品生产、销售为一体的大型企业.我们公司拥有多台先进的大型注塑成型设备,技术力量雄厚,产质量好,美观、耐用……
德创出品、必属精品
西南农业开发电商平台
整形医院排行榜，根据整形用户口碑收录全中国最好的整形医院，包括不限于整形外科医院、微整形医院、鼻子整形医院、眼睛整形医院、吸脂整形医院、修复整形医院。整形医院排行榜，秉承为客户服务公平公正原则，为整形客户求美决策推荐最好的整形医院。
高压绝缘件,有断路器固封极柱、熔丝筒、双通套管、开关壳体、穿墙套管、绝缘子、绝缘筒、触头盒、传感器等，并集新产品技术开发、来图来样加工、生产、技术培训、销售服务于一体的科技型企业，是环氧树脂压力凝胶高品质绝缘件的制造商、供应商。
上海九龙男子医院【热线电话：021-52732699】做为长宁区一家好男科医院，一直着力于上海地区的男科品牌，引进良好的诊疗仪器，拥有专业的医师团队，为上海众多男性患者解决困难，打造上海好的男科医院,医院在割包皮过长手术，阳痿早泄等病拥有较好的诊疗方案,口碑好。
宁波盛技机械有限公司专业制造压铸模和切边模，公司具有全套精密、精良的加工设备，先进、合理、规范的生产制造工艺，产品远销发达国家，我们竭诚为广大客户提供优质的服务。欢迎您随时光临、洽谈业务，电话:0574-55889808。
定制化电商平台
可穿戴设备太需要柔性电池了，设想一下，一件号称，智能外套，的衣服里嵌着一颗颗坚硬的电池块，那这种可穿戴不如称作，可背戴，了，所以，柔性可随意弯曲的电池一直被视为可穿戴设备的救星，它可以让自己，消失，在智能设备中，可能在腕带里，可能在衣服的编织纤维里，可能在鞋子里，而你根本感受不到它的存在，过去5年来，韩国蔚山科技研究院，UNIST，的...。
攻防两端看安全挑战在网络安全行业，技术要解决的实际问题里，我们面临着两端的挑战，从攻方的视角来看，第一个阶段要确定目标，攻击者需要收集各种攻击的目标、攻击的资产，这是确定目标的阶段，第二个阶段是要漏洞探测，找到可利用的攻击点，构建所谓的攻击武器，第三个阶段是要做载荷的投递，有了风险点和攻击利用点之后，把攻击武器做攻击利用，第四个阶段是...。
发表在专业问答2022，7，1914，02展示机型信息，品牌型号，当贝X3系统版本，当贝OS2.0投影仪是利用凸透镜成像的原理，将透明的物体投射到荧幕上，形成大的图像，投影仪主要是由光学系统，通风系统以及电路构成，投影仪先将光线照射到图像显示原件上来产生影像，然后通过镜头来进行投影，投影仪原理投影仪原理是将光线照射在图像的显示元件上面...。
披萨是大众耳熟能详的餐品，披萨可以搭配多种食材制作成不同风味的餐品，其受到普罗大众的强烈热捧，产品销量也保持在较高的位置，许多经营网点保持着如火如荼的经营状态，为向各位读者推荐该项目，文章将对加盟披萨怎么样展开详细论述，给有需要的朋友提供必要主张，叫板披萨是从事西式快餐销售的品牌，叫板披萨在运营的这些年中，凭借多样化的产品、实惠的售价...。
内衣产品需要定期更换，能够呵护人体的健康，并且，需要购买面料舒适、品质上乘的内衣产品，都市新感觉内衣的出现为消费者带来福音，是一家专注于高质量内衣产品研发和生产的品牌，向市场上推出的内衣产品款式精美、面料柔软，符合当下消费者的穿着标准，在市场上掀起火热销售的高峰期，接下来小编为大家介绍都市新感觉内衣好加盟吗，费用多少，都市新感觉内衣好...。
国士的意思是指一国之中才能出众的人，类似于天才、杰出人士等含义，国士一词在中国文化和历史中广泛应用，以下是关于国士的详细解释，1.基本定义，国士，字面意思是国家中的杰出人才，在古代，这一术语多用于描述在军事、政治、文化等领域作出突出贡献的人物，他们以其卓越的才能和功绩，赢得社会的广泛尊敬和赞誉，2.历史背景，在中国古代，国士的概念往往...。
化工油罐车运输食用油事情近日引发关注，廊坊市市场监视治理局7月9日向第一财经记者回应称，目前事情，罐车化工油食用油混装事情，由三河市政府正在考查中，后者会发布最终考查结果，第一财经记者栾立，关系报道评论丨化工油食用油，混运，，要黑名单更要问责清单，红星资讯，日前，关于罐车运输的乱象被曝光，媒体考查发现，有的罐车卸完煤制油间接装食用油...。
1、新款雪佛兰赛欧3多少钱引见1新款雪佛兰赛欧3厂商指点价万，好处省油，开局磨合期油耗在6个多一点前几天拉完高速以后开空调拉高速才49个油，觉得不开空调必需能更低2全系列有智能启停这特性能非，2、此次上市的新车共有5款三厢车型，售价区分为12LSLMT手动温馨版568万12MT手动时兴版578万12LSEMT手动现实版618万14LS...。
1、广汽三菱汽车有限公司成立于2012年5月10日，位于中国湖南长沙经济技术开发区，现领有钻研开发中心、冲压、焊装、涂装等具备先进工艺的消费车间和技术、质量保证体系，建设了较为完善的、弱小的零部件配套单干体系和营销服务网络，2、江南汽车制作有限公司公司位于湘潭西郊，是一家以汽车整车、汽车模具、汽车零部件产品的研发、制作和开售为外围产业...。
核力打破，是在，知音漫客，连载的国产漫画，SA叔主笔、大白脚本等人创作的漫画，像素工坊上班室，作品讲述了个别少年遇上奥秘少女、而网游的面前秘密却不为所知的故事，沐沐作品我的帅鬼夫君冥婚盛宠，我的帅气鬼夫君小说作者，何好慌看漫画中，路沐擎是什么漫画是陆沐擎吧，漫画，指染成婚，...。
犯罪电影《追缉》解说文案/片源下载2023最新的国产犯罪惊悚影片《追缉》震撼来袭本片是由女神张钧甯和阮经天领衔主演它讲述了台湾省许多外籍劳工被一个变态杀人魔盯上杀人魔不仅心思缜密而且犯罪手段极其残忍剧情不断反转，案件环环相扣话不多说，故事一开始就是高能女警小美刚刚试图在车里开枪自杀突然听到车外有人...
最新二开全新UI区块链共享鹅厂理财盘系统源码源码资源仅供学习研究美工使用，请勿用于商业和非法用途!源码说明最新更新全新UI区块链共享鹅厂二开理财盘源码这个东西是在共享充电宝上二开出来的，前端UI重做，功能也做...
近日，为了促进互联网演进升级和健康创新发展，构建高速率、广普及、全覆盖、智能化的下一代互联网，是加快网络强国建设、加速国家信息化进程、助力经济社会发展，相关部门印发了，推进互联网协议第六版，IPv6，规模部署行动计划，其中主要任务有，升级改造移动和固定网络，推广移动和固定终端应用，实现骨干网互联互通，扩容国际出入口，升级改造广电网络...。
雷锋网消息，5月10日，汇医慧影正式宣布获批国内首张X射线骨折AI产品NMPA三类证，这也是国内同类产品的首次获批，至此，汇医慧影DR骨折AI产品已经成为国内唯一手握国内NMPA三类证、欧盟CE双重认证的X射线骨折AI产品，早在2020年5月，汇医慧影的骨折X射线辅助诊断软件获得了国家知识产权局颁发的两项发明专利证书，当时，汇医慧影联...。
雷锋网AI科技评论按，2018全球人工智能与机器人峰会，CCF，GAIR，在深圳召开，峰会由中国计算机学会，CCF，主办，雷锋网、香港中文大学，深圳，承办，得到了宝安区政府的大力指导，是国内人工智能和机器人学术界、工业界及投资界三大领域的顶级交流盛会，旨在打造国内人工智能领域最具实力的跨界交流合作平台，CCF，GAIR2018延续前两...。
2024年，知道创宇主办的第十三届KCon大会在北京成功举行，此次大会以，同道，为主题，汇聚了网络安全领域的精英与志同道合之士，共谋网络安全之道，携手开创行业未来发展蓝图，知道创宇CSO黑哥在致辞中表示，今年是KCon大会的第十三年，这十三年，不仅是KCon大会自身成长与蜕变的见证，因为大家的参与，也是对中国网络安全历史的见证，KCo...。
在手机发布会上，相机总是会占据大量篇幅，，1，1.56英寸、1，2英寸，这些都是大家耳熟能详的说法，但实际上类似，1，XX英寸，的并不直观，导致大家难以感受到CMOS之间的面积差异，故本文罗列并计算了常见CMOS尺寸的实际面积，方便大家直观对比不同年代、不同定位的CMOS实际面积差距，千言万语，不如看表，主流CMOS尺寸对比图↑备注，...。
