解锁多模态大模型 大模型 港中文贾佳亚团队提出 LISA 推理分割 能力 (多模态界面)
当前的视觉识别系统都依赖人类用户明确指代目标物体或预先设定识别类别，进而进行识别。它们仍然只能处理简单明确的指令（如“橙子”），而无法解析相对隐式和复杂的指令（如在下图中指出 “维生素C含量高的食物”）。
而真正的智能感知系统应该根据用户指令推理其真实意图。例如，在指示机器人时，人们往往倾向于直接给一个指令“我想要看电视“，而不是分几个步骤”走去茶几旁边，帮我找到遥控器，然后按下按钮打开电视“。这些场景都要求感知系统具有复杂推理和联系世界知识的能力。
最近，香港中文大学贾佳亚团队发布一项新研究，提出一项新任务——推理分割（Reasoning Segmentation），该任务要求模型能够处理复杂的自然语言指令，并给出精细的分割结果。
如上图所示，推理分割任务具有很大的挑战性，可能需要借鉴世界知识（例如，左图需要了解“短镜头更适合拍摄近物体”），或进行复杂图文推理（如右图需要分析图像和文本语义，才能理解图中“栅栏保护婴儿”的含义），才能获得最终理想的分割结果。
尽管当前多模态大模型（例如Flamingo [1], BLIP-2 [2], LLaVA [3], miniGPT-4 [4], OTTer [5]）使得AI能够根据图像内容推理用户的复杂问题，并给出相应的文本分析和回答，但仍无法像视觉感知系统那样在图像上精确定位指令对应的目标区域。
因此，此项研究工作提出LISA（Large Language Instructed Segmentation Assistant）多模态大模型。LISA通过引入一个
同时，该工作还创建了ReasonSeg数据集，其中包含上千张高质量图像及相应的推理指令和分割标注。
实验证明，在训练过程中仅使用不包含复杂推理的分割数据（通过将现有的语义分割数据如ADE20K [6]，COCO-Stuff [7]以及现有指代分割数据refCOCO系列 [8]中的每条数据转换成“图像-指令-分割Mask”三元组） ，LISA能在推理分割任务上展现出优异的零样本泛化能力。此外，进一步使用239个推理分割数据进行微调训练还能显著提升LISA在推理分割任务上的性能。而且LISA还表现出高效的训练特性，只需在8张具有24GB显存的3090显卡上进行10,000次训练迭代，即可完成7B模型的训练。
技术方案概述
首先将图像和文本送到多模态-大语言模型（在实验中即LLaVA），得到输出的文本结果，如果此时文本结果包含
如果存在
LISA在训练过程中使用了自回归交叉熵损失函数，以及对分割结果监督的BCE和DICE损失函数。
模型效果
最终，LISA不仅在传统的语言-图像分割指标（refCOCO、refCOCO+和refCOCOg）上展现出优异性能，还能处理以下分割任务情景：1）复杂推理，2）联系世界知识，3）解释分割结果以及4）多轮对话。
在有复杂情景的ReasonSeg数据集上，LISA显著领先于其他相关工作（如Table 1），进一步证明其出色的推理分割能力。
效果展示
版权文章，未经授权禁止转载。详情见 转载须知 。
本文地址： https://www.gpxz.com/article/ee5369148c5ddc9d33ea.html
一个好逛、有趣、让老铁信任的优质电商平台，帮助达人和商家实现高效交易，以沉浸式体验带给消费者不一样的购物感受。来快手电商，让生活更好一点！
上海科信检测-上海洁净室检测-洁净空调系统调试-制药厂检测与验证
阿里伯乐是一家专业的电子商务及商业服务网站,提供线上和线下全面的商务资讯服务.提供免费网上开店服务,含企业名录及供求信息,提供后台管理及二级域名.阿里伯乐24小时客户服务热线:0371-60967123
无锡金卓浦金属制品有限公司
古达游戏网是一个集海量游戏攻略、资深玩家社区、安全下载服务、个性化推荐和优质服务于一体的游戏平台。我们专注于为游戏爱好者提供全面、详细的游戏指南，以及安全、便捷的游戏下载服务，让您的游戏体验更加丰富多彩。快来与我们一起探索游戏的无限可能吧！
圣豪丰沙发有限公司
厦门润枫模型设计有限公司是专注于高端模型设计与制作的专业机构，业务涵盖房地产销售模型、商业表现模型、大型会展模型、城市总体规划模型、工业产品模型、方案模型、军事模型等领域。是海峡西岸经济区顶尖级模型公司之一，公司设备、技术力量、制作工艺一直处于行业领先地位
家电软件，家电零售管理，家电综合业务系统，小家电销售管理，家电销售管理系统，家电售后服务管理系统，家电分销渠道管理，家电卖场管理，家电进销存，家电微营销，家电微商城，家电O2O，家电云计算，家电云服务，家电整体运营方案，家电微客服
食品安全信息追溯系统
IST、ISTEC、ISTECKorea及ISTECChina致力于传感器和热敏电阻领域的创新。提供玻璃头、单端、环氧等多种封装方式的产品，如环氧封装、单端玻封、二极管型、温度传感器等热敏电阻和传感器，运用先进的NTC和THERMISTOR技术，满足各行业多样化需求。
CCE是基于互联网+市场下的中国本土数字整合营销广告和传播集团。公司的主营业务涉及到数字营销的方方面面,创意营销,大数据营销,社会化营销和品牌O2O技术整合营销成为公司的4大支柱营销广告业务。同时不断投入的互联网技术产品和解决方案研发,以及不断实践创新的效果营销团队,保证了CCE在数字整合营销领域独树一帜,高速发展。
奇货可查让交易变得更简单
现在很多游戏的类型都属于是非对称对抗性的款式，那么玩家们知不知道非对称对抗手游有哪些呢，要是对此还不甚了解的话，小编建议大家可以来到这篇文章，因为下面的内容都是你们所欲求的，并且其特色和风格都有所不同，最适合喜欢尝新的玩家们了，相信你们一定会很喜欢下面的这些非对称对抗的游戏，1、，伊甸之战，超多阵营交织在一起，玩家们进入，伊甸之战，手...。
种豆南山，美好的田园生活，是很多都市青年所向往的，在一些农场类游戏中，你就可以了解到一些农场的知识，以下是经典的农场类游戏有哪些2022，想要拥有一段难忘的种田之旅吗，想要见证各类农作物成长的全过程吗，这些问题的答案，就在下面的文章当中，1、，小森生活，游戏把日式乡村，完整地搬到了游戏之中，玩家可以体验到日本农民的日常生活，在种地之余...。
procreatepocket怎样新建调色板，procreatepocket在用户作画之前是可以先调好作品的颜色的，你可以设置好调色板，这样在作画的时候会更加的轻松，那么应该怎么设置呢，一起来看看吧！...。
3月15日消息，继揭露食物相克、季节性等谣言之后，今年的央视315晚会还打破了多个有关鸡蛋的谣言，如鸡蛋黄胆固醇高不宜多吃、土鸡蛋比普通鸡蛋更有营养等，都是没有科学依据的，实际上，鸡蛋中除了有胆固醇，蛋黄还含有卵磷脂，卵磷脂可以组织胆固醇或者脂肪在血管壁上沉积，所以对于正常人来讲，以后我们再吃鸡蛋时，可以合着蛋黄一起吃，不必把蛋黄扔掉...。
24号晚上，大疆的官微在与网友互动的时候发了一张动图，图片中有五个手机壳，手机壳上分别印了大疆精灵、悟、OSMO、Ronin，MX以及无人机遥控器的艺术形象，不少DJI的粉丝在下面留言问手机壳怎么才能得到，今天大疆给出答案了——去大疆商城买，这确实是一件让人没想到的事儿，大疆居然出周边了，雷锋网到大疆官方商城逛了一圈，发现大疆这次发的...。
发表在投影仪百科2019，7，119，29不知道大家在使用投影机的时候有没有遇到这样的情况，在开机播放十几分钟后，就会出现画面文字模糊的情况，需要反复调焦才能稳定观看，这其实是投影机镜头的一种热失焦的表现，什么是，热失焦，此处内容被隐藏，回复本帖后可见热失焦被称为投影行业的顽疾，所有的投影机都无法避免地存在热失焦现象，相对于传统投影...。
全球海上风电业的发展已经进入了一个新的阶段，欧洲国家如德国、瑞典和法国在这一领域占据了领先地位，德国尤其引人注目，其海上风电场建设规模庞大，安装容量位居第一，成为了欧洲风电的中心地带，丹麦则凭借其在风力发电领域的领导地位，拥有世界上最大的海上风电场，在中国，随着世界海上风电的大规模开发，海上风电场的建设也随之起步，中国东部沿海地区拥有...。
华为被美国人竭尽全力的绞杀，动用包括政治、外交、立法、司法、舆论、经济，乃至北约同盟施压、高管人身绑架等无所不用其极的各种卑劣手段，前后经过五轮绞杀，乃至美国前所未有的专门为华为制定特殊绞杀条款，任何美国技术含量超过0%的产品未经美国人许可不允许卖给华为，但是最终，华为已经存活下来三周年了，这是个奇迹，当年各种带路党和华为黑们幸灾乐祸...。
PDMan是一款非常优秀的免费数据库建模工具，是继PowerDesigner之后更好的免费的替代方案，该应用程序具有颜值高，使用简单的特点
单机游戏，单机游戏如何，什么单机游戏，哪些单机游戏，怎么单机游戏
外观霸气/内在智能新款福特F-150正式发布,福特,新车,内饰,发动机,尾门
360卫士极客版下载-360手机卫士极客版是全球首家完美适配AndroidL系统的手机安全软件，360卫士极客版无论UI还是功能都强大了不少，在一些优化上也做的不错，还是熟悉的味道，壮哉我大360，您可以免费下载安卓手机360卫士极客版。
为了回馈千万家庭，1月中旬，卡诺亚倾情推出，迎新春，焕新家，促销活动，秉承，衣柜一口价，环保升级不加价，的活动理念，让消费者享受到性价比与环保，双高，的定制商品，活动期间，遍布全国的1000余家卡诺亚专卖店迎来了客流高峰，掀起了热卖狂潮，前来咨询定制家具的业主络绎不绝，成交单值不断刷新记录，随着产品的热销，各专卖店的订单总额迅速超越销...。
Android发现新病毒，每天1.3万部安卓手机和100万个账号被控制据外媒报道，互联网安全公司CheckPoint今日发布报告称，一款名为，Gooligan，的特洛伊木马程序将自己伪装成合法应用来入侵Android智能手机和平板，自8月份以来100多万个谷歌账号已被病毒控制，而StopWatch、PerfectCleaner和WiF...。
8月21日，由中国工程院院刊，Engineering，、中国人工智能学会、中国工程院院刊信息与电子工程领域分刊，FITEE，联合主办的Engineering大讲堂暨，智行中国，第五期系列论坛在浙江大学举行，论坛围绕基座模型基础理论、AI，X垂直领域赋能应用及基座模型评测体系等问题邀请领域专家展开了深入探讨，在论坛上，由浙江大学联合阿里...。
雷锋网按，8月7日，8月9日，2020第五届全球人工智能与机器人峰会，CCF，GAIR2020，于深圳正式召开，峰会由中国计算机学会，CCF，主办，雷锋网、香港中文大学，深圳，联合承办，鹏城实验室、深圳市人工智能与机器人研究院协办，得到了深圳市政府的大力指导，旨在打造国内人工智能领域极具实力的跨界交流合作平台，是国内人工智能和机器人领...。
要闻提示1.俞敏洪20年好友曝罗永浩五宗罪，不择手段、人品极差的跳梁小丑2.雷军，我倒霉的地方就是老跟苹果华为比3.四大巨头包下3nm产能后，中国大陆客户被曝加码追订，愿支付台积电40%溢价4.小米王化辟谣MIUI体验总负责人金凡离职，他在闭关，年内出关5.中国恒大，公司寻求向许家印、丁玉梅等7名被告收回股息及酬金共约60亿美元6.荣...。
