解锁多模态大模型 大模型 港中文贾佳亚团队提出 LISA 推理分割 能力 (多模态界面)
当前的视觉识别系统都依赖人类用户明确指代目标物体或预先设定识别类别，进而进行识别。它们仍然只能处理简单明确的指令（如“橙子”），而无法解析相对隐式和复杂的指令（如在下图中指出 “维生素C含量高的食物”）。
而真正的智能感知系统应该根据用户指令推理其真实意图。例如，在指示机器人时，人们往往倾向于直接给一个指令“我想要看电视“，而不是分几个步骤”走去茶几旁边，帮我找到遥控器，然后按下按钮打开电视“。这些场景都要求感知系统具有复杂推理和联系世界知识的能力。
最近，香港中文大学贾佳亚团队发布一项新研究，提出一项新任务——推理分割（Reasoning Segmentation），该任务要求模型能够处理复杂的自然语言指令，并给出精细的分割结果。
如上图所示，推理分割任务具有很大的挑战性，可能需要借鉴世界知识（例如，左图需要了解“短镜头更适合拍摄近物体”），或进行复杂图文推理（如右图需要分析图像和文本语义，才能理解图中“栅栏保护婴儿”的含义），才能获得最终理想的分割结果。
尽管当前多模态大模型（例如Flamingo [1], BLIP-2 [2], LLaVA [3], miniGPT-4 [4], Otter [5]）使得AI能够根据图像内容推理用户的复杂问题，并给出相应的文本分析和回答，但仍无法像视觉感知系统那样在图像上精确定位指令对应的目标区域。
因此，此项研究工作提出LISA（Large Language Instructed Segmentation Assistant）多模态大模型。LISA通过引入一个
同时，该工作还创建了ReasonSeg数据集，其中包含上千张高质量图像及相应的推理指令和分割标注。
实验证明，在训练过程中仅使用不包含复杂推理的分割数据（通过将现有的语义分割数据如ADE20K [6]，COCO-Stuff [7]以及现有指代分割数据refCOCO系列 [8]中的每条数据转换成“图像-指令-分割Mask”三元组） ，LISA能在推理分割任务上展现出优异的零样本泛化能力。此外，进一步使用239个推理分割数据进行微调训练还能显著提升LISA在推理分割任务上的性能。而且LISA还表现出高效的训练特性，只需在8张具有24GB显存的3090显卡上进行10,000次训练迭代，即可完成7B模型的训练。
技术方案概述
首先将图像和文本送到多模态-大语言模型（在实验中即LLaVA），得到输出的文本结果，如果此时文本结果包含
如果存在
LISA在训练过程中使用了自回归交叉熵损失函数，以及对分割结果监督的BCE和DICE损失函数。
模型效果
最终，LISA不仅在传统的语言-图像分割指标（refCOCO、refCOCO+和refCOCOg）上展现出优异性能，还能处理以下分割任务情景：1）复杂推理，2）联系世界知识，3）解释分割结果以及4）多轮对话。
在有复杂情景的ReasonSeg数据集上，LISA显著领先于其他相关工作（如Table 1），进一步证明其出色的推理分割能力。
效果展示
版权文章，未经授权禁止转载。详情见 转载须知 。
本文地址： https://www.gpxz.com/article/ee5369148c5ddc9d33ea.html
有点网，手上有点活儿，分享各种手工制作教程！主要内容包括：纸艺折纸、剪纸、卷纸，布艺包包、服饰、玩偶，皮艺皮包、皮具、饰品，软陶、轻粘土、橡皮泥，编织中国结、毛线针织、藤编草编，雕刻雕塑、骨雕、根雕、核雕、玉雕、木雕，刺绣、十字绣，绘画等等手工制作教程大全。有点网，好手艺！
江苏启翔光电（153-6685-3222）是专业的LED路灯厂家,是太阳能路灯,监控杆,道路灯,LED路灯,监控杆,升降高杆灯,多功能杆,综合杆等多种产品专业开发、生产和销售的生产厂家。厂家价格质量售后保证。
浙江宁波辰宁新风系统主要生产除湿机，工业除湿机，除湿设备，冷风机，冷气机，水冷风机等新风除湿设备，公司拥有二千多平方米仓库。
四川省能源投资集团有限责任公司成立于2011年2月21日,注册资本93.16亿元。公司为四川省人民政府批准,在四川省工商局依法注册登记的国有资本投资公司，是四川推进能源基础设施建设、加快重大能源项目建设的重要主体。
我们是一家专业的网站建设公司，致力于为客户提供高质量的网站设计和开发服务。我们拥有一支经验丰富、技术娴熟的团队，能够根据客户的需求和要求，设计出具有创意和吸引力的网站。
分享最新的手游攻略，专注于手机游戏攻略与手游兑换码。
江苏美城街具工贸有限公司是一家专门从事候车亭、公交候车亭、智能候车亭、仿古候车亭生产制作的生产厂家，专业设计和生产市政设施系列产品和工程配套设施系列产品。
317护是集护士培训考试、患者宣教解决方案为一体的云服务平台。与超过1000家医院合作，为超过50万护士提供便捷的护士培训考试服务，有超过300万患者享受了先进的健康宣教服务。
泉州老蔡原味膳饮食有限公司,老蔡鸭肉面线,鸭肉面线,老蔡原味膳
美拍网是中国领先的短视频社交平台，致力于为用户提供便捷、有趣、高品质的短视频创作与分享体验。我们提供简单易用的短视频创作工具，丰富的滤镜、贴纸和特效，以及便捷的短视频分享平台，让用户轻松创作、分享和欣赏短视频。
陇州人-陇县人的信息平台
深圳欧米智能科技有限公司是一家专注于智慧出行系列和电动自行车充电桩系列产品的研发、生产、销售，集软硬件开发为一体的国家级高新技术企业。产品获得的证书有实用新型专利、发明专利、外观专利、CE、ROHS等。
朋友可以说是一个游戏的最高配置了，与朋友一起玩游戏能度过一段很美好的游戏时光，那么有什么可以一起玩的手机游戏大家知道吗，今天小编就给大家带来五款可以一起玩的联机手游，这五款游戏虽然玩法各不相同但是都很火热，很适合和朋友一起玩，1、，原神，作为国内最火的开放世界探索类型的手游，可以说该游戏的粉丝量众多，在游戏当中，你可以感受到这片奇幻大...。
楼主失业8个多月，最近开始做众包外卖，众包和专送外卖员最大的区别就是，众包你想上班就上班，想下班就下班，当然配送费肯定没有专送外卖员的高，专送外卖员没做过，不过我也听说每天都有上下班打卡，还有规定完成多少单，有规章，感觉跟以前上班差不多，所以就不想做专送外卖员，我最近做众包外卖员的体验就是，想上班就上班，想下班就下班，不用动脑筋，不用...。
消息，近日，上海复星医药与英矽智能达成合作协议，在全球范围内共同推进多个靶点的AI药物研发，这项战略合作包括针对四个指定靶点的以人工智能驱动的药物研发合作，以及双方对于英矽智能QPCTL项目的共同开发合作，根据协议，英矽智能将获得1300万美元的首付款，及里程碑式付款，并分享QPCTL项目的商业化利润，此外，复星医药将向英矽智能...。
2005年3月16日，一架俄罗斯安，24客机在阿尔汉格尔斯克州涅涅茨自治区的中转机场附近遭遇故障，不得不紧急迫降，结果一侧机翼触地，飞机瞬间起火，机上45名乘客和7名机组人员中有28人不幸罹难，同年6月2日，苏丹一家私营航空公司的安，24飞机在喀土穆机场的紧急迫降中偏离跑道，造成42名乘客和6名机组人员中有3人遇难，多人受伤，8月2日...。
手机复原精灵软件不须要花钱的，间接下载经常使用，工具，戴尔K550、Win11、网络阅读器12.3版本，1、网络搜查输入，手机数据复原精灵，，找到手机数据复原精灵的百科，点击进入，2、进入手机数据复原精灵的百科页面后，往下翻，找到参考资料上方的网页，点击一下，3、进入页面可以看到，该款软件是收费的，点击下载就可以了，关键配置，无论是短...。
作为国际出名的轻型商用车制造商，华晨金杯的品牌价值和市场影响力不时位居行业前列，面向现代物流、市区快递、游览应酬、校车接送等市场需求，华晨金杯推出的面包车以其稳固性和牢靠性备受用户青眼，上方就为大家引见一下华晨金杯面包车的报价及其图片，1.阁瑞斯CV系列这是一款以宽阔温馨、安保牢靠、经济适用为主打特点的面包车，提供了9座、15座、18...。
本田CR，Z是一款混合能源跑车，搭载1.5升人造吸气四缸发起机，其长宽高区分为4080mm，毫米，、1740mm，毫米，和1395mm，毫米，，轴距为2435mm，毫米，，是一款三门四座硬顶跑车，本田CR，Z的1.5升人造吸气发起机最大功率83kw，最大扭矩144Nm，该发起机驳回多点放射技术，经常使用铝合金气缸盖和铸铁气缸体，只管铸...。
促销，58同城上海看车是为了促销推行的套路，58同城，简称58，是一家位于中国北京市的生存服务及分类消息网站，由北京五八消息技术有限公司领有，开创人是姚劲波，成立于2005年12月12日，上海58同城招聘网上的招聘消息是不是真的啊，您好，58同城是提供用户收费颁布消息的平台，咱们有专门的上班人员每天在致力检查全国用户颁布的海量消息，然...。
影视大全下载最新版官网收费版，哪些软件是咱们想要的呢，上方深空小编就跟您介绍几款比拟适合的软件或许app给您参考，1.开局影视最新版软件类型，安卓APP软件引见，开局影视为啥不上，开局影视app最新版本是一款全新更新的手机看片神器，开局影视安卓系统最新版本为各位带来了少量国际和国外影视资源，超清顺畅收费在线观看，使你体验最完美的观影体...。
GTDesigner3是一款非常强大并且好用的三菱触摸屏编程软件，该软件适用于三菱触摸屏，内置了非常丰富的编程开发功能，有了它，你就可以随心所欲的进行编程，并且该版本为系列最新版，拥有多个全新功能，而且性能也得到了大大的提升。
火狐浏览器(FireFox)26版,火狐浏览器FireFox26版是一款支持CSS图片方向属性的经典版本浏览器，使用这款老版浏览器可以让你体验IndexedDB允许优化方式存储时，不弹出任何提示的强大版本，让你体验纯净的开发过程。,您可以免费下载。
接着吹上回的牛逼哈，今天做吹牛逼的嘉宾是陈总，陈总找我，他说小胖哥今年双十一应该卖得不错吧，我说，双十一很闲，没怎么卖，我这边基本上没有做购物的电商了，基本上国内的我做的是电商服务，他问，小胖哥，今年做电商服务怎么样，我看你好像也在做跨境电商，我说，是的，现在就做两件事，一件是东南亚跨境电商，然后还有一件就是谷类的做电商的各种服务，他...。
在，移动的帝国，日本移动互联网兴衰启示录，一书中，曾这样讲道，，日本堪称移动的帝国，在手机游戏、手机支付、移动医疗、移动电子商务、手机电视等方面，日本都充当了全球移动互联网的试验田，本文作者Jacky在大学毕业后2001年就来到东京进入了日本IT行业，亲身经历了日本的互联网、移动互联网、移动支付、移动社交、机器人等领域的崛起和兴衰，...。
如今餐饮市场上，很多产业逐渐走向健康养生理念，这样的契机下，很多健康美食取得了不错销售市场，老汤和乌鸡米线采用乌鸡熬汤，营造出温润滋补的美食体验，加之各类小吃，美味融合，迎合各类饮食追求，无数消费者的追求下，很多创业者也纷纷加深了加盟开店的想法，那么老汤和乌鸡米线加盟靠谱吗，条件多不多，老汤和乌鸡米线加盟靠谱吗门店采用中央厨房集成切配...。
工业互联网如何实现数据安全的要求，在25日举行的，工业互联网安全讲坛，上，蚂蚁集团副总裁韦韬表示，工业互联网将迎来数据密态时代，而可信隐私计算将是支撑其实现的关键技术，可以在未来，东数西算，等大规模数据场景中发挥重要作用，工业互联网安全讲坛，，由国家工业信息安全发展研究中心主办，目前举办到第五期，该讲坛聚焦新一代信息通信技术与工业经...。
12日，第十五届中国国际航空航天博览会在广东珠海揭幕，本届航展规模绝后，展馆面积和展品数量创历史新高，初次打造，空、海、陆，一体的灵活展示新格式，十大，史无前例，震撼亮相，尽显逐梦长空的中国力气，歼，35A亮相空军，新三剑客，同框本届航展，歼，16、歼，20、歼，35A初次同飞，我军在隐身平台上的装备出现多样化、协异化趋向，航展首日，...。
