VLM 模型 生图超级外挂！贾佳亚团队提出 Mini (m-v模型)
更高清图像的精确理解、更高质量的训练数据、更强的图像解析推理能力，还能结合图像推理和生成，香港中文大学终身教授贾佳亚团队提出的这款多模态模型Mini-Gemini堪称绝绝子，相当于开源社区的GPT4+DALLE3的王炸组合！
Mini-Gemini还提供了2B小杯到34B的超大杯，最强模型在多个指标上相比Google Gemini Pro甚至GPT-4V都不遑多让。目前，Mini-Gemini从代码、模型、到数据已全部开源，登上了PaperWithCode热榜。
Mini-Gemini线上Demo也已发布，超会玩梗，一起来体验下！
Mini-Gemini Demo放出后受到广大网友关注，一番“品尝”后，他们认为Mini-Gemini跟商业模型差不了多少！
目前，绝大多数多模态模型仅支持低分辨率图像输入和文字输出，而在实际场景中，许多任务都需要对高清图像进行解析，并用图像的形式进行展现。
如上图所示，Mini-Gemini不仅能够根据图片对做面包的过程进行手把手教学，也能够准确将不同电脑品种根据图片中的各种参数进行对比。网友表示：妈妈再也不用担心我的生活了。
更重要的是，Mini-Gemini在保留超强的图像理解和推理能力的同时，还解锁了图像的生成能力，就如同ChatGPT和生成模型的结合。
下面，让我们通过几个例子来更直观地感受这种能力：
还记得Google Gemini的官方展示视频么？当用户给出两个毛线团并问出能用它们做什么时，Gemini可以识别出图片内容并给出相应的建议。
当我们把相似的输入给到Mini-Gemini，它会怎么回答呢？
可以发现，Mini-Gemini也可以识别出图片中的元素，并且合理地建议，同时生成了一只对应的毛线小熊。
通过一些抽象的多模态指令来让模型给出推理，并生成合适的图片，这个操作就很像是ChatGPT和DALLE3的联动了！
接下来让Mini-Gemini做自己最擅长的推理和图片理解，看看它表现：比如理解图片中的矛盾点并举一反三——输入冰川中的仙人掌，它会解释其中的矛盾并生成一张热带雨林中北极熊的图片：
图片呈现了仙人掌的典型栖息地与冰的存在之间的视觉矛盾，因为在沙漠环境中自然不会出现冰。这种矛盾的类似例子可能是一只北极熊出现在热带雨林中，因为北极熊适应于寒冷、覆盖着冰的环境，在炎热潮湿的气候中无法生存。这种并置创造了一个引人注目且超现实的视觉效果，挑战观众的期待，并可能引发人们对气候变化、环境适应或不同生态系统融合的思考。
同时，正如ChatGPT+DALLE3的梦幻结合一样，Mini-Gemini的“推理生成”功能还可以在多轮对话中通过简单指令生成连环小故事。
比方说，让它根据用户输入讲一个贵族小老鼠的故事。Mini-Gemini会根据前文的文字生成结果和用户输入进行推理，在保持一致性的情况下对图片进行修改，使其更符合用户的要求。
当然，Mini-Gemini对于多模态模型的传统技能图片理解也不在话下。比方让模型理解输入曲线图的数学意义（高斯分布），并让它使用代码复现这张图，通过运行生成的代码，模型可以高质量地还原曲线图，节省了复现的时间。
又或者让Mini-Gemini理解梗图，通过其强大的OCR和推理能力，也可以准确指出笑点。
高清复杂的多图表理解和归纳也是小菜一碟，Mini-Gemini直接秒变打工人效率提升的超级外挂。
问题来了，Mini-Gemini是怎样做到这种惊艳的效果呢？核心在于三点，(1) 用于高清图像的双编码器机制，(2) 更高质量的数据， (3) 训练阶段结合生成模型数据拓展。
大道至简，Mini-Gemini的整体思路并不复杂。其中的Gemini（双子座）表达的是使用视觉双分支的信息挖掘（Mining-Info inGemini）解决高清图像理解问题。
详细来说，Mini-Gemini将传统所使用的ViT当做低分辨率的Query，而使用卷积网络(ConvNet) 将高分辨率的图像编码成Key和Value。使用Transformer中常用的Attention机制，来挖掘每个低分辨率Query所对应的高分辨率区域。从而在保持最终视觉Token数目不变的情况下去提升对高清图像的响应，保证了在大语言模型 (LLM) 中对于高清图像的高效编码。值得一提的是，由于高分辨率分支卷积网络的使用，可以根据需要对图像所需的分辨率自适应调整，能够遇强则强。对于图像的生成部分，Mini-Gemini借助了SDXL，使用LLM推理后所生成的文本链接两个模型，类似于DALLE3的流程。
而对于数据这个万金油，Mini-Gemini进一步收集并优化了训练数据的质量，并加入了跟生成模型结合的文本数据进行训练。在仅使用2-3M数据的情况下，实现了对图像理解、推理、和生成的统一流程。
Mini-Gemini在各种Zero-shot的榜单上毫不逊色于各种大厂用大量数据训练出来的模型，可谓是“平、靓、正” ！
可以看出，Mini-Gemini提供了多种普通和高清版本的模型，并且覆盖了2B的小杯到34B的超大杯，各个版本都取得了相似参数量下领先的效果，在许多指标上甚至超越Gemini Pro和GPT-4V。
值得一提的是，Mini-Gemini的图像理解和生成能力已经出了Demo，可以在线跟自定义图像对话的那种。
操作也极其简单，直接跟输入图像或文字进行对话即可，欢迎来撩！
Github地址：
Demo地址:
论文地址：
模型地址：
数据地址：
文章
原创文章，未经授权禁止转载。详情见 转载须知 。
本文地址： /article/035becb6e71f1e05901e.html
懒人听书是4.8亿用户选择的综合性有声阅读交流平台。热门IP入驻，知名主播云集，原创小说、经典文学、海量精品栏目共筑有声阅读生态圈，解放双眼，畅听世界
济宁剧院管理有限责任公司,济宁运河音乐厅,济宁声远舞台济宁市运河文化广场主体楼即运河音乐厅。由苏州设计院设计的一座仿古建筑，是以公益性文化活动为主的综合性文化活动场所。
东立智能销售的产品有:徕卡,金相显微镜,半导体显微镜,扫描电镜,激光共聚焦显微镜,电子万能试验机,拉力试验机,直读光谱仪,显微硬度计,三坐标测量仪,影像测量仪等产品的销售与服务。
南通复源新材料科技有限公司
安徽同运环保机械有限公司成立于2018年9月17日。19年5月投产。公司坐落于皖中腹地，庐江县北部，东连巢湖、南接铜陵，北临肥西三河镇，西有京九铁路。合铜公路、同白公路、新白公路穿境而过，交通便利风景优美。注册资金1000万元人民币。主营范围：环保机械、钢结构及设备钢结构、钢桥梁、轨道设备、异形钢构件制作、安装；钢结构平台制作、安装等项目
酷旅互动数据是旅游大数据应用服务专家，提供全域旅游整体营销、全域旅游大数据中心服务及旅游精准营销投放服务。
北京青爱教育基金会的前身为青爱工程。青爱工程全称为：中国青少年艾滋病防治教育工程，启动于2006年12月23日。原简称“青艾工程”，2009年，经形象大使白岩松建议，改为“青爱工程”。2011年11月1日，成立中华儿慈会青爱工程专项基金。咨询热线：010-84404273。
永乐中村（苏州）物业服务有限公司
和诺是领先的济南劳务派遣公司，专业提供济南劳务派遣、济南劳务派遣公司、济南人才派遣、济南人才派遣公司、济南人力资源派遣、山东劳务派遣、山东劳务派遣公司，电话:400-666-5698
金万维作为国内受信赖的企业数字化互联网平台，通过提供智联、智选、智服的互联网平台服务，与1500+各行业领先的ISV及5000+软件经销商伙伴，共同为全球500万企业用户提供产品及服务，引领行业发展
东莞市创音电声科技有限公司成立于2005年，专注电声配件领域17年,年产喇叭6000万只，耳套3000万只，为中、高端耳机提供合适的喇叭、耳套、头带_电子电工
海口中学网站
智能投影仪芯片作为设备的，大脑，，直接影响着用户的观看效果和使用体验，常见的高端类投影仪芯片型号有联发科旗下的MT9679、MT9669、MT9671、Mstar6A938、Mstar6A848等，2023版新一代华为海思芯片V811目前也加入了投影仪芯片阵营，那么新一代华为海思芯片V811有哪些升级，对比MT9679区别又有哪些，一...。
人工智能行至2024，又见奇点潮涌，ToB市场的躁动与狂热说明一切，但置身其中的产业先行者们依然保持着清醒，在2025年伊始，我们与10位ToB领域CEO展开深度对话，探讨他们对中国企业级市场的思考，回顾2024的机遇与挑战，展望新一年的破局之道，他们所带领的团队，有深耕企业服务多年的SaaS企业，也有在云计算赛道沉淀多年的玩家，有专...。
雷锋网按，此次的微软发布会备受关注，尤其是Windows10被一致认为是微软的救命稻草，那么，Windows10做到了吗，2015年1月22日凌晨，微软正式发布了横跨移动、桌面、XBOX的新版操作系统Windows10，在苹果之后，微软终于想到了要打通移动和桌面，也把游戏整合了进来，从新版操作系统的特性上看，桌面版本终于不再强迫用户继...。
雷锋网按，对于腾讯而言，最难的事情往往不是当下，而是如何站在当下去定义未来，昨天，腾讯公布了2021年第三季度财报，尽管有关SaaS的篇章还不足以作为腾讯ToB面貌的整体概括，但它却描述出了腾讯投身数字经济建设的一个可展望的未来，产业互联网的竞争赛点如果依然停留于单纯云资源的消耗上，客户、应用服务商都将很难进一步做大做强，一转眼，腾讯...。
P3职级解约、P4职级转岗，理想汽车因业务调整毁约校招生5月11日，社交平台上多名网友表示，理想汽车毁约了2022届入职的校招生，其中有部分校招生已经和理想汽车、学校签署三方协议，等待毕业答辩后入职，有被调岗的理想汽车员工透露，今天上午收到的岗位调整邮件，通知从企业系统部门转岗到其他部门面试，该员工表示，P4职级的应届生是转岗，同岗位...。
发表在当贝投影仪2022，12，916，25随着技术的不断提高，超短焦投影仪的价格越来越低，而如今那些价格实惠的超短焦投影仪究竟如何呢，下面就选择三千元价位中高热度的当贝U1和坚果O1S进行实测分析，看看高性价比的超短焦投影仪究竟如何，1.当贝U1和坚果O1S外观对比当贝U1和坚果O1S两款投影的外观、配色和体型都有着很大区别，和传统...。
文字链接认证代码普通联盟标志认证代码企业广告联盟标志认证代码广告联盟评测代码说明，本页面的认证代码为梦芭莎网站广告联盟专用评测代码，站长需懂简单html知识，直接复制代码粘贴到联盟网站相应页面即可使用，本代码不适用于其他广告联盟网站请勿获取！文字认证，文字链接代码认证适用所有类型的广告联盟，复制代码后放在梦芭莎网站广告联盟网站首页底部...。
definitely英[defɪnɪtlɪ]美[dɛfɪnətli]adv.清楚地，当然；明白地，必需地[比拟级moredefinitely最初级mostdefinitely]双语例句hasnotyetdefinitelysettled.这事还没有明白处置，definitelynot.不，相对不会，definitelywantthi...。
[全球网报道记者李梓瑜]俄罗斯卫星通信社7月2日征引澳大利亚，悉尼先驱晨报，信息称，知情人士泄漏，澳大利亚总理阿尔巴尼斯选择不参与行将在华盛顿举办的北约峰会，将派出由澳大利亚副总理兼国防部长理查德·马尔斯率领的代表团参会，悉尼先驱晨报，称，阿尔巴尼斯原本估量与日本、韩国和新西兰等所谓，印太四国，成员独特参与下周二开局的北约成立75周...。
现状，大在校生务工日渐，多样化，搓澡工5000名大在校生应聘洗浴核心4成愿当搓澡工总经理助理工时贴补每小时1元，搓澡工贴补每小时58元，应聘者肯定大专以上学历，由某企业举行的这个招聘吸引了5000多名大在校生应聘，从收到的5000多份上岗放开来看，其中4成愿当搓澡工，[具体]修车清华在读博士生辞职修电动车董冰，清华大学在读博士生，辞职...。
CBR250的车在99年之后就再也没消费过国际必需没有买全新车香港，日本，台湾，欧美等等环球各地也不会再有全新车了不过CBR250MC22不全是废铁只管年数久了然而车况过的去的车还是有的就是比拟少像99年的一部MC22的好车要卖左右当然MC22这样的小排量更适宜新手玩玩上上手网上四处是骗子不过也有真的我介绍你看看2个网站只是介绍而已，...。
柳青正式担任波音中国总裁,民航,二战,歌仔戏,波音中国,波音公司,华语音乐,空客飞机,闽南语音乐,柳青(演员)
抖音聊天Mac版是Mac电脑上的一款抖音推出的桌面端聊天软件。抖音聊天Mac版，随时随地，相互陪伴，支持Windows、Mac双端;您可以免费下载。
罗技鼠标键盘驱动(logitechsetpoint),罗技鼠标LogitechSetpoint驱动，是一款几乎包含了当下所有罗技鼠标的驱动程序，所以这个驱动包有点大,您可以免费下载。
柳青正式担任波音中国总裁,民航,二战,歌仔戏,波音中国,波音公司,华语音乐,空客飞机,闽南语音乐,柳青(演员)
狼蛛天脊鼠标驱动是款针对狼蛛旗下的天脊鼠标打造的驱动程序。用户可以借助这款软件快速解决鼠标无法识别等问题，非常实用。有需要的用户不要错过了。鼠标特色1.炫酷游戏鼠外形，人体工程学设计。2.最高解析度：5000DPI，4档循环切换;滚轮DPI指示：750DPI(红)-1750DPI(蓝)-3000DPI(绿)-5000DPI(粉),配合驱动以50DPI为步进可调。3.狼蛛天脊鼠标驱动最新版高端光学引擎，定位精准，最
WordPress是一种使用PHP语言开发的博客平台，用户可以在支持PHP和MySQL数据库的服务器上架设属于自己的网站，也可以把它当作一个内容管理系统（CMS）来使用。
