VLM 模型 生图超级外挂！贾佳亚团队提出 Mini (m-v模型)
gpt4+DALLE3 王炸" src="http://www.gpxz.com/zdmsl_image/article/20241203173709_56863.jpg" loading="lazy">
更高清图像的精确理解、更高质量的训练数据、更强的图像解析推理能力，还能结合图像推理和生成，香港中文大学终身教授贾佳亚团队提出的这款多模态模型Mini-Gemini堪称绝绝子，相当于开源社区的GPT4+DALLE3的王炸组合！
Mini-Gemini还提供了2B小杯到34B的超大杯，最强模型在多个指标上相比Google Gemini Pro甚至GPT-4V都不遑多让。目前，Mini-Gemini从代码、模型、到数据已全部开源，登上了PaperWithCode热榜。
Mini-Gemini线上Demo也已发布，超会玩梗，一起来体验下！
Mini-Gemini Demo放出后受到广大网友关注，一番“品尝”后，他们认为Mini-Gemini跟商业模型差不了多少！
目前，绝大多数多模态模型仅支持低分辨率图像输入和文字输出，而在实际场景中，许多任务都需要对高清图像进行解析，并用图像的形式进行展现。
如上图所示，Mini-Gemini不仅能够根据图片对做面包的过程进行手把手教学，也能够准确将不同电脑品种根据图片中的各种参数进行对比。网友表示：妈妈再也不用担心我的生活了。
更重要的是，Mini-Gemini在保留超强的图像理解和推理能力的同时，还解锁了图像的生成能力，就如同ChatGPT和生成模型的结合。
下面，让我们通过几个例子来更直观地感受这种能力：
还记得Google Gemini的官方展示视频么？当用户给出两个毛线团并问出能用它们做什么时，Gemini可以识别出图片内容并给出相应的建议。
当我们把相似的输入给到Mini-Gemini，它会怎么回答呢？
可以发现，Mini-Gemini也可以识别出图片中的元素，并且合理地建议，同时生成了一只对应的毛线小熊。
通过一些抽象的多模态指令来让模型给出推理，并生成合适的图片，这个操作就很像是ChatGPT和DALLE3的联动了！
接下来让Mini-Gemini做自己最擅长的推理和图片理解，看看它表现：比如理解图片中的矛盾点并举一反三——输入冰川中的仙人掌，它会解释其中的矛盾并生成一张热带雨林中北极熊的图片：
图片呈现了仙人掌的典型栖息地与冰的存在之间的视觉矛盾，因为在沙漠环境中自然不会出现冰。这种矛盾的类似例子可能是一只北极熊出现在热带雨林中，因为北极熊适应于寒冷、覆盖着冰的环境，在炎热潮湿的气候中无法生存。这种并置创造了一个引人注目且超现实的视觉效果，挑战观众的期待，并可能引发人们对气候变化、环境适应或不同生态系统融合的思考。
同时，正如ChatGPT+DALLE3的梦幻结合一样，Mini-Gemini的“推理生成”功能还可以在多轮对话中通过简单指令生成连环小故事。
比方说，让它根据用户输入讲一个贵族小老鼠的故事。Mini-Gemini会根据前文的文字生成结果和用户输入进行推理，在保持一致性的情况下对图片进行修改，使其更符合用户的要求。
当然，Mini-Gemini对于多模态模型的传统技能图片理解也不在话下。比方让模型理解输入曲线图的数学意义（高斯分布），并让它使用代码复现这张图，通过运行生成的代码，模型可以高质量地还原曲线图，节省了复现的时间。
又或者让Mini-Gemini理解梗图，通过其强大的OCR和推理能力，也可以准确指出笑点。
高清复杂的多图表理解和归纳也是小菜一碟，Mini-Gemini直接秒变打工人效率提升的超级外挂。
问题来了，Mini-Gemini是怎样做到这种惊艳的效果呢？核心在于三点，(1) 用于高清图像的双编码器机制，(2) 更高质量的数据， (3) 训练阶段结合生成模型数据拓展。
大道至简，Mini-Gemini的整体思路并不复杂。其中的Gemini（双子座）表达的是使用视觉双分支的信息挖掘（Mining-Info inGemini）解决高清图像理解问题。
详细来说，Mini-Gemini将传统所使用的ViT当做低分辨率的Query，而使用卷积网络(ConvNet) 将高分辨率的图像编码成Key和Value。使用Transformer中常用的Attention机制，来挖掘每个低分辨率Query所对应的高分辨率区域。从而在保持最终视觉Token数目不变的情况下去提升对高清图像的响应，保证了在大语言模型 (LLM) 中对于高清图像的高效编码。值得一提的是，由于高分辨率分支卷积网络的使用，可以根据需要对图像所需的分辨率自适应调整，能够遇强则强。对于图像的生成部分，Mini-Gemini借助了SDXL，使用LLM推理后所生成的文本链接两个模型，类似于DALLE3的流程。
而对于数据这个万金油，Mini-Gemini进一步收集并优化了训练数据的质量，并加入了跟生成模型结合的文本数据进行训练。在仅使用2-3M数据的情况下，实现了对图像理解、推理、和生成的统一流程。
Mini-Gemini在各种Zero-shot的榜单上毫不逊色于各种大厂用大量数据训练出来的模型，可谓是“平、靓、正” ！
可以看出，Mini-Gemini提供了多种普通和高清版本的模型，并且覆盖了2B的小杯到34B的超大杯，各个版本都取得了相似参数量下领先的效果，在许多指标上甚至超越Gemini Pro和GPT-4V。
值得一提的是，Mini-Gemini的图像理解和生成能力已经出了Demo，可以在线跟自定义图像对话的那种。
操作也极其简单，直接跟输入图像或文字进行对话即可，欢迎来撩！
Github地址：
Demo地址:
论文地址：
模型地址：
数据地址：
文章
原创文章，未经授权禁止转载。详情见 转载须知 。
本文地址： http://www.gpxz.com/article/035becb6e71f1e05901e.html
【简点同城】（jiandian.net）是本地同城分类信息港网站，提供便民发帖，教育培训，房产，兼职招聘，家政服务，全职招聘，企业服务，宠物，本地生活服务，车辆买卖，二手市场，票务，旅游/酒店/签证，创业专区，企业黄页门户，以快人一步为宗旨帮助中小企业做好品牌和产品的推广与营销！
杭州创惠仪器有限公司是一家照明检测设备的研发、生产、销售和技术服务于一体的高新技术型企业。照明行业检测设备专业生产商，公司产品已涵盖光度传感器、植物生长灯、建筑照明、配光曲线、频闪测试、积分球测试仪等领域，致力于为客户提供较好、较优质的检查设备和品质服务。
北京市万宏伟业环境工程有限公司主营产品有：脱硫脱硝除尘设备、布袋除尘器、湿式静电除尘器、锅炉除尘器、旋风除尘器、静电除尘器、催化燃烧设备、矿山除尘器、单机除尘器、木工除尘器、滤筒除尘器、UV光氧净化器、活性炭吸附箱、等离子净化器、焊烟净化器、打磨工作台、喷淋塔、除尘布袋、除尘骨架、星型卸料器、、通风蝶阀、插板阀、其它除尘器配件等。
河北人才网
天都萌宠珍禽养殖基地欢迎咨询：178-5377-7444是一家羊驼,矮马,梅花鹿,鸵鸟,黑天鹅,宠物羊,宠物驴,动物表演,萌宠暖场等,售后服务好,欢迎来电咨询.
协迅保险代理有限公司
易网数据专注行业资讯发布！
广东江门鹤山市顺鹤金属制品有限公司-拉伸盆系列-手工盆系列-配件系列本公司采用国际先进的专业数控设备和生产线进行生产高端不锈钢水槽。拥有一批高端技术设计团队和经验丰富的管理团队，秉承质量至上、以客户为中心的设计理念，不断研发新产品，不断追求工艺技术的完美。现已拥有众多设计时尚、美观实用、做工精细的高端不锈钢水槽，畅销海内外。产品迅速赢得了众多消费者的追随和青睐。
DEA提供刮板薄膜蒸发器 分子蒸馏器短程蒸馏器精馏塔连续蒸发结晶 萃取塔 萃取槽 反应釜 吸收塔 卧式薄膜蒸发器 PLC自动化控制技术 筛板式精馏塔 旋转蒸发器DCS 过程控制系统教学实验装置 化工原理教学实训装置 石油炼化教学 DCS教学实训系统
网站SEO优化公司-智恒博网络【官网】135-2152-0103是有着14年的一家集网站建设,SEO优化,百度优化,谷歌优化,关键词优化,网络优化推广,搜索引擎优化的北京网站关键词优化公司,白帽SEO、精通SEO算法、丰富的优化经验,服务全国,欢迎咨询！
西安九龙山墓园经陕西省民政厅批准，市、县民政局领导下的永久性墓园。陵园地处陕西省户县秦岭九龙山风景区（夏商遗址，古称扈氏国、崇国、沣邑、县，距今4000余年历史，先后隶属咸阳、西安），是全陕西唯一的旅游风景区级天然实景墓园，墓园背靠巍巍秦岭，面向潺潺渭水，暴、竹二峪左右奔流。头枕秦岭龙脉，足蹬渭水云梯，牡丹园伴于西，宝泉寺护其东。九龙山墓园是西安墓园中真山真水，山青水秀、自然风景优美，佳境天成。传为龙子负粒ㄎ牧┱嫔砀；彩侵泄ㄒ灰豢榱龊臀穆霾⒋娴姆缢Φ兀
iCloud的，艳照门，风波还没有过去，不过对大多数人来说并不用担心，因为破解需要专业技能，但是如果你是，疯狂来往，的用户，那么你的隐私可能无意中就上传到了优酷，并且可以让所有人随意查看了，疯狂来往是在阿里巴巴的IM来往游戏平台发行的游戏，开发商是北京豪腾嘉科软件有限公司，此前一款名为疯狂猜词的游戏同样出自他们之手，游戏方式也没有差异...。
乐视7000万央视春晚广告出炉，代言人竟是他去年11月19日，乐视宣布在央视2016年黄金资源广告招标会上，以7000万成功夺得第一标，成为春节晚会上唯一一个30秒黄金广告标的互联网公司，明天就是除夕夜了，今天乐视董事长兼CEO在微博上放出了乐视猴年春晚广告人物篇——代言人郭敬明首次出境，贾跃亭表示，想飞，就别怕被枪打，喜欢这种精神，...。
七步带你认识计算机视觉，Computervision，计算机视觉是一门研究如何使机器，看，的科学，更进一步的说，就是指用摄影机和计算机代替人眼对目标进行识别、跟踪和测量等机器视觉，并进一步做图像处理，用计算机处理成更适合人眼观察或进行仪器检测的图像，学习和运算能让机器能够更好的理解图片环境，并且建立具有真正智能的视觉系统，当下环境中存...。
据雷锋网2月10日消息，Ripple首席执行官布拉德·加林豪斯，BradGarlinghouse，在雅虎财经加密峰会上表示，并不认为XRP、比特币或任何其他主要的数字货币都是加密货币，他说，我不称这些是加密货币，这不是货币，我不能去星巴克或亚马逊使用它们，我用比特币买了东西，然后我通常会问，呃，你做了第二笔交易吗，这实际上不是一种货...。
，新智驾，消息，美团自动车配送部算法负责人刘博聪，已经离职创业，2010年，刘博聪硕士毕业于卡内基梅隆大学的电子与计算机工程，ECE，专业，毕业之后加入高通，2014年，刘博聪加入百度美国研究院自动驾驶部门，2016年12月，他作为创始成员加入小马智行，负责感知技术，参与多个无人车模块设计开发，2020年12月，小马智行正式成立...。
近日大华举行了投资者问答，2021年，市场环境错综复杂，许多行业都面临疫情反复、芯片等元器件缺货、原材料价格上涨等因素的影响，在如此严峻的环境下，大华营收达到328.35亿元，比上年同期增长24.07%，2021年大华全新升级并发布了DahuaThink#战略，明确了公司将坚定AloT、物联数智平台两大技术战略，聚焦城市和企业两大业务...。
在全球文字识别，OCR，领域顶级盛会ICDAR2023上，腾讯OCR团队基于自研算法，斩获四项冠军，这是继2017年、2019年、2021年以来，连续四届参会同时创造佳绩，共获得18项官方认证冠军，展示了腾讯OCR技术在全球的一流水平，ICDAR大会是全球文档图像分析识别领域公认的权威学术会议，每两年举办一次，赛事举办至今已经吸引了超...。
早教行业作为朝阳产业，蕴藏着巨大的发展潜力，目前，80后、90后进入育龄阶段，他们对早期教育的关注和认可，在巨大的学龄前人口基数以及现代化家庭对早教开放的态度的共同催生下，形成了早教市场庞大的消费群体，根据2019年新发布的，中国早教蓝皮书，显示，目前我国早教市场规模已超2000亿，预计2025将突破4500亿元，而从托育市场来看，随...。
申明，1.以上内容仅代表揭发者自己，不代表黑猫揭发立场，2.未经授权，本平台案例制止任何转载，违者将被清查法律责任，3.黑猫揭发处置揭发不收取任何费用，凡以黑猫揭发名义不要钱的均为混充、诈骗行为，请及时报警并与黑猫官网反应，揭发邮箱heimaotousu@vip.sina.com，4.请大家选用官网渠道处置生产纠纷，不要轻信第三方机构...。
机动车备案流程首先，开车到车辆治理处，进入车辆治理处摇号，而后期待上班人员接受，而后测试车辆，而后拍照，选用车牌，付费，发放车牌和容许证，而后挂车牌，什么状况下车辆不能备案未经过正式渠道购置的车辆，未经无关部门消费容许证或出口容许证的机动车，不合乎排放规范的车辆不能备案，报废车辆，机动车报废规范，机动车不合乎国度技术规范，机动车处于查...。
软件介绍对于许多游戏玩家而言，游玩不同的游戏是他们上班、学习之余的最佳精神放松方式。然而，许多的电脑游戏都需要安装后方可游玩，而安装后也往往需要占据大量的磁盘空间。本文所介绍的游戏软件，不仅可以轻松玩游戏，还可以不占用你电脑的内存，是一款非常可贵的软件。2.软件的特点该软件采用云游戏和流媒体技术，使得玩家可以通过浏览器直接进行游戏，无需任何的下载和安装。其优点不仅在于没有游戏安装和磁盘空间问题，还在于游戏数据在云端存储、同步，玩家可以轻松在不同的终端上游戏而不必担心游戏数据的丢失。而且，该软件还拥有庞
黑色大气产品出入库表模板,黑色大气产品出入库表模板是一款功能强大，专业实用的优秀表格模板，黑色大气产品出入库表模板由PC6为您提供免费下载，源文件为Excel格式模板，大家可以直接下载源文件，以便于修改内容,您可以免费下载。
2005年左右的韩国网络游戏有哪些，曾经那个激动人心的韩国网游时代，让无数玩家沉迷其中，留下了美好的回忆，现在，想必很多玩家都怀念当年那些经典的韩国网游吧！想要重新感受当时的激情与乐趣，没问题！小编为大家精心挑选了几款经典的早期韩国网游，一起回味那段令人难忘的游戏岁月吧！1、，仙境冒险岛，在这片神奇土地上，你可以尽情享受寻找乐趣的旅程...。
很多项目，一个人单干足以，在没有月入十万之前，根本不需要招人，我们平时一说到创业，首先想到的是去注册个公司，招几个员工，然后找工厂进一批货，就开卖了，或者是找个店面，先投入几十万，把店开起来再说，在传统行业，这种创业的方式很普遍，人们总爱用产品思维去思考创业路径，现在随着移动互联网的高速发展，自由职业者越来越多，一个人可以担任多个角色...。
普罗米修斯给了人类火种，它既温暖炫目，又危机四伏，亚马逊和阿里也给无人零售点了一把火，这把火带来的是希望还是毁灭呢，市场火热去年12月亚马逊推出线下无人售货便利店——AmazonGo，顾客选好自己想要的商品后就可以直接离开，无需排队结账，无独有偶，不久前阿里也在，造物节，上推出了无人超市，淘咖啡，，用RFID和生物识别相结合的方案替代...。
雷锋网消息，2月4日，教育部官网发布提醒，各级教育行政部门、中小学和校外培训机构，在各地原计划的正式开学日之前，不要提前开始新学期课程网上教学，可安排一些疫情防护知识、心理健康辅导、寓教于乐等方面的网上学习内容，确保学生度过愉快的假期，提醒广大家长，在防控疫情严峻形势下，把孩子身心健康放在第一位，珍惜宝贵假期，不过度施加压力，科学、适...。
本周，六家国有大行均已披露2021年一季报，不难看出去年疫情的影响正在逐步消退，营业收入和净利润增速都延续了去年下半年以来的良好态势，大行们普遍用，开局良好，来评价总结，一季报各项数据比对来看，工行的营收额与净利润额继续领跑国有大行；增速上则是邮储拔得头筹，工行和建行的不良率与去年末持平，其余4家的一季度末不良率较去年末有所下降，AI...。
