微软亚研提出TinyMIM，用知识蒸馏改进小型ViT|实验|vit|预训练|科学家|财务报表|财务会计|tinymim
用微信扫码二维码
分享至好友和朋友圈
掩码建模（MIM,MAE）被证明是非常有效的自监督训练方法。然而，如图1所示，MIM对于更大的模型效果相对更好。当模型很小的时候（比如ViT-T5M参数，这样的模型对于现实世界非常重要），MIM甚至可能一定程度上降低模型的效果。比如用MAE训练的ViT-L比普通监督训练的模型在ImageNet上的分类效果提升3.3%，但是用MAE训练的ViT-T比普通监督训练的模型在ImageNet上的分类效果降低了0.6%。
在这篇工作中我们提出了TinyMIM，其在保持ViT结构不变并且不修改结构引入其他归纳偏置（inductIvebias）的基础上、用蒸馏的方法迁移大模型上的知识到小模型。
我们系统性的研究了蒸馏目标、数据增强、正则化、辅助损失函数等对于蒸馏的影响。在严格的只用ImageNet-1K作为训练数据的情况下（包括Teachermodel也只用ImageNet-1K训练）和ViT-B作为模型，我们的方法实现了当前最好的性能。如图所示：
把我们的方法（TinyMIM）和基于掩码重建的方法MAE，以及监督式学习的方法从头开始训练的DeiT作比较。MAE在模型比较大的时候有显著的性能提升，但是在模型比较小的时候提升幅度有限甚至会伤害模型的最终效果。我们的方法TinyMIM在不同模型的大小上都有大幅提升。
1.蒸馏的目标（Distillationtargets）:1）蒸馏token之间的关系比单独蒸馏classtoken或者特征图（featuremap）更有效；2）用中间层作为蒸馏的目标更有效。
2.数据增强和模型正则化（Dataandnetworkregularization）：1）用带掩码的图片效果更差；2）学生模型需要一点droppath，但是teacher模型不需要。
3.辅助损失函数（auxiliarylosses）：MIM作为辅助损失函数没有意义。
4.宏观蒸馏策略（Macrodistillationstrategy）：我们发现序列化的蒸馏（ViT-B->ViT-S->ViT-T）效果最好。
我们系统性的调研了蒸馏的目标，输入的图片，蒸馏目标模块。
2.1影响蒸馏效果的因素
a.中间block特征和输出特征
当i=L时，指的是Transformer输出层的特征。当i b.注意力（Attention）特征和前馈层（FFN）层特征 Transformer每一个block有Attention层和FFN层，蒸馏不同的层会带来不同的影响。 在Attention层内会有Q，K，V特征，这些特征用于计算注意力机制，我们也调研了直接蒸馏这些特征。 Q，K，V用于计算注意力图，这些特征之间的关系也可以作为知识蒸馏的目标。 传统的知识蒸馏是直接输入完整的图片。我们的方法为了探索蒸馏掩码建模模型，所以我们也探索了带掩码的图片是否适合作为知识蒸馏时候的输入。 2.2知识蒸馏方法对比 最简单的方法就是类似DeiT直接蒸馏MAE预训练模型的classtoken: 2）特征蒸馏：我们直接参考了featuredistillation[1]作为对比 我们的方法在ImageNet-1K上预训练，而且教师模型也是在ImageNet-1K预训练。然后我们将我们预训练的模型在下游任务（分类、语义分割）上进行了微调。模型表现如图： 我们的方法显著超过之前基于MAE的方法，尤其是小模型。具体来讲，对于超小的模型ViT-T，我们的方法实现了75.8%的分类准确性，相比MAE基线模型实现了4.2的提升。对于小模型ViT-S，我们实现了83.0%的分类准确性，比之前最好的方法提升了1.4。对于Base尺寸的模型，我们的方法分别超过MAE基线模型和以前最好的模型CAE4.1和2.0。 同时我们也测试了模型的鲁棒性，如图所示： TinyMIM-B对比MAE-B，在ImageNet-A和ImageNet-R分别提升了6.4和4.6。 同时蒸馏QK,VV关系而且在计算关系的时候有Softmax实现了最好的效果。 TinyMIM这种蒸馏关系的方法实现了比MAE基线模型，classtoken蒸馏，特征图蒸馏都更好的效果，在各种尺寸的模型上都是如此。 我们发现蒸馏第十八层实现了最好的效果。
本文地址： https://www.gpxz.com/article/ebbcc7ea04cd2b5a314d.html
站长之家Alexa排名查询工具提供mapbar.com网站alexa排名查询，特别是能够对网站预估收入以及网站价值进行评估的功能，帮助用户更好的提升alexa排名。
钛及钛合金材料专业供应商
量子出行司机，量子出行加盟，量子出行下载，叮叮出行加盟，叮叮出行司机，叮叮出行下载，量子一嗨，量子一嗨出行，量子一嗨下载，量子一嗨司机量子
康煌蚕丝被是高档桑蚕丝被品牌、高档欧式奢华真丝床品真丝四件套十大品牌之一.只采用100%纯天然特级桑蚕丝,重塑丝绸皇家尊贵,缔造高端优雅品质生活.
锦江区千彩阳光水族用品店多年来一直从事成都鱼缸定制,成都海鲜池定制,成都实木鱼缸等水族产品,咨询热线：18982061599
广州市飞绰网络科技有限公司
北京艺海光音科技有限公司
金华尚拙墙绘有限公司_从事景区网红墙绘，美丽乡村墙绘，地面墙绘彩绘壁画，幼儿园墙绘，酒店壁画涂鸦，墙体手绘，古建彩绘，墙面彩绘公司拥有独立的设计团队，专业的墙绘设计方案，高品质的绘画服务，赢得超千家合作单位及个人信赖，目前已打造了超300000平方米墙绘绘画案例。
杭州银浩电子科技有限公司专业从事测试仪器、电源和控制测试系统的研究、开发、生产、销售和技术服务的厂家，主营电力测功机、磁滞测功机、磁粉测功机、电涡流测功机、电动车测功机、电机出厂测试系统、电机定子测试系统、发电机测试系统、水泵测试系统、电机测试系统等，产品畅销上海、江苏、浙江、山东、广东、安徽、四川等全国各地。
自由图书，www.book5678.com提供pdf,epub,mobi,txt等格式文件资源,共享大量的图书资料,资料涵盖文学，小说，天文地理，计算机，英语等，免费为大家提供电子书下载平台，让大家早日实现读书自由！
五菱连续7年中国汽车工业30强企业,60年品牌积淀.专业生产电动观光车、高尔夫球车、燃油观光车、观光小火车等专用设备厂家,3.0阴极电泳技术,整车保用10年,一年节省80%售后费用.咨询热线:400-150-9850.
现实中玩家们很少会养鸡吧，养鸡的游戏在手机里可是有不少的哟，那么2022有没有一款养鸡然后卖鸡蛋的游戏?其实养鸡的游戏还是很多的，而且都是在乡下的农场养鸡，很多城里的小伙伴没见过养鸡农场的田园风景，玩养鸡类的游戏都会感觉到很新奇，一起来看看小编整理的养鸡游戏吧，1、，模拟农场，模拟农场，就是个可以养鸡的农场经营的游戏，在游戏里玩家是...。
当前网安行业面临的挑战包括外部攻击的增长、新兴技术带来的挑战、企业安全预算不足以及网安厂商的大面积亏损，在12月3日举行的全国工商联网络与数据安全委员会全体会议，以下简称，会议，上，360集团首席运营官叶健介绍了2024年网络安全行业面临的四大挑战，也让外界对网安行业的发展现状有了更多了解，在这场以，安全技术数智化，数字安全行业...。
思谋集团旗下安思智造首创高端MiniLED光学缺陷检测一体机，深度融合思谋的智能工业平台SMoreViMo2.0与智能化打光方案，一体化实现了针对高端屏显的双环节智能化检测，该设备在MiniLED的封装环节中可同时进行外观检测与点亮检测，能够准确检测出偏移、锡膏、亮度、缺焊等10多种缺陷特征，漏检率仅为0.05%，并可在0.005毫米...。
近黄小冒真实接触到的不少创业者因为一线城市的高房租、高成本望而却步，转而把目光投向老家所在的地级市或县城，那么在老家开店能否做的好，又该注意哪些情况呢，地市和县城消费并不像想象中的那么低黄小冒就拿黄手艺冒菜的案例说事，在广东清远，黄手艺冒菜在此区域开店多达十余家店，黄手艺冒菜在广东深圳开店的数量极少，在清远、韶关等周边市县镇开店的数量...。
如果再买不到海思芯片，我们这个月至少亏掉600万！，前不久，雷锋网AI掘金志撰文，海思，缺货，，安防，缺芯，提到，在9月15日多家供应商断供华为之前，安防市场已芯荒意乱，有人痛骂囤货涨价无理，也有人感慨后继无人凄怆，文章发布后，不少媒体相继跟进，大多谈到了安防市场缺芯现状及可能的替代方案，今天，我们沿着该话题进一步聊聊，海思缺货之...。
发表在综合交流大区2019，1，1009，41长期以来，在家用娱乐市场上，电视产品都是独占鳌头，从逐年递增的销量来看，无论是传统国内外大厂，还是新近崛起的互联网品牌，都将智能电视领域视为必争之地，不同规格尺寸和价位段，能覆盖各个阶层的消费者，消费者选购电视产品的目的很简单，因为它家里唯一的娱乐终端设备，不错的显示、具备一定的音频输出、...。
发表在投影固件2022，8，813，37本期文章给大家分享极米NEWZ6X的最新固件，V12.15.180，该固件版本更新可解决投影仪在使用过程中的一些操作类问题，想刷机的小伙伴赶紧收藏下来吧，分享不易，大家多多评论哦极米NEWZ6X全网最新固件V12.15.180分享刷机注意事项，请使用格式为FAT32的u盘进行升级，将bin文件强...。
长沙荣天租车网、长沙启豪汽车租赁、湖南晶鑫豪车租赁等，1、长沙荣天租车网，长沙荣天租车网是一家知名的汽车租赁平台，提供大巴车租赁服务，领有各种类型和规格的大巴车可供选用，包含奢侈大巴、中巴和旅行巴士等，该平台以优质的服务和正当的多少钱而知名，提供灵敏的租赁打算和牢靠的车辆，2、长沙启豪汽车租赁，长沙启豪汽车租赁是另一个备受推崇的大巴车...。
1、另外宝马5是没无机油尺的，只能在IDRIVE外面检查机油量，机油的缺失或许能否抵达了爱护期限，IDRIVE回在屏幕下方用中文和声响揭示假设车辆无机油尺，那么就看机油尺，假设没机油尺，则看到亮灯就示意缺机油了；20寸2006年宝马M550i规范轴距版的正面车身比例十分谐和，轮毂驳回双五幅的设计，标配20寸的轮毂，搭配蓝色的M套件的刹...。
惠普万能打印机驱动是一款与众不同的打印机驱动程序。该驱动支持惠普的所有打印机，不同于以往那些只能支持单个打印机的软件
罗博网课大师是一款网课录制助手软件，罗博网课大师帮助用户使用一支笔就可以录制微课，让用户在纸张上所书写或素描的内容在电脑端上直接转换为数字笔迹，非常方便。完美下载为您准备了“罗博网课大师”，欢迎大家前来下载使用
iPhone16系列逐渐被确认，iPhone14沦为牺牲品价比百元机,果粉,智能机,百元机,苹果手机,市场份额,iphone
荒野生存游戏一直都是许多玩家热爱的游戏类型之一，因为该类游戏不仅能培养玩家的危机意识，还会给玩家带来快乐，那么火爆的荒野生存游戏有哪些，小编认为荒野生存游戏必须要有独特的bgm来烘托末日氛围，还需要有一定的困难供玩家克服，因此小编从九游游戏平台找出了如下五款有这类元素的游戏，1、，阿瑞斯病毒，在该游戏中玩家将会降临在一个被丧尸侵犯了的...。
互联网赚钱项目看似很多，但真正值得做的好项目并不多，对于一个没有资源，没有技术，没有人脉的普通创业者来说，能找到一个合适的好项目，简直是上辈子积德行善修来的福分，就像遇到一个绝世好男人，概率，运气，眼光三者具备才能碰上，适合普通创业者的好项目有哪些标准呢?刚需，互联网人的刚性需求，必须品，轻创业，产品要轻，最好是虚拟产品，成本要低，最...。
热门的arpg手游排行前十名，2024年最受欢迎的arpg游戏top102024年，arpg，动作角色扮演，手游市场迎来了众多精彩绝伦的作品，每一款都以其独特的玩法和精美的画面吸引了大量玩家的关注，以下是根据网上热门文章数据整理的2024年最受欢迎的arpg手游排行前十名，让我们一同来看看这些备受瞩目的游戏吧1.二次元风格arpg全网...。
发表在坚果投影仪2023，9，2710，25坚果N1SUltra是坚果N1系列的最新产品，采用三色激光技术，那么坚果N1SUltra用什么幕布合适呢，下面就来详细了解一下，看看有哪些幕布合适坚果N1SUltra，哪些幕布对坚果N1SUltra是负增益，坚果N1SUltra用什么幕布，坚果N1SUltra由于采用的三色激光技术，根据三色...。
乳业主要销售的产品就是牛奶，奶制品，牛奶是古老的天然饮料之一，被誉为，白色血液，，对人体的重要性可想而知，牛奶顾名思义是从雌性奶牛身上所挤出来的，在不同地区，牛奶也分有不同的等级，目前普遍的是全脂、低脂及脱脂牛奶，目前市面上牛奶的添加物也相当多，如高钙低脂牛奶，其中就增添了钙质，中国的乳业相当之多，投入加盟一定要选择适合自己的，根据，...。
