微软亚研提出TinyMIM，用知识蒸馏改进小型ViT|实验|vit|预训练|科学家|财务报表|财务会计|tinymim
用微信扫码二维码
分享至好友和朋友圈
掩码建模（MIM,MAE）被证明是非常有效的自监督训练方法。然而，如图1所示，MIM对于更大的模型效果相对更好。当模型很小的时候（比如ViT-T5M参数，这样的模型对于现实世界非常重要），MIM甚至可能一定程度上降低模型的效果。比如用MAE训练的ViT-L比普通监督训练的模型在ImageNet上的分类效果提升3.3%，但是用MAE训练的ViT-T比普通监督训练的模型在ImageNet上的分类效果降低了0.6%。
在这篇工作中我们提出了TinyMIM，其在保持ViT结构不变并且不修改结构引入其他归纳偏置（inductivebias）的基础上、用蒸馏的方法迁移大模型上的知识到小模型。
我们系统性的研究了蒸馏目标、数据增强、正则化、辅助损失函数等对于蒸馏的影响。在严格的只用ImageNet-1K作为训练数据的情况下（包括Teachermodel也只用ImageNet-1K训练）和ViT-B作为模型，我们的方法实现了当前最好的性能。如图所示：
把我们的方法（TinyMIM）和基于掩码重建的方法MAE，以及监督式学习的方法从头开始训练的DeiT作比较。MAE在模型比较大的时候有显著的性能提升，但是在模型比较小的时候提升幅度有限甚至会伤害模型的最终效果。我们的方法TinyMIM在不同模型的大小上都有大幅提升。
1.蒸馏的目标（Distillationtargets）:1）蒸馏token之间的关系比单独蒸馏classtoken或者特征图（featuremap）更有效；2）用中间层作为蒸馏的目标更有效。
2.数据增强和模型正则化（Dataandnetworkregularization）：1）用带掩码的图片效果更差；2）学生模型需要一点droppath，但是teacher模型不需要。
3.辅助损失函数（auxiliarylosses）：MIM作为辅助损失函数没有意义。
4.宏观蒸馏策略（Macrodistillationstrategy）：我们发现序列化的蒸馏（ViT-B->ViT-S->ViT-T）效果最好。
我们系统性的调研了蒸馏的目标，输入的图片，蒸馏目标模块。
2.1影响蒸馏效果的因素
a.中间block特征和输出特征
当i=L时，指的是Transformer输出层的特征。当i
b.注意力（Attention）特征和前馈层（FFN）层特征
Transformer每一个block有Attention层和FFN层，蒸馏不同的层会带来不同的影响。
在Attention层内会有Q，K，V特征，这些特征用于计算注意力机制，我们也调研了直接蒸馏这些特征。
Q，K，V用于计算注意力图，这些特征之间的关系也可以作为知识蒸馏的目标。
传统的知识蒸馏是直接输入完整的图片。我们的方法为了探索蒸馏掩码建模模型，所以我们也探索了带掩码的图片是否适合作为知识蒸馏时候的输入。
2.2知识蒸馏方法对比
最简单的方法就是类似DeiT直接蒸馏MAE预训练模型的classtoken:
2）特征蒸馏：我们直接参考了featuredistillation[1]作为对比
我们的方法在ImageNet-1K上预训练，而且教师模型也是在ImageNet-1K预训练。然后我们将我们预训练的模型在下游任务（分类、语义分割）上进行了微调。模型表现如图：
我们的方法显著超过之前基于MAE的方法，尤其是小模型。具体来讲，对于超小的模型ViT-T，我们的方法实现了75.8%的分类准确性，相比MAE基线模型实现了4.2的提升。对于小模型ViT-S，我们实现了83.0%的分类准确性，比之前最好的方法提升了1.4。对于Base尺寸的模型，我们的方法分别超过MAE基线模型和以前最好的模型CAE4.1和2.0。
同时我们也测试了模型的鲁棒性，如图所示：
TinyMIM-B对比MAE-B，在ImageNet-A和ImageNet-R分别提升了6.4和4.6。
同时蒸馏QK,VV关系而且在计算关系的时候有Softmax实现了最好的效果。
TinyMIM这种蒸馏关系的方法实现了比MAE基线模型，classtoken蒸馏，特征图蒸馏都更好的效果，在各种尺寸的模型上都是如此。
我们发现蒸馏第十八层实现了最好的效果。
本文地址： /article/ebbcc7ea04cd2b5a314d.html
百合网--实名婚恋。免费通信，谈情说爱不再为钱所困。1.2亿会员为爱而来，给你1.2亿的爱情火种。心理学专业恋爱类型测试帮你找到对的TA。
湖南生活服务网站排名,根据网站的综合值按照不同的湖南生活服务网站进行筛选排名结果,通过筛选湖南生活服务网站可以看到每个湖南生活服务网站里面的网站排名优质的网站是哪些
厚学网-湖州领先的培训学校、培训课程信息网.覆盖400个以上城市,超过10万家教育培训机构,100万个教育培训课程辅导班及相关优惠的培训课程费用信息,您要的优质培训这里都有.找培训,上厚学网!
常州市南方驱动技术有限公司是一家专业从事高端齿轮箱制造的企业。产品应用于石化、冶金、煤矿、造船、电力、交通、工程机械等领域，公司从德国、美国、奥地利等国家引进了世界一流齿轮、机加工、热处理及检测设备，旨在为客户提供齿轮科技领域高附加值的产品及优良的品质；公司具有优良的加工制造能力及一流的技术、管理团队，公司本着“专业、诚信、协作、开拓”的精神，为客户提供系统的解决方案及服务。公司倡导尊重、理解、沟通的工作氛围，鼓励开拓与创新，以实现员工、客户、企业三方共赢。
星辉互联创于2006年,一站式网站建设和网站建设系统。满足各类，网站建设、网站建设制作、建网站、网站搭建、网站建设订制等需求。是500,0000家用户建站首选！提供7x24小时网站建设，企业零基础在线建站，让网站建设不再困难。
保定市驰安机动车驾驶员培训有限公司，驾校主要负责：保定驾校收费标准、保定学车哪家好、竞秀区莲池区高新区驾校、保定大学生信赖的驾校、保定正规驾校、保定驾校价格、保定正规驾校哪家好等，是我省交通厅验收合格的驾驶员培训学校，具有交通部颁布的《机动车驾驶员培训学校》的办学资格。驰安驾校以严格的管理，规范的教学，热情的服务，赢得了市场的好评。驰安驾校基础设施建设齐全，训练场地设施全部按照123号令建设与考场同步。
顶峰机械致力于金属带锯床的设计研发、生产制造和销售服务为一体,现共有各种智能数控,全自动，半自动，卧立式,双柱龙门式金属带锯床。
欢迎访问IPSA茵芙莎中国官网！IPSA官网有IPSA流金水、IPSA自律乳等热门护肤产品，以及IPSA遮瑕、IPSA防晒等美妆产品。IPSA茵芙莎致力于通过先端的技术背景和人性化的服务方式，挖掘出每位女性与生俱来的美丽潜能。IPSA官网确保IPSA流金水，IPSA自律乳等产品正品发售。IPSA茵芙莎中国官网期待您的到来！
厦金机械成立于2000年，有十七年的大吨位叉装机研发、生产、销售、售后服务经验，是五项叉装机国家标准起草单位
朗镜科技是领先的新零售AI和大数据服务平台，为您提供货架图像识别,实体零售图像识别,商品图像识别,消费品图像识别,零售终端货架识别,众包渠道检查,数据化陈列,货架商品识别,神秘访客,渠道终端稽查,门店稽查服务。
中国电子口岸数据中心
伴随整本书阅读加盟的火热，把托管和读书会这两个教育刚需项目结合起来一起做，成为一些线下机构的新选择，用托管引流、用儿童读书会增收，这样既不怕没客户，也不怕赚不到钱，那么，托管书屋怎么开，怎么运营，如何安排托管和阅读呢，阅读加盟10大品牌之一的书果星球，拥有十余年阅读研发推广经验，在全国落地了500多家儿童阅读馆，而且帮助不少托管机构升...。
雷锋网消息，11月11日，英特尔正式发布其全新服务器GPU，即首款数据中心的独显产品，该服务器基于XeLP微架构，专为高密度、低时延的安卓云游戏和流媒体服务而设计，同时，英特尔还宣布将于12月正式交付相应的软件堆栈oneAPIGold工具，英特尔此次同时推出了全新服务器GPU和oneAPI软件，意味着英特尔开始释放XPU的强大实力，英...。
2017年，著名杂志，经济学人，发表封面文章称，数据已经取代石油成为当今世界最有价值的资源，在那之后，，数据是新时代的，石油，这一说法逐渐深入人心，图源，https，twitter.com，theeconomist，status，860135249552003073五年后的今天，人们对数据的重视又上了一个新的台阶，尤其是在AI领...。
发表在爱普生投影仪2021，11，1013，56爱普生EH，LS300W激光电视怎么样?据说是内置了腾讯视频的内容，3LCD的显示技术，下面就跟着爱普生EH，LS300W的真实用户来看看，爱普生的激光电视画面效果如何，1.爱普生激光投影仪亮度高，色彩好，配套移动平台和抗光屏幕，组成激光电视，体验百寸大屏电视，效果挺好，大白天不拉窗帘都...。
发表在天猫魔屏2024，8，809，45天猫魔屏C1Pro是天猫魔屏C1的升级版本，在画质和系统配置方面都有提升，具体天猫魔屏C1Pro投影仪怎么样呢，下面就来详细了解一下，看看天猫魔屏C1Pro投影仪优缺点有哪些，是否值得用户入手，天猫魔屏C1Pro投影仪怎么样，1.光学参数在亮度方面，天猫魔屏C1Pro的亮度达到500CVIA流明...。
黄金首饰，作为古老的宝石和珠宝形式，承载了吉祥、神秘和永恒的象征意义，它们独特的魅力吸引了全球收藏家的目光，关于黄金首饰的价格，通常是按克重来计算的，一般而言，每克黄金首饰的价格与黄金原料的价格大致相当，由于黄金市场价格的波动，具体价格会有所变动，但通常每克黄金的价格在500元人民币左右，然而，这个价格会受到多种因素的影响，比如制作工...。
白色警戒2尤里的复仇黑屏处置方法，1、首先找到游戏装置主目录2、把三个文件用XPPACK3兼容，简化色彩16位，再用治理员运转程序3、创立一个的快捷形式，样启动上述兼容性设置，4、而后在快捷形式栏，指标后加加，win即用窗口运转即可，例如，D，\danjiGAME\\yuri2\，speedcontrol，win裁减资料，白色警戒2尤...。
召回事情源于后门或者存在不可反常封锁、锁定或关上的疑问，这无疑对行车安保造成潜在要挟，为消弭隐患，日产投资有限公司选择经过授权经销商提供收费服务，对这些车辆的后门锁总成启动改良整机改换，详细触及的车型为M25L和M35hL，其中M25L的车主需特意留意，其后门性能疑问或者造成安保危险，日产公司曾经开局经过菲尼迪客户服务核心，自23日起...。
1、奇瑞E5用的是ACCTECO477发起机，该发起机是奇瑞目前稳固性最好的一款发起机，特点是技术稳固，低转速高扭矩，2、但是也是一款低老本的发起机，起源于原先旗云之星经常使用的宝马TRITEC发起机，是在宝马发起机基础上消化排汇，改良了进气系统的一款改良发起机，具备稳固性好，多少钱廉价，能源好的特点，3、1.5排量80KW，尤其是低...。
随着电子商务的蓬勃开展，网上超市在批发业中的位置日益清楚，电商的守业方案书有哪些详细的内容，写电商的守业方案书有哪些详细的步骤，我给大家整顿了关于电子商务团体守业方案，宿愿你们青睐，电子商务团体守业方案篇1一、电子商务的背景和前景剖析电子商务及网上购物产业背景电子商务产业背景，21世纪电子商务逐渐成为社会生存的关键形式，成为数字化社会...。
大家好，对于QSV格局转换mp4在线转换器V3.1绿色版，QSV格局转换mp4在线转换器V3.1绿色版性能简介这个很多人还不知道，如今让咱们一同来看看吧！QSV格局转换mp4在线转换器是一款操作十分繁难的qsv转mp4工具，允许批量转换，能够将qsv格局的文件十分极速地转换为mp4格局，小编精选，MP4格局转换器，性能特点，1、允许批...。
欢迎来到pc6,我们有Pc6网络游戏资讯提供各网络游戏官方网站内测公测激活码等最新游戏信息发放、最新最热网络游戏资讯及资源下载同步、网络游戏任务攻略、网络游戏截图壁纸，相关英雄物品技能等资料和火热网络游戏论坛公会交流场所。
qq轻聊版下载安装-QQ轻聊版基于现最新版QQ定制的内存体积优化版。QQ轻聊版是腾讯公司专为低性能手机优化的精简版QQ。QQ轻聊版保留核心聊天功能，超小安装包，省内存，聊天更畅快，您可以免费下载安卓手机QQ轻聊版。
欢迎来到pc6,我们有Pc6网络游戏资讯提供各网络游戏官方网站内测公测激活码等最新游戏信息发放、最新最热网络游戏资讯及资源下载同步、网络游戏任务攻略、网络游戏截图壁纸，相关英雄物品技能等资料和火热网络游戏论坛公会交流场所。
深圳网易房产为您提供深业世纪山谷楼盘售楼处电话：4001-666-163转26113、最新房价参考：86200元/㎡、户型图、实景图和周边配套等最新楼盘详情信息，买新房尽在深圳网易房产！
MVC-模型是什么意思？怎么用？本专题通过翻译、语法解释、视频讲解、实例代码运行方式详细介绍了MVC-模型的定义和使用方法
11月2日，在云栖大会上，蚂蚁数科宣布mPaaS正式升级至5.0版本。mPaaS5.0融合了蚂蚁大模型框架下的多种算法能力，以AI智能引擎驱动移动端平台的运营、服务和体验管理实现全链路升级，助力金融机构及企业打造更加智能、更懂用户的移动端平台，驱动业务高质量增长。AI浪潮正推动各行各业从数字时代进入智能时代。“未来的用户交互界面一定更加智能化和个性化，不仅更懂用户所需，提供贴身陪伴式服务，还要带来新的沉浸式交互体验。”蚂蚁数科资深产品总监祁晓龙认为，上述能力的背后需要一整套技术能力的支撑，包括A
