微软亚研提出TinyMIM，用知识蒸馏改进小型ViT|实验|vit|预训练|科学家|财务报表|财务会计|tinymim
用微信扫码二维码
分享至好友和朋友圈
掩码建模（MIM,MAE）被证明是非常有效的自监督训练方法。然而，如图1所示，MIM对于更大的模型效果相对更好。当模型很小的时候（比如ViT-T5M参数，这样的模型对于现实世界非常重要），MIM甚至可能一定程度上降低模型的效果。比如用MAE训练的ViT-L比普通监督训练的模型在ImageNet上的分类效果提升3.3%，但是用MAE训练的ViT-T比普通监督训练的模型在ImageNet上的分类效果降低了0.6%。
在这篇工作中我们提出了TinyMIM，其在保持ViT结构不变并且不修改结构引入其他归纳偏置（inductivebias）的基础上、用蒸馏的方法迁移大模型上的知识到小模型。
我们系统性的研究了蒸馏目标、数据增强、正则化、辅助损失函数等对于蒸馏的影响。在严格的只用ImageNet-1K作为训练数据的情况下（包括Teachermodel也只用ImageNet-1K训练）和ViT-B作为模型，我们的方法实现了当前最好的性能。如图所示：
把我们的方法（TinyMIM）和基于掩码重建的方法MAE，以及监督式学习的方法从头开始训练的DeiT作比较。MAE在模型比较大的时候有显著的性能提升，但是在模型比较小的时候提升幅度有限甚至会伤害模型的最终效果。我们的方法TinyMIM在不同模型的大小上都有大幅提升。
1.蒸馏的目标（Distillationtargets）:1）蒸馏token之间的关系比单独蒸馏classtoken或者特征图（featuremap）更有效；2）用中间层作为蒸馏的目标更有效。
2.数据增强和模型正则化（Dataandnetworkregularization）：1）用带掩码的图片效果更差；2）学生模型需要一点droppath，但是teacher模型不需要。
3.辅助损失函数（auxiliarylosses）：MIM作为辅助损失函数没有意义。
4.宏观蒸馏策略（Macrodistillationstrategy）：我们发现序列化的蒸馏（ViT-B->ViT-S->ViT-T）效果最好。
我们系统性的调研了蒸馏的目标，输入的图片，蒸馏目标模块。
2.1影响蒸馏效果的因素
a.中间block特征和输出特征
当i=L时，指的是Transformer输出层的特征。当i b.注意力（Attention）特征和前馈层（FFN）层特征 Transformer每一个block有Attention层和FFN层，蒸馏不同的层会带来不同的影响。 在Attention层内会有Q，K，V特征，这些特征用于计算注意力机制，我们也调研了直接蒸馏这些特征。 Q，K，V用于计算注意力图，这些特征之间的关系也可以作为知识蒸馏的目标。 传统的知识蒸馏是直接输入完整的图片。我们的方法为了探索蒸馏掩码建模模型，所以我们也探索了带掩码的图片是否适合作为知识蒸馏时候的输入。 2.2知识蒸馏方法对比 最简单的方法就是类似DeiT直接蒸馏MAE预训练模型的classtoken: 2）特征蒸馏：我们直接参考了featuredistillation[1]作为对比 我们的方法在ImageNet-1K上预训练，而且教师模型也是在ImageNet-1K预训练。然后我们将我们预训练的模型在下游任务（分类、语义分割）上进行了微调。模型表现如图： 我们的方法显著超过之前基于MAE的方法，尤其是小模型。具体来讲，对于超小的模型ViT-T，我们的方法实现了75.8%的分类准确性，相比MAE基线模型实现了4.2的提升。对于小模型ViT-S，我们实现了83.0%的分类准确性，比之前最好的方法提升了1.4。对于Base尺寸的模型，我们的方法分别超过MAE基线模型和以前最好的模型CAE4.1和2.0。 同时我们也测试了模型的鲁棒性，如图所示： TinyMIM-B对比MAE-B，在ImageNet-A和ImageNet-R分别提升了6.4和4.6。 同时蒸馏QK,VV关系而且在计算关系的时候有Softmax实现了最好的效果。 TinyMIM这种蒸馏关系的方法实现了比MAE基线模型，classtoken蒸馏，特征图蒸馏都更好的效果，在各种尺寸的模型上都是如此。 我们发现蒸馏第十八层实现了最好的效果。
本文地址： https://www.gpxz.com/article/ebbcc7ea04cd2b5a314d.html
bilibili是国内知名的视频弹幕网站，这里有最及时的动漫新番，最棒的ACG氛围，最有创意的Up主。大家可以在这里找到许多欢乐。
凡添财务为您免费代办公司注册，提供注册公司地址、代理记账、工商注册公司流程和费用咨询、代办营业执照、税务筹划等一站式会计服务，注册公司代办真正做到你创业，我买单。
帮助林产品行业的决策者洞悉市场。|FastmarketsRISI会议为整个林产品行业内的决策者们提供独家的社交平台。同时，会议呈现的高质量议题也涵盖了行业内不同的细分领域，并且为参会者提供了与行业关键人物结识的绝佳机会。
雪芦网是您海量热门手机游戏下载的首选平台，汇集丰富的游戏资源和游戏攻略玩法等内容。我们专注于为用户提供多样化的游戏选择，让您尽情畅玩。
面子先生（成都面食,成都特色面馆,成都杂酱面加盟店十大品牌）自品牌创立以来以独特的口味在市场上脱颖而出，完成了主流美食文化与餐饮行业的对接，我们采用上等食材，提升了美味的口感与味觉层次，符合现代人的需求。在这里不仅仅有面食，还有各式的小吃、冒菜、快餐等，上百种单品，款款美味。
常州市欧瑞地铺材料有限公司
行星减速机，伺服行星减速机，东莞纽格尔精密行星伺服斜齿轮减速机厂家，进口技术行星减速器，品质保障、售后服务周到，厂家直销电话15989320569
龙空技术网：为您提供各类编程技术类文章资讯！
首页-六六八八商城
新一代AI视频创作平台
招远晋怡文化传媒有限公司置身于招远市，因为我们专注，所以我们追求更好！
首页,达一信化工有限公司
今天一起来说说免费农场游戏下载大全，在这个喧嚣的城市中，快节奏的生活让人们渴望体验一抹宁静与祥和，想象一下，在游戏的世界里，你是一位名副其实的农场主，可以自由驰骋在广袤的田野间，感受大自然的馈赠与温柔呵护，这些游戏不仅能够带给你绝美治愈的画面，更能让你暂时抛开琐事烦恼，尽情享受种植经营的乐趣，1、，农场经营物语，运用你的策略和经营技巧...。
不同车辆给人带来的驾驶感受是有所差异的，想尝试不同类型车辆，包括摩托车、赛车、卡车等等，可选择逼真的驾驶游戏，今天为大家带来开车模拟驾驶游戏大全，游戏提供逼真驾驶环境城市街道高速公路，可在不同场景下，完成驾驶大部分采用3d渲染技术，呈现出真实又细腻的驾驶场景与驾驶世界，小编总结几款耐玩的模拟驾驶手游吧，自由度较高的模拟驾驶游戏化身成为...。
最近来自美国明尼苏达州一家名叫IdealConceal的公司推出了一款新的手枪，它最大的特点是可以伪装成一部智能手机，这款手枪使用的单一框架及双筒设计，使用.380口径子弹，当它在折叠起来的时候，从外观上看完全就是一部普通的智能手机，同时还附带了专门的皮套，也伪装成了手机壳的样子，这款手枪在被伪装成智能手机的时候，可以轻易的放在口袋里...。
新浪微博上#魏则西百度推广事件#的话题阅读量已经达到2600万，讨论量1.6万条，微博话题榜总榜排名第四，微信朋友圈、微信公众号几乎都是该话题的内容，各大新闻客户端也在头条醒目位置发布了该话题相关的内容，如果细分点会发现，和上次贴吧事件不同的是，这次事件新闻客户端上该内容的评论量突破10万的稿件非常多，由此可见，用户的情绪一直在不断的...。
比特币核心开发团队中一名非常知名的人物刚刚宣称，这种虚拟货币已宣告失败，他已抛售了所持有的全部比特币，这名核心开发者就是迈克，赫恩，MikeHearn，他是一名英国程序员，两年前，他辞去了在谷歌的工作，开始一心一意开发比特币，但是现在，他感到有些绝望，他说比特币已被中国控制，而比特币赖以生存的网络，正濒临技术崩溃的边缘，我们现在...。
编者按，12月17日，中国人工智能产业大会在深圳召开，商汤科技首席研发总监林倞出席大会并发表演讲，他主要讲述了商汤科技在原创性技术上的深厚积累及在四大领域的产业布局，林倞，商汤科技首席研发总监，中山大学教授，国家优秀青年基金获得者，2008年博士毕业于北京理工大学，分别于2006，2007、2008，2010年在美国加州大学洛杉矶分校...。
9月19日，普渡机器人正式发布其初代类人形机器人PUDUD7，由普渡X实验室PuduX，Lab孵化研发，基于仿生双臂和全向移动底盘设计，PUDUD7能够在多个场景中执行复杂任务操作，该款机器人预计将在2025年实现全面商业化落地，普渡类人形机器人集成了移动、操作、AI方面的先进能力，旨在打造可商业化的通用具身服务机器人，具体来看，PU...。
发表在米家投影仪2019，1，1816，431月18日消息，小米商城官微宣布米家激光投影电视4K版今天上午10点正式发售，首发尝鲜价为9999元，米家激光投影电视4K版分辨率达到了4K级别，3840×2160，，3000，1对比度加上HDR10解码，更好呈现高动态范围画面，配合光峰光电全新ALPD3.0激光荧光显示技术，红光比例高达1...。
财联社7月5日讯，编辑夏军雄，外地期间周四，7月4日，，俄罗斯总统普京示意，他看了美国总统拜登和前总统特朗普答辩的片段，在这两人之间，自己依然更宿愿拜登继续负责总统，普京周四在哈萨克斯坦首都阿斯塔纳缺席了上海协作组织成员国元首理事会会议，并在会议完结后举办了资讯颁布会，当被问及他如何看待特朗普和拜登之间的首场电视答辩时，普京回答称，他...。
发起机型号，MQ479这是一款凝聚吉利人18年技术结晶，继承低劣技术平台，通过多项性能改造研发而成，它秀外慧中的质量，震动热情与灵感，将在二厢车市场掀起一股完美风暴！美日之星不只领有令人耳目一新的时兴外观，内饰性能更是丰盛到细节深处，盛行考究的动感时兴内饰，细节中随处可见的时兴元素彰显飞腾的共性风采，流线形仪表盘，时兴性获取强化，美日...。
微信公众号是微信推出的一个功能，它允许个人或企业创建自己的公众号，用于发布信息、与粉丝互动等。要找到一个人或企业的公众号，您可以通过以下几种方式：1.**在微信搜索栏中输入公众号的名称**：您可以在
网易UU加速器是网易推出的网游加速器，第一期支持20个热门游戏，采用全新透明皮肤机制，支持加速节点更换，支持创建快捷加速，提供快速反馈通道。
游戏市场上适合小孩子玩的游戏特别多，因为小孩作为一个很大的游戏群体，他们同样有自己喜欢的游戏和爱好，今天小编就针对这些专门给大家分享一篇2023小孩最爱玩的游戏有哪些的文章，在很多的游戏里面精挑细选了几款特别适合小孩子玩的游戏，并且整个游戏的趣味性也很高，还能培养小孩子不同方向的能力，接下来就一起去看看这些游戏是有哪些吧，1、，割绳子...。
今日上午，记者接到市民报料称，早晨5时许，在广州白云区新市街汇侨工商银行柜员机有两名男子因涉嫌在柜员机做手脚被抓，记者现场了解到，此两名男子当时正用胶水堵柜员机出钞口、张贴诈骗电话，这一举动被柜员机附近的高清摄像头抓拍到，当地警务室民警行动迅速，将两男子抓个正着，两个男子包里装了502胶水、双面胶，还有数张‘ATM柜员机操作说明，、...。
12月28日，由蒙牛集团主办，第四范式、海创汇承办，阿里云、德勤、华为云、SAP、中国电信、联想、阿里巴巴CITRUS、深信服、金蝶、奇秦、汉得、富勒、怀信、云徙等生态伙伴联合发起的，牛客松，创新技术大赛总决赛顺利收官，经过激烈角逐，21支团队脱颖而出，获得大赛冠亚季军，新零售、智慧牧场、大健康赛道的冠军分别被杭州翼时、行星数据、微医...。
9月21日，曾经打造出全球首款4K三色激光投影、音乐电视和高刷游戏电视的Vidda，又发新品了，距离双11只剩一个多月，Vidda在此刻发布NEWX系列新品高刷电视的意味非常明显，就是要剑指双11，再复刻一个爆款电视出来，那么能成功吗，据了解，在电视行业普遍不景气的环境下，其中一个新品类却出现了逆势增长的势头，根据奥维数据，2023年...。
如今转型升级的重点，已经来到了以业务价值为锚，运用新一代数字与智能技术驱动企业经营管理、变革与重塑业务流程场景，数智化的浪潮从未如今天般贴近千行百业的每个角落，这个概念正在逐渐地具象化，通过云原生的IT基建支持业务快速迭代，通过AI技术沉淀运营、营销经验与策略，通过数字化、可视化手段改造商业模式，提升客户使用体验，通过数字人、智能客服...。
