对Xception 2017精彩论文解读 一种深度可分离卷积 CVPR 模型的介绍
雷锋网 AI 科技评论按：虽然CVPR 2017已经落下帷幕，但对精彩论文的解读还在继续。下文是Momenta高级研究员王晋玮对此次大会收录的 Xception：Deep Learning with Depthwise Separable Convolutions
Inception模块是一大类在ImaGenet上取得顶尖结果的模型的基本模块，例如GoogLeNet、Inception V2/V3和Inception-ResNet。有别于VGG等传统的网络通过堆叠简单的3*3卷积实现特征提取，Inception模块通过组合1*1，3*3，5*5和pooling等结构，用更少的参数和更少的计算开销可以学习到更丰富的特征表示。
通常，在一组特征图上进行卷积需要三维的卷积核，也即卷积核需要同时学习空间上的相关性和通道间的相关性。将这两种相关性显式地分离开来，是Inception模块的思想之一：Inception模块首先使用1*1的卷积核将特征图的各个通道映射到一个新的空间，在这一过程中学习通道间的相关性；再通过常规的3*3或5*5的卷积核进行卷积，以同时学习空间上的相关性和通道间的相关性。
但此时，通道间的相关性和空间相关性仍旧没有完全分离，也即3*3或5*5的卷积核仍然是多通道输入的，那么是否可以假设它们可以被完全分离？显然，当所有3*3或5*5的卷积都作用在只有一个通道的特征图上时，通道间的相关性和空间上的相关性即达到了完全分离的效果。
若将Inception模块简化，仅保留包含3*3的卷积的分支：
再将所有1*1的卷积进行拼接：
进一步增多3*3的卷积的分支的数量，使它与1*1的卷积的输出通道数相等：
此时每个3*3的卷积即作用于仅包含一个通道的特征图上，作者称之为“极致的Inception（Extream Inception）”模块，这就是Xception的基本模块。事实上，调节每个3*3的卷积作用的特征图的通道数，即调节3*3的卷积的分支的数量与1*1的卷积的输出通道数的比例，可以实现一系列处于传统Inception模块和“极致的Inception”模块之间的状态。
运用“极致的Inception”模块，作者搭建了Xception网络，它由一系列SeparableConv（即“极致的Inception”）、类似ResNet中的残差连接形式和一些其他常规的操作组成：
作者通过TensorFlow实现了Xception，并使用60块NVIDIA K80分别在Imagenet和JFT（Google内部的图像分类数据集，包含17000类共3.5亿幅图像）上进行训练，并分别在ImageNet和FastEval14k上进行测试。在ImageNet上，Xception的准确率相比Inception V3有一定的提升，并比ResNet-152或VGG-16有较多提升（单个模型，单个crop）：
在JFT/FastEval14k上，Xception取得了比ImageNet上相比于Inception V3更多的准确率提升：
同时，和Inception V3相比，Xception的参数量有所下降，而训练时的迭代速度也没有明显变慢:
另外，在ImageNet和JFT上的训练过程都显示，Xception在最终准确率更高的同时，收敛过程也比Inception V3更快：
在Xception中加入的类似ResNet的残差连接机制也显著加快了Xception的收敛过程并获得了显著更高的准确率：
值得注意的是，在“极致的Inception”模块中，用于学习通道间相关性的1*1的卷积和用于学习空间相关性的3*3的卷积之间，不加入任何非线性单元相比于加入ReLU或ELU激活函数将会带来更快的收敛过程和更高的准确率：
这篇文章中提及的Depthwise Convolution操作，即group数、输入通道数和输出通道数相等的卷积层，在最近一年内被多篇CNN模型结构设计方面的工作所使用，包括Factorized Convolutional Neural Networks，Xception，MobileNet和ShuffleNet等，以及ResNeXt一文中使用的大量分group卷积操作也与之有相似之处。它们有的在ImageNet上取得了非常好的结果，有的大幅降低了模型的理论计算量但损失较少的准确度。本文作者从空间相关性和通道间相关性的角度解释Depthwise Convolution，认为这是将学习空间相关性和学习通道间相关性的任务完全分离的实现方式。
事实上，这一操作也可以从低秩角度理解，即将每个输入通道上可学习的卷积参数的秩限制为1。不过潜在的问题是，虽然Depthwise Convolution可以带来准确率的提升或是理论计算量的大幅下降，但由于其计算过程较为零散，现有的卷积神经网络实现中它的效率都不够高，例如本文中Xception的理论计算量是远小于Inception V3的，但其训练时的迭代速度反而更慢一些。期待后续会出现更加高效的Depthwise Convolution实现。
版权文章，未经授权禁止转载。详情见 转载须知 。
本文地址： https://www.gpxz.com/article/c3b100c964587f6cf746.html
百度安全社区旨在打造安全行业技术型社区，沉淀最有价值的安全行业资料，帮助企业、个人开发者获取最新安全资讯，学习最前沿的安全技术，了解最酷的安全产品。
上海鸿鹿文化传媒有限公司专业提供上海宣传片制作、广告片、短视频、产品宣传片拍摄、视频拍摄制作、动画视频等服务。拥有宣传片制作、拍摄、策划团队。专业的企业宣传片为您快速提升企业形象,锁住客户!
法律咨询就到找律网－这是一个专业的律师法律咨询网，为需要法律咨询及聘请律师的朋友提供快捷、高效的寻找律师、在线咨询律师、学习法律知识、合同协议范本下载、查询律师、查询律师事务所等服务，是网上找律师的优选网站！
济南工程职业技术学院,招生办公室,招办
束缚文化馆专注分享束缚小说和故事。
易可图专注融合AI，重塑电商图片编辑体验。提供商品图AI智能换背景、AI模特试衣、一键抠图、图片批量编辑等功能。更有海量电商模版，快速出图，适用各大电商平台，让商品视觉更出众!
中国青年创业加盟网为想创业的您提供,连锁加盟项目,好生意加盟网涵盖:餐饮、酒店、教育、金融、服装、母婴、汽车、家具等行业品牌招商加盟项目,及新闻资讯,加盟指南,加盟常识等信息,愿好青年创业加盟网为您的创业加盟,品牌招商贡献一份力量。
金丰源机械，青岛金丰源机械制造有限公司
天津普尔兰德旅游装备有限公司是集研发、生产、销售于一体的中国户外品牌公司.企业致力于户外生活的推广,倡导更多的人去体验露营休闲、山野探险等户外活动，放松心情，去感受大自然的种种乐趣。“PURELAND”带给大家的是一种健康向上的生活态度，用我们的专业引领大众享受到休闲、自在、无压力的生活状态，用独特的角度去扩展大众在社会压力下的另一番视野。公司以自身独特的企业文化、高效的运营管理模式，已使公司旗下品牌“PURELAND”成为中国本土户外品牌的中坚力量。
全面战争：幕府将军2游戏专题;提供全面战争：幕府将军2中文版下载,全面战争：幕府将军2攻略大全,全面战争：幕府将军2汉化补丁,全面战争：幕府将军2视频解说,攻略视频,修改器,汉化下载,完美存档,MOD,配置,教学,截图,壁纸等资料。更多《全面战争：幕府将军2》相关内容尽在游侠网。
苏州市宇顺力电子有限公司智造研发销售分板机苏州分板机在线全自动分板机基板分切机fpc板剪切冲床vcut分板机fpc分切机冲床分板机昆山fpc分板机,江苏上海浙江嘉兴江西安徽分板机...咨询电话：18925724175/13450659407
赣州佰珍堂香料有限公司专业为您提供提取物厂家,植物提取液厂家,化妆品原料厂家,植物提取液,提取物,提取液,发酵液,中药材,化妆品原料的相关信息,想要了解更多详情,请联系我们.
在现实生活中如果你想进入农场生活是非常困难的，想要远离城市喧嚣的话就可以试着玩一些农场主题的手游，那么热门的农场生活游戏排行榜情况怎么样，下文这几款能给大家带来农场生活的手游都非常佛系哟，如果你的梦想也是成为农场主想要生活在佛系的农场中，就安装这几个农场生活游戏尽情享受人生吧，1、，卡通农场，相信卡通农场这款腾讯旗下的经营游戏会给你带...。
继CSDN、人人网、多玩网、天涯社区等数十家知名网站用户信息被泄露之后，17173和京东商城的用户信息也被泄露，目前，被泄露的用户信息数据已由5000万上涨到过亿，大量的用户账号和密码被公开，WooYun.org爆出了京东商城用户数据泄露的漏洞，确认时间，2011，12，27漏洞描述，京东商城在某些业务上存在用户权限控制不当的漏洞，导...。
4月2日，是第十五个世界孤独症日，孤独症患者如同来自其他星球的客人，与周围的世界格格不入，宛如被无形的屏障包围，他们能看能听，却对身边的事物漠不关心，他们会说话，却无法表达自己的情绪和想法，他们被称作，星星的孩子，那层连他们的亲人都无法越过的屏障，有时却会被一些科技手段轻易打开，早在8年前，，纽约时报，就曾描述过一个13岁的孤独症患...。
发表在米家投影仪2022，4，1217，41小米全色激光影院采用了RGB三色激光光源，显示技术是LCOS，并不是之前采用过的DLP技术，所以不少网友对小米全色激光影院的表现也是非常期待，目前我们已经拿到了产品，先做一个简单的小米全色激光影院评测开箱，后续将会发布全片的小米全色激光影院测评，1.小米全色激光影院评测开箱2.小米全色激光影...。
11月25日，广西壮族自治区教育厅官网发布，广西壮族自治区教育厅关于拟申报设置有关高等学校的公示，，决定将北京航空航天大学北海学院转设为广西工业学院，网站截图，据悉，2023年，北京航空航天大学北海学院挂牌桂林电子科技大学北海校区，学校官网上目前仍有该校区信息，编辑丨蒋西河审核丨林冬冬监制丨陈旭庆出品丨玉林市融媒体中心原标题，广西将...。
新华社河内10月14日电中华人民共和国和越南社会主义共和国联结申明一、应越南社会主义共和国政府总理范明政约请，中华人民共和国国务院总理李强于2024年10月12日至14日对越南启动正式访问，访问时期，李强总理会晤越共中央总书记、国度主席苏林，同范明政总理举行谈判，会晤国会主席陈青敏，在友好坦诚的气氛中，双方就推进中越片面策略协作同伴相...。
申明，1.以上内容仅代表揭发者自己，不代表黑猫揭发立场，2.未经授权，本平台案例制止任何转载，违者将被清查法律责任，3.黑猫揭发处置揭发不收取任何费用，凡以黑猫揭发名义不要钱的均为混充、诈骗行为，请及时报警并与黑猫官网反应，揭发邮箱heimaotousu@vip.sina.com，4.请大家选用官网渠道处置生产纠纷，不要轻信第三方机构...。
提起星盘查问剖析，大家都知道，有人问关于星座星盘查问，另外，还有人想问星座星盘查问剖析，你知道这是怎样回事，其实星盘查问剖析星盘星座命盘，上方就一同来看看关于星座星盘查问，宿愿能够协助到大家！星盘查问剖析1、星盘查问剖析，关于星座星盘查问太阳月亮水星金星火星木星土星狮子座射手座处女座处女座天秤座水瓶座白羊座星盘查问，星海王星冥王星回升...。
说明，绿色代表为二十四节气日，阳历白色代表为周末，其它加色的为节日，此表为1993年的日历表，含阴阳历、节日、二十四节气等，供大家参看，方法，在你想要保留的月份上单击滑鼠右键，图片另外贮存为，存入你的电脑，阳历1993年1月农历壬申，生肖猴，年壬子月建国44年阳历1993年2月农历壬申，生肖猴，年癸丑月建国44年阳历1993年3月农历...。
人们对环保、低碳的生存模式越来越注重，一辆环保的电动汽车也成为了人们购车的抢手选用，长安奔奔电动汽车多少钱相比其余品牌愈加亲民，同时它还具有一系列优秀特点，长安奔奔电动汽车定位于市区适用，所以经常使用铅酸电池，能够满足市区交通的需求，该车型有四种不同版本车型，区分是X1、X2、E2、E3，其中X属于家轿型车，而E属于SUV车型，各个版...。
剧情电影《恶棍》解说文案/片源下载（我只有8岁让房贷车贷折磨我吧你想几分熟）汉尼拔麦斯米克尔森是这颗球上唯一一个会对你掏心掏肺的人麦叔热情总是让人欲罢不能近期麦叔主演的中世纪电影《恶棍》终于在网上上映了这次没有掏心掏肺只有一个勤劳的老农电影上映的第一周分数达到了8.5它也冲进了今年奥斯卡的前1...
腾讯软件中心提供2022年最新11.5.8.8官方正式版Goodsync高速下载，本正式版Goodsync软件安全认证，免费无插件。
玩家们好呀，我们又见面啦！今天小编要给玩家们带来经典大型的mmo游戏大全推荐！在这里，你可以成为一名勇敢的战士、智慧的法师，或是任何你想要的角色，在这片充满冒险的土地上，与成千上万的玩家一起探索未知，战斗、贸易、建立联盟，喜欢这些游戏的玩家们一起来看看吧！1、，天涯明月刀，玩家不仅可以学习到各式各样的武林绝学，如轻功飞跃千山万水、剑法...。
对于餐饮行业来说，也是需要时不时的做一些营销活动来增加我们门店的客源的！很多老板都觉得自己的店面生意有这么好，没有必要做营销，其实这个想法是错误的！下面请让大成醉串串香给你娓娓道来吧！对于门店进行营销活动，是让消费者得到实现目标更大化，只有这样才会打动消费者的心！我们当老板，不能够什么事都不管，需要我们就应该换一个角度想一下，当你给消...。
这几年，餐饮市场的业绩吸引了不少创业者的关注，尤其在品牌话高度发展的今天，更是为无数餐饮小白带来了发展的可能，其中，就莲海素食是连锁吗，感兴趣的朋友不妨跟着小编一起去了解一下，莲海素食是一家集就餐，养生，聚会，休闲为一体的素食主题餐厅，以素食推广为己任，旨在在闹市中开辟的一方净土，无，无酒，无肉，无五辛的纯素空间，素食必将是一种超越种...。
如今中国的变换日新月异，甚至可以移步换景，但是万变不离其宗，当你开始关注变化的本质，而不是变换的结果，你就会越来越深刻的体会到其中的那股规律波，1、中国未来产业分为三种，一维世界正在推倒重建，二维世界被划分完毕，BAT掌控，，三维世界正在形成，高维挑战低维总有优势，所以网店可以冲散实体店，而微信的对手一定在智能领域诞生，因此，真正的好...。
网易云音乐是一款备受欢迎的在线音乐播放平台，为用户提供了丰富的音乐资源和个性化的播放模式，其中，心动模式是一种智能推荐模式，可以根据用户的喜好推荐类似的歌曲，然而，有时候我们可能希望关闭这个模式，切换回自己手动选择的播放列表，那么，如何在网易云音乐中关闭心动模式呢?下面将为您详细介绍，网易云怎么关闭心动模式一、安卓手机操作步骤打开网易...。
