cosFormer ICLR 重新思考注意力机制中的Softmax 2022 (cosforge)
导读：Transformer在自然语言处理、计算机视觉和音频处理方面取得了巨大成功。作为其核心组成部分之一，SoftMax Attention模块能够捕捉长距离的依赖关系，但由于Softmax算子关于序列长度的二次空间和时间复杂性，使其很难扩展。针对这点，研究者提出利用核方法以及稀疏注意力机制的方法来近似Softmax算子，从而降低时间空间复杂度。但是，由于误差的存在，效果往往不尽如人意。
我们（商汤多模态研究组）认为，近似操作本身存在的误差使得其效果很难超越Softmax Attention。我们的观点是，与其近似Softmax，不如设计一种方式代替Softmax，并且同时降低时间空间复杂度。因此，本文提出了名为cosFormer的方法，在时间空间复杂度关于序列长度为线性复杂度的同时，其性能接近或者超越Softmax Attention，并在LRA benchmark上取得SOTA结果。我们的设计核心理念基于两点，首先是注意力矩阵的非负性，其次是对局部注意力的放大（非极大值抑制）。
本文主要介绍已收录于ICLR 2022的一篇文章 cosFormer : RethinkingSoftmaxinAttention。
论文地址：
部分开源代码：
图片表示各种transformer在LRA benchmark上的表现，其中y轴表示性能，x轴表示速度，圆圈大小表示内存，我们提出的cosFormer取得了明显的优势。
一、背景
3、Softmax的两大性质
我们经过分析以及实验，归纳出Softmax Attention中比较重要的性质，这两个性质可以指导我们的模型设计：
1.注意力矩阵的非负性
2.局部注意力的放大（非极大值抑制）
所以我们的方法需要在加了reweighting操作后也更加集中在对角线附近。注意并非所有的有类似权重的函数均适用，这个reweighting的函数需要跟前面的QK一样可以拆分成两个矩阵的乘法的形式。
至此，就可以引入我们的cosFormer了。
二、cosFormer
1、方法
我们的方法基于线性Attention，首先给出符号定义：
2、实验结果
我们在单向模型，双向模型以及LRA benchmark上测试了我们的方法，均取得了非常不错的效果。
单向语言模型，指标表示困惑度（越低越好）：
论文地址：
版权文章，未经授权禁止转载。详情见 转载须知 。
本文地址： https://www.gpxz.com/article/be0e91d84d8569e6a9a1.html
【豌豆荚】为你提供UC浏览器APP安卓版下载，历史版本、旧版下载，查看2024最新UC浏览器手机版介绍、应用截图、网友评论，方便快捷的将安卓版UC浏览器应用免费下载到手机。
花王（上海）产品服务有限公司（董事长 西口徹）宣布，花王（中国）于2020年7月下旬全新推出花王厨卫清洁系列——“花王厨房重油去污清洁泡沫（薄荷清香）...
搜索NSK中空轴丝杠?我们提供高精密、高速度的NSK中空轴丝杠解决方案,满足您运动控制需求。联系我们获取报价和技术支持。
广东省机械技师学院
辩论不休汽车网以服务全球华人汽车用户为己任，提供最新买车汽车报价、汽车图片、现车购买及互动论坛，第一时间发布汽车新车、试驾、评测、用车等丰富内容，是面向人群最广泛的专业门户汽车网站
是一家专业销售生产室外铝单板，铝幕墙，氟碳铝单板，冲孔铝单板，造型铝单板，双曲铝单板，石纹铝单板，木纹铝单板，等优质室内外幕墙装饰材料和室内金属铝质天花吊顶、金属吊顶、吸音吊顶、异型天花、轻钢龙骨、人字龙骨、铝压纹板、铝拉网、木纹吊顶、铝蜂窝板、铝型材、滚涂铝卷、集成吊顶、集成电器、工程筒灯，工程T5/T8格栅灯、LED灯等装饰工程配套材料的企业
嘉达鸭是一个深度探索手机科技的资讯门户，致力于苹果手机教学和资讯的平台，让每个用户第一时间能找到iPhone手机使用问题的图文教学和最新资讯。
公司始创于2016年6月22日，注册资金6000万人民币，专业从事钢丝网骨架塑胶（聚乙烯）复合管的研发、生产、销售、安装服务的现代化高科技术产业。主导产品钢丝网骨架塑胶（聚乙烯）复合管以其特有的防腐蚀、耐磨、耐高温、抗严寒、耐压、抗蠕变、稳定性好、安装方便等特点逐步取代各类金属管道和塑料管道，被广泛应用于石油、化工、燃气、供水、采矿、海水输送等领域。
一个默默无闻的主页
Unity是全球应用非常广泛的实时内容开发平台，为游戏、汽车、建筑工程、影视动画等广泛领域的开发者提供强大且易于上手的工具来创作、运营和变现3D、2DVR和AR可视化体验。
收集分享无法计算的价值
很多人就私底下问高鹏，怎么布局这3000个流量入口?感觉实现起来比较难，高鹏说句实话，难吗?因人而异，有的人觉得难比登天，有的人却在旦夕之间，与浮生寥寥，完成目标，为什么?举个例子，一目了然，小时候我们学语文课文，都学过冯骥才先生的，挑山工，这篇文章，挑山工为了生计，肩挑着百余斤的货物登上泰山之顶，小时候读也就读了，没什么特别的感触，...。
现在社会中的很多年轻人，都重复着每天公司和住处两点一线的枯燥生活，无论工作有多忙，下班后多累，亦或者工作中多有成就感，总归是闲不下来的，很多人都不想自己的就一生这样碌碌无为下去，在心底的深处总有着想要自己创业做点什么项目之类的想法，因为很多人都希望在有生之年能拼搏一把，成就一番事业，暂且不论成败，至少曾经努力过年轻人打工不如创业，有一...。
各家智能手机OEM厂商所生产的旗舰机型，在设计语言上通常都代表了其最高的技术水准，同时也代表着整个智能手机行业的发展趋势，这些旗舰机型多年以来已经在尺寸、做工、规格和功能上都有了显著的进步，可以说，如今在智能手机业已经没有多少领域还存有较大的发展空间了，可以肯定的是，虽然Android手机制造商们在将来仍会想尽办法来为自己的产品寻找卖...。
昨天，国际电气和电子工程师协会，IEEE，公布了2022年新晋Fellow名单，本次共有265位学者入选，其中华人学者83位，占总人数的31.3%左右，值得一提的是，在这83位华人学者中，至少有8位学者的研究领域与智能驾驶，网联汽车相关，IEEE，全称，电气和电子工程师协会，InstituteofElectricalandElec...。
9月20日，北京阳光刺目，尴尬突如其来，暴风TV，AI2.0，发布会后，雷锋网编辑，尿急逃遁，，走进了奥雅会展中心只有两个小便器的男卫生间，，解放，之机，暴风集团董事长冯鑫叼着一支还未燃着的烟走了进来，尴尬地，SayHi，后，一阵沉默，时针回拨两小时，冯鑫穿着没有扎进牛仔裤里的白衬衫，单肩背着一个松垮垮的包，匆匆经过雷锋网编辑身旁，在...。
美国血液检测公司Theranos创始人伊利莎白·福尔摩斯，ElizabethHolmes，的故事即将被好莱坞拍成电影，福尔摩斯恐怕没想到自己会陷入如此糟糕的境地，她的这家血液检测公司一年前估值约90亿美元，但在，华尔街日报，通过一系列调查文章对其血液检测系统的有效性提出质疑后，该公司陷入困境，福尔模式的信誉遭到质疑，监管者也威胁将禁止...。
受降雨及干主流来水影响，7月1日23时40分，长江中游支流汉口水文站水位涨至27.31米，超警戒水位0.01米，至此长江中下游支流洞庭湖入江口以下全线超警戒，据预告，长江中下游支流水位仍将继续下跌，7月5日后长江中下游干主流及两湖水位将逐渐回落，最长超警历时15天左右，7月15日前后将全线退至警戒水位以下，自长江中下游地域进入梅雨季以...。
戴尔G5声卡驱动是戴尔关专门为DELLG5游戏笔记本提供的声卡驱动，专门解决用户使用笔记本的时候声音不正常的问题，有需要的用户可以下载来安装修复使用。安装说明1、下载后解压文件2、直接运行驱动文件，点击【INSTALL】进行安装即可驱动说明格式说明：MicrosoftWindows32位格式中的戴尔更新包（DUP）设计为可以在MicrosoftWindows64位操作系统上运行MicrosoftWindows64位格式中的戴
今日，由山东初醒影视传媒有限公司、杭州天将影业有限公司出品，映美传媒独家宣发，山东春芽儿影业有限公司独家制作，于戈、周生喜联合执导，裴元华、静心雪、是九先生啊编剧，本片特别
重庆分类目录网2020年网站增加恶意刷新流量自动判断拦截、自动拦截网站主页含违规内容或被黑或篡改网址，以及增加收录网址的服务器状态的自动分析判断拦截！
pc6官方下载为您提供网易CC直播,我们的CC直播原网易cc语音是网易开发的一款永久免费的团队语音软件，网易CC直播为广大的游戏玩家和娱乐玩家，提供最为安全稳定、清晰流畅的语音服务。CC语音支持电信、网通、教育网三线合一，任何一种网络环境下都可获得稳定的服务,您可以免费下载。
网络修复工具(CompleteInternetRepair),CompleteInternetRepair作为网络修复工具可从容应对各种网络故障问题，无乱是TCP/IP设置错误还是Winsock、DNS、IE浏览器设置错误等等，几乎所有的网络故障都能通过这款万能网络修复工具解决,您可以免费下载。
今天，微信，订阅号助手，APP正式发布，运营者可以快捷地编辑和发表内容、方便地处理留言和回复粉丝消息，目前该APP仅有iOS版，不过在苹果AppStore已经出现了多款山寨APP，甚至在名字中打出，官方版，的称号，对此，腾讯公关总监特别提示一下，官方app叫，订阅号助手，，请认准下载，别无分号，订阅号助手，App兼具四大能力，1、随...。
对于想要创业的人群而言，如何选择创业项目是一件难事，下面小编就为大家介绍一个不错的品牌，那就是贝克汉堡西餐小吃，该品牌兢兢业业的发展态度，赢得了社会各界人士的认可，有意向加盟的话，可以先来看看，贝克汉堡西餐小吃加盟店房租高吗，贝克汉堡西餐小吃加盟店房租高吗公司制定了标准化的加盟管理制度，其中就对于各项费用的收取进行了明确的规定，首先需...。
进入二十一世纪，加盟连锁成为智慧之选者的新宠，然而，近来不断有智慧之选者称自己智慧之选加盟项目后，上当受骗，血本无归，对此，智慧之选建议，加盟有，智慧之选需谨慎，应该选择智慧之选少、信誉好、具有专业团队的项目，说，比如南粉北面中式快餐加盟就很好，介绍说，南粉北面是面点大师何玉柱先生和其弟子乔光杰先生一起创立的，两人都是餐饮业的，尤其是...。
发表在明基投影仪2018，6，2011，05关注明基1070，好久了，期间一直学习投影仪知识，也对DLP和3LCD有一定了解，对比了爱普生5300，奥图码260S，等等价格区间差不多的型号，最后锁定明基1070，和爱普生5300，挑选期间很是纠结，对比了国外各种销售平台的两者的销量，评价，还有各种论坛对两者的对比，再结合两者再这个售价...。
准备工作，清华同方电视、u盘、电脑一、百度搜索，当贝市场，，进入官网下载最新版本apk文件，或点击直接下载，http，dlap1.dbkan.com，update，dangbeimarket.apk，，并拷贝进u盘，附，当贝市场官网，http，www.dangbei.com，二、将U盘插入电视中，打开电视自带的电视应用市场搜索...。
