cosFormer ICLR 重新思考注意力机制中的Softmax 2022 (cosforge)
导读：Transformer在自然语言处理、计算机视觉和音频处理方面取得了巨大成功。作为其核心组成部分之一，Softmax Attention模块能够捕捉长距离的依赖关系，但由于Softmax算子关于序列长度的二次空间和时间复杂性，使其很难扩展。针对这点，研究者提出利用核方法以及稀疏注意力机制的方法来近似Softmax算子，从而降低时间空间复杂度。但是，由于误差的存在，效果往往不尽如人意。
我们（商汤多模态研究组）认为，近似操作本身存在的误差使得其效果很难超越Softmax Attention。我们的观点是，与其近似Softmax，不如设计一种方式代替Softmax，并且同时降低时间空间复杂度。因此，本文提出了名为cosFormer的方法，在时间空间复杂度关于序列长度为线性复杂度的同时，其性能接近或者超越Softmax Attention，并在LRA benchmark上取得SOTA结果。我们的设计核心理念基于两点，首先是注意力矩阵的非负性，其次是对局部注意力的放大（非极大值抑制）。
本文主要介绍已收录于ICLR 2022的一篇文章 cosFormer : RethinkingSoftmaxinAttention。
论文地址：
部分开源代码：
图片表示各种transformer在LRA benchmark上的表现，其中y轴表示性能，x轴表示速度，圆圈大小表示内存，我们提出的cosFormer取得了明显的优势。
一、背景
3、Softmax的两大性质
我们经过分析以及实验，归纳出Softmax Attention中比较重要的性质，这两个性质可以指导我们的模型设计：
1.注意力矩阵的非负性
2.局部注意力的放大（非极大值抑制）
所以我们的方法需要在加了reweighting操作后也更加集中在对角线附近。注意并非所有的有类似权重的函数均适用，这个reweighting的函数需要跟前面的QK一样可以拆分成两个矩阵的乘法的形式。
至此，就可以引入我们的cosFormer了。
二、cosFormer
1、方法
我们的方法基于线性Attention，首先给出符号定义：
2、实验结果
我们在单向模型，双向模型以及LRA benchmark上测试了我们的方法，均取得了非常不错的效果。
单向语言模型，指标表示困惑度（越低越好）：
论文地址：
版权文章，未经授权禁止转载。详情见 转载须知 。
本文地址： /article/be0e91d84d8569e6a9a1.html
江苏开锁培训，教开锁，学配汽车遥控，学开锁技术，开锁学校，包学会免费住宿。欢迎各地学员实地考察，报销路费，学开锁找安信！
4399安卓游戏为您提供忍者必须死3手机版下载、忍者必须死3安卓版下载，忍者必须死3最新版攻略、评测，更多忍者必须死3下载尽在4399手机游戏网。
人民网，是世界十大报纸之一《人民日报》建设的以新闻为主的大型网上信息发布平台，也是互联网上最大的中文和多语种新闻网站之一。作为国家重点新闻网站，人民网以新闻报道的权威性、及时性、多样性和评论性为特色，在网民中树立起了“权威媒体、大众网站”的形象。
中通智能专业生产防爆产品,防爆电器,防爆小屋,防爆柜,防爆配电箱,防爆空调,防爆控制箱,防爆空调,防爆监控,led防爆灯等防爆电器产品。
浙江奔克汽车部件有限公司（前身是瑞安奔克汽车部件有限公司）成立于1993年，是一家集产品研发、制造和销售于一体的汽车用品生产厂家。专业研发和制造汽车冲压、五金、塑胶、电镀、吸塑、注塑等内外饰零部件。
花卉谷提供花卉种植基地和种植技术,包括室内花卉、阳台花卉、盆栽花卉等,适合各种场合和地域的花卉种植方案。多肉花卉、温室花卉、苗木花卉种植技术齐全,让你更好地了解每个花卉的特点和养护方法，让你的花儿更加健康美丽。
快乐走-计步
高速石墨立式带锯床_高速石墨卧式带锯床_金刚砂环线锯切机
江苏克锐特塑料机械有限公司生产PP、ABS、PC、HIPS、HDPE、LDPE等塑料造粒机.废旧塑料回收造粒机,再生塑料造粒机，塑料再生造粒机。源头厂家，售后保障。
重庆搬家公司,正规靠谱,优质服务,无损搬家,全部归位,搬家价格透明,拒绝乱收费,提供重庆小型搬家,长途搬家,公司搬迁,重庆搬家电话提供咨询预约,拨打搬家电话,了解重庆搬家公司收费标准,重庆市搬家公司哪家好等事宜.服务区域:万州区,黔江区,涪陵区,渝中区,大渡口区,江北区,沙坪坝区,九龙坡区,南岸区,北碚区,渝北区,巴南区,长寿区,江津区,合川区,永川区,南川区,綦江区,大足区,璧山区,铜梁区,潼南区,荣昌区,开州区,梁平区,武隆区及其重庆周边地区搬家服务
森林防火监控、长波非制冷机芯、中波制冷机芯、短波红外机芯镜头、船舶红外夜视热成像辅助航行摄像机、中远距离激光夜视摄像机、手持式热成像仪、测温报警热成像、远距离高清透雾日夜摄像机、车载热成像助行仪、热成像瞄准镜、多光谱云台、抗风转台、高清电动变焦镜头
国产银河麒麟二三维数字沙盘大数据可视化研训推演模拟仿真地理信息系统(T3D&M3DGIS)是成都趋势电子有限责任公司秉承贰拾多载（2001）工匠精神自主知识产权的通过手势多点触摸控制的大型二、三维一体化地理信息系统；以三维地理信息（3DMAX、BIM模型）、部队部署、三维态势要图标绘推演、综合查询等为基础支撑，深度开发联网标图、无人机三维倾斜摄影、实时视频防控、智慧消防救援、公安接处警、武警反恐防爆、人防应急抢险救灾、交通事故热点路况查询分析等功能；符合军用技术体制和标准规范，提供丰富的二次开发接口(公众号:m3dgis2001）
好玩的迷宫游戏推荐2023，迷宫相信大家都不陌生，迷宫拥有一个入口和出口，不过很多条路线会迷惑我们，我们要找到出口，然后规划好一条路线出去，这类手游十分的休闲益智，寻找迷宫的玩法深受广大玩家喜爱，话不多说，一起看下本期带来必玩的迷宫手游排行榜吧，希望里面有能让你喜欢的迷宫游戏哦，1、，不思议迷宫，什么你说这个迷宫不可思议，明明是不思议...。
在游戏世界中，有一类简单而又富有魅力的游戏一直备受玩家们的喜爱那就是火柴人格斗游戏，这些游戏以其独特的艺术风格和快节奏的战斗场景闻名，玩家们可以在其中扮演火柴人形象，展开一场场惊险刺激的格斗对决，无论是在游戏机上还是手机上，这些火柴人格斗游戏都成为了众多玩家消磨时光的首选，1、，逗斗火柴人，火柴人在这款游戏里的身手十分敏捷，可以进行跳...。
4月25日，坦克品牌领衔长城集团五大品牌首次联合参展2024北京国际车展，并携旗下坦克700Hi4，T等全系重磅车型闪耀登场，作为长城汽车的越野，担当，，坦克品牌承袭长城34年越野基因，三年间迅速成长为中国硬派越野SUV、全球越野品牌的领导者，尽管越野蓝海迅速泛红，但三年的时间里，坦克始终保持销量第一的位置，连续39个月，一直占据50...。
1月22日，华为与东风汽车集团旗下的电动汽车品牌岚图正式签署战略合作协议，华为方面由华为副董事长、轮值董事长徐直军、华为智能汽车解决方案BUCEO靳玉志等人出席，一位东风汽车员工对表示，双方会侧重车机等领域的合作，这次合作可看作是双方战略合作的延续，从官宣照片的站位来看，负责智选车业务的华为汽车BU董事长余承东并未出现，而是...。
强化学习，RL，对大模型复杂推理能力提升有关键作用，但其复杂的计算流程对训练和部署也带来了巨大挑战，近日，字节跳动豆包大模型团队与香港大学联合提出HybridFlow，这是一个灵活高效的RL，RLHF框架，可显著提升训练吞吐量，降低开发和维护复杂度，实验结果表明，HybridFlow在各种模型规模和RL算法下，训练吞吐量相比其他框架提...。
extraordinary，英[ɪkˈstrɔːdnri]美[ɪkˈstrɔːrdəneri]adj.不同凡响的，令人惊奇的，特殊的，出色的，特意的，暂时的，特大，或多，的，特派的，特命的n.，公司反常业务优惠之外的，特意名目派生词，extraordinarilyadv.例句，3Dprintingtoadvancedgenetics，...。
下载装置暴风影音的详细方法如下，1、预备一个U盘，在电脑网络高低载暴风影音软件装置包，apk格局，，复制并存储到U盘的根目录下，2、将U盘拔出电视USB接口，3、进行电视机，进入tcl网络电视主界面，4、经常使用电视机的遥控器，找到文件治理，关上后找到移动存储设施并关上，5、关上移动存储设施后就可以看到U盘上存储的文件内容了，找到软件...。
[全球网报道]据台湾，中央社，7月10日报道，美国参议院军事委员会外地期间8日正式将2025财政年度，国防授权法案，提交全院审议，条文包含允许台湾安保、抗衡中国大陆，以及需要美国防部为台湾设区域紧急库存，关于这一信息，有岛内网友评论称，，美国是多宿愿咱们抗争！，台湾，中央社，引述美媒报道，2025财政年度，国防授权法案，将提供9199...。
有的小同伴在经常使用Mac苹果电脑时，想要经常使用flashplayer，然而却不知道如何下载装置flashplayer软件，那么小编就来为大家引见一下吧，详细如下，1.第一步，点击并关上阅读器软件，接着经常使用网络软件来搜查并关上flash官方，而后点击立刻下载选项，2.第二步，实现dmg文件的下载后，双击页面底部的保管选项，3.第...。
丰田卡罗拉是丰田汽车公司推出的一款中型车，自上市以来备受生产者青眼，那么丰田卡罗拉车怎样样呢，上方，咱们从适用性、安保性和经济性三个方面来启动片面解析，适用性丰田卡罗拉车的适用性获取了广阔生产者的分歧认可，首先是它的空间设计十分正当，无论是乘坐空间还是存储空间都十分短缺，车内后排空间宽阔，能够轻松容纳三个成年人，不会感到拥堵，同时车内...。
二手车软件有哪些？汽车作为日常生活中代步工具越来越多的人购买，二手车的市场也非常庞大，能够在这里找到非常靠谱的二手车估价交易软件，二手车软件哪个好用？这里2265小编就收集整理了国内最好的二手车软件排行榜前十名，有需要就来看看吧！ 第一名：瓜子二手
重庆分类目录网站收录宗教相关的优秀网站大全分类检索，为上网用户提供宗教网站排行榜与您分享、收藏！
三国群英传3免费下载,迅雷下载
重庆分类目录网站收录宗教相关的优秀网站大全分类检索，为上网用户提供宗教网站排行榜与您分享、收藏！
用两扇移门爆改格局，打造“会呼吸”的空间。网易家居图库拥有最新最全的装修效果图，大量装修案例供您参考。众多设计师分享设计案例，让您最快找到装修灵感。
二手车软件有哪些？汽车作为日常生活中代步工具越来越多的人购买，二手车的市场也非常庞大，能够在这里找到非常靠谱的二手车估价交易软件，二手车软件哪个好用？这里2265小编就收集整理了国内最好的二手车软件排行榜前十名，有需要就来看看吧！ 第一名：瓜子二手
2022最新的私密聊天软件介绍，置信大家在手机上会有很多的直播软件，用来打发自己无聊的期间，同时还能看人家扮演自己的才艺，不少人不知道有哪些可以允许私密聊天的软件，上方跟着小编一同来看看吧，1，乐播直播间乐播直播间软件中有移动直播新体验，软件中都是真人在线启动直播的，在上方你可以看到很多的主播体现自己的才艺，同时你可以启动聊天交友等等...。
