cosFormer ICLR 重新思考注意力机制中的Softmax 2022 (cosforge)
导读：Transformer在自然语言处理、计算机视觉和音频处理方面取得了巨大成功。作为其核心组成部分之一，SoftMax Attention模块能够捕捉长距离的依赖关系，但由于Softmax算子关于序列长度的二次空间和时间复杂性，使其很难扩展。针对这点，研究者提出利用核方法以及稀疏注意力机制的方法来近似Softmax算子，从而降低时间空间复杂度。但是，由于误差的存在，效果往往不尽如人意。
我们（商汤多模态研究组）认为，近似操作本身存在的误差使得其效果很难超越Softmax Attention。我们的观点是，与其近似Softmax，不如设计一种方式代替Softmax，并且同时降低时间空间复杂度。因此，本文提出了名为cosFormer的方法，在时间空间复杂度关于序列长度为线性复杂度的同时，其性能接近或者超越Softmax Attention，并在LRA benchmark上取得SOTA结果。我们的设计核心理念基于两点，首先是注意力矩阵的非负性，其次是对局部注意力的放大（非极大值抑制）。
本文主要介绍已收录于ICLR 2022的一篇文章 cosFormer : RethinkingSoftmaxinAttention。
论文地址：
部分开源代码：
图片表示各种transformer在LRA benchmark上的表现，其中y轴表示性能，x轴表示速度，圆圈大小表示内存，我们提出的cosFormer取得了明显的优势。
一、背景
3、Softmax的两大性质
我们经过分析以及实验，归纳出Softmax Attention中比较重要的性质，这两个性质可以指导我们的模型设计：
1.注意力矩阵的非负性
2.局部注意力的放大（非极大值抑制）
所以我们的方法需要在加了reweighting操作后也更加集中在对角线附近。注意并非所有的有类似权重的函数均适用，这个reweighting的函数需要跟前面的QK一样可以拆分成两个矩阵的乘法的形式。
至此，就可以引入我们的cosFormer了。
二、cosFormer
1、方法
我们的方法基于线性Attention，首先给出符号定义：
2、实验结果
我们在单向模型，双向模型以及LRA benchmark上测试了我们的方法，均取得了非常不错的效果。
单向语言模型，指标表示困惑度（越低越好）：
论文地址：
版权文章，未经授权禁止转载。详情见 转载须知 。
本文地址： https://www.gpxz.com/article/be0e91d84d8569e6a9a1.html
十万阿里人都在用的笔记与文档知识库，面向企业、组织或个人，提供全新的体系化知识管理，打造轻松流畅的工作协同。金融级数据安全、丰富的应用场景、强大的知识创作与管理，助力企业、个人轻松拥有云端知识库
南昌永鸿信息咨询有限公司注册成立于2011年,南昌地铁电视金融广告、地铁导视牌、场内活动、户外大牌独家代理商,致力打造为客户提供“一站式六星级管家”广告服务。
人文与社会发展学院
好句子网分享2023好词好句好段摘抄大全，这里汇聚优美好句好段摘抄大全，各种优美诗句、诗词名句、好句子、语录等内容。
江苏亿昌橡塑科技有限公司是一家专业从事隔膜泵隔膜片生产销售的企业，提供优质的隔膜泵隔膜片和服务。
广东省揭阳市光明电缆厂创办于1986年，拥有先进齐全的生产设备、质量检验设备和雄厚的技术力量，并严格按照S09001国际质量体系标准及国家标准要求强化各道工序质量的控制管理
南通佳筑建筑科技有限公司专业胶合木加工24米超长压机，大构件、大跨度。弧形梁、异型梁定制加工。构件精确开槽，打孔，预组装。强大技术支持服务结构施工图设计、构件力学计算书。项目材料表清单，工程成本预算。
【康锋影院】(www.ahxgfd.com)为您提供2025vip热播电视剧全集【超前点播】高清电影手机免费在线观看服务【无广告不卡顿】康锋影院每天第一时间更新,更多精彩经典在线视频尽在康锋影视。
株洲通达铁路电机有限公司是中国铁路总公司定点制造、修理铁路机车电机、电气产品的专业厂家，也是为越南、韩国生产机车重要件的自营进出口企业。拥有各类机械动力及新型检验设备200余台套。电话：0731-28609003
振湘医药电子商务网
玛丽人派-外星人聚集点
随着人们生活水平的提升以及休闲娱乐需求的增加，ktv的市场消费力度也是在不但扩大，备受市场认可的当下，也是西影路不少创业者的发展目光，就开个ktv大概需要多少钱，对此感兴趣的朋友不妨跟着小编一起去了解一下，众所周知，KTV，一直都是以唱歌的形式来吸引消费者，但是，单一的模式在激烈的竞争面前很容易受到市场波动的影响，多元化的市场发展趋势...。
文字链接认证代码普通联盟标志认证代码企业广告联盟标志认证代码广告联盟评测代码说明，本页面的认证代码为58广告联盟，停业，专用评测代码，站长需懂简单html知识，直接复制代码粘贴到联盟网站相应页面即可使用，本代码不适用于其他广告联盟网站请勿获取！文字认证，文字链接代码认证适用所有类型的广告联盟，复制代码后放在58广告联盟，停业，网站首页...。
薯条品牌是国内休闲食品行业的一个知名品牌，它有着外层酥脆，内层绵密柔软的口感，在搭配多种台湾知名风味的酱料，使每一个薯条都能够充满消费者的味蕾，是消费者优选的一个休闲食品品牌，自从薯条品牌在市场成立后，为国内消费者带来了纯粹的休闲食品及其他美食项目，而且公司在市场专门成立了餐饮技术的研发实验室，在经营中大力发展新品服务，而且还针对于国...。
又一半导体行业的重大收购完成，当地时间2020年10月29日，全球领先半导体厂商Marvell官宣，Marvell与美国模拟芯片制造商Inphi两家公司董事会一致决定，Marvell将通过，股票，现金，的方式以总价约100亿美元收购Inphi，此交易之后，Marvell将重组为一家企业价值约400亿美元的半导体公司，加码云数据中心和5...。
明略科技今日宣布任命张斯成为首席战略官，CSO，，向明略科技创始人兼CEO吴明辉汇报，据悉，张斯成将负责公司的战略制定和落地、市场趋势研判及洞察、产品与市场规划、生态建设与管理等工作，作为企业数字化领域的资深人士，张斯成拥有超过20年科技行业创新业务拓展和管理经验，负责领域横跨业务、产品、运营、商务、战略投资等，加入明略前，他长期担任...。
发表在当贝投影仪2022，6，2919，34最近几年的环境问题相信有一些小伙伴很久没有出国了，还有很多小伙伴非常想出国旅行看一看其他各国的美丽景色，今天就给大家分享一个超级棒的网站，这里网站内有全球各地的实况摄像头，可以让你足不出户就能欣赏到世界各地的风景，这里我们用投影仪试一试感受超大屏的异地风景，看看其他各国的人们都在做什么呢，全...。
现在家居中的家纺的款式花样多，还会有各种面料的产品供应，人们家庭日常生活中就会需要不同季节的家纺产品，有家居的四件套，有羽绒被子、枕头等等，家居产品的种类多，还能够为创业者带来丰厚的收效，如果开店的话，究竟南通家妨哪个品牌好，可以加盟吗，1、老裁缝家纺，公司总部是在江苏，公司总部还在国内发展了上千家的连锁店，还能够提供丰富多样的款式，...。
随着科技的飞速发展，人工智能，AI，已经成为全球市场的热门话题，根据市场研究报告，全球AI市场规模预计将在未来几年内持续增长，这主要得益于大数据、云计算、物联网等技术的快速发展，为AI技术的发展提供了丰富的数据和计算资源，...。
申明，1.以上内容仅代表揭发者自己，不代表黑猫揭发立场，2.未经授权，本平台案例制止任何转载，违者将被清查法律责任，3.黑猫揭发处置揭发不收取任何费用，凡以黑猫揭发名义不要钱的均为混充、诈骗行为，请及时报警并与黑猫官网反应，揭发邮箱heimaotousu@vip.sina.com，4.请大家选用官网渠道处置生产纠纷，不要轻信第三方机构...。
2.点击蓝色字样的，下载Chrome，即可下载装置最新谷歌阅读器，3.弹出下载框，点击，保留，即可，这样就下载到了可以智能更新的官网谷歌Chrome阅读器，拓展资料GoogleChrome是一款由Google公司开发的网页阅读器，该阅读器基于其余开源软件撰写，包含WebKit，指标是优化稳固性、速度和安保性，并发明出繁难且有效率的经常...。
警车高速上疑因小车未让道将其逼停，荆州警方，两便衣女子系在职民警，正考查5月13日，有网友颁布高速上一辆警车截停一私家车的视频引发泛滥关注，警车的行为被质疑存在报复性执法，潇湘晨报，报料微信，xxcbbaoliao，此前报道，14日下午，记者经与湖北高速交警三支队和荆州市松滋市公安局核实，确认该警车属于荆州市松滋市公安局，警车两名黑衣...。
生化危机劫后余生生化危机劫后余生安卓下载生化危机劫后余类型研发商互联网更新时间生化危机劫后余生下载生化危机后果游戏简介生化危机是由开发的第三人称射击游戏是生化危机系列的第三部作品故事发生在后病毒时代的美国玩家扮演女主角吉尔瓦伦丁和演员卡洛斯奥利维拉必须与僵尸和其他邪恶生物战斗解决谜题最终逃离城市生化危机后果下载游戏特色...
去年在微信腾空出世了一款超好玩的合成小游戏，它的名字叫，合成大西瓜，，一下子让很多不是那么爱玩游戏的朋友，也开始跟风进行合成挑战，合成游戏主要是考验玩家，开动脑筋进行合成，现为大家介绍一款合成类游戏，每款合成游戏的主题都是不一样的，相信会带给玩家不一样的趣味体验，1、，合成英雄，谁能够拒绝这款支持挂机的游戏呢，这是一款将挂机和战斗合并...。
作者丨何思思编辑丨周蕾在2021的秋冬之际，没有一个词能够火得过，元宇宙，但剥去炒作的外衣，抛开疯狂的热度，元宇宙并非是一个与现阶段人类生活完全割裂的一股热潮，相反，它已经指明了一些更为具体且艰难的技术发展方向，元宇宙当然不会一蹴而就，现阶段它在视频上的指向，就是超高清版的VR视频、VR游戏，一位关注元宇宙的视频云行业人士指出，...。
文字链接认证代码普通联盟标志认证代码企业广告联盟标志认证代码广告联盟评测代码说明，本页面的认证代码为知天下导航联盟专用评测代码，站长需懂简单html知识，直接复制代码粘贴到联盟网站相应页面即可使用，本代码不适用于其他广告联盟网站请勿获取！文字认证，文字链接代码认证适用所有类型的广告联盟，复制代码后放在知天下导航联盟网站首页底部或友情链...。
姓名，言承旭英文名，JERRY生日，1月1日身高，180公分体重，72公斤三围，38、30、36星座，魔羯座血型，B型静止，舞蹈、篮球专长，打球搜集品，各式各样的眼镜食物，任何可以吃的都吃色彩，热爱彩色共性，沉闷、反响快、敬业乐群特质，俊帅的造型常挂着亲切的愁容，好学不倦有责任是他对自我的需要，排汇盛行消息是他在上班态度上的基本要件，...。
有限内购手游盒子可以协助大家微微松松的下载到破解了游戏内一切资源道具，包含有限钻石、有限金币还有有限元宝的经常使用等等，可以让大家不用花钱就能够享遭到最棒的游戏体验，本文小编也曾经给大家整顿好了有限内购手游盒子，下载就可以无偿经常使用，连忙来下载试试吧，点击进入了解更多有限内购手游盒子，有限内购手游盒子有限内购手游盒子1、胖爪游戏胖爪...。
