AndrejKarpathy：大模型有内存限制，这个妙招挺好用|速度|序列|token|karpathy
用微信扫码二维码
分享至好友和朋友圈
AndrejKarpathy用通俗易懂的语言介绍了speculativeexecution。
「如今，LLM（大语言模型）并不是单点突破的——而是需要多个重要组件有效协同工作的系统。Speculativedecoding是帮助我们从系统角度思考的一个很好的例子。」爱丁堡大学博士生符尧表示道。
人形机器人公司1XTechnologies的AI副总裁EricJang评价道：「Karpathy很好的解释了LLM的speculativeexecution。其他自回归模型可能会以类似的方式加速。连续（扩散）模型可能从K步中获益较少（可能在第1步后偏离猜测），但可以将其应用于VQ-latents的离散代码。」
看完上述评价，我们大概也了解了，Karpathy说的「Speculativeexecution」，这是优化技术的一类，采用这个技术的计算机系统会根据现有信息，利用空转时间提前执行一些将来可能用得上，也可能用不上的指令。如果指令执行完成后发现用不上，系统会抛弃计算结果，并回退执行期间造成的副作用（如缓存）。
为了让大家更好的理解Karpathy的内容。我们先介绍一下「Speculativedecoding」方法，对后续理解更加有益，其主要用于加速大模型的推理。据了解，GPT-4泄密报告也提到了OpenAI线上模型推理使用了它（不确定是否100%）。
关于「Speculativedecoding」，已有几篇重要文献可供参考，这也是Karpathy为了写这则推特所参考的论文，包括谷歌今年1月发表的论文《FastInferencefromTransFormersviaSpeculativeDecoding》、DeepMind今年2月发表的论文《AcceleratingLargeLanguageModelDecodingwithSpeculativeSampling》，以及谷歌等机构2018年的论文《BlockwiseParallelDecodingforDeepAutoregressiveModels》。
简单来说，「Speculativedecoding」使用两个模型：一个是原始目标模型称为大模型，另一个是比原始模型小得多的近似模型称为小模型。主要思想是先让小模型提前解码多个token进行猜测，并将它们作为单个batch输入到一个大模型中进行审核修正，其效果和直接用大模型解码等价。如果小模型猜测的不准确，那么大型模型会放弃小模型预测的token，继续使用大型模型进行解码。
由于小模型计算量小，从而大大减少了内存访问需求。
介绍完「Speculativedecoding」，我们再回到Karpathy的推特。Karpathy是针对下面内容回复的。
Karpathy表示：对于LLM来说，「Speculativeexecution」是一种极好的推理—时间优化方法。
它取决于以下方面：在单个输入token上分发LLM所花费的时间与在批处理中分发K个输入token所花费的时间一样多。产生这样的原因是因为采样严重受内存限制：模型运行时的大部分工作不是在做计算，而是从VRAM读取transformer的权重到片上缓存进行处理。如果你要做的工作是来读取这些权值，你可以把它们应用到一整批输入向量上。
但是我们不能一次性采样一批K个token，因为每N个token都取决于我们在第N-1步采样的token。由于存在串行依赖性，因此基线实现只是从左到右逐一进行。
这种方法起作用的原因在于，很多「草稿」token都会被接受，因为它们很容易，所以即使是更小的草稿模型也能得到它们。当这些简单的token被接受时，我们会跳过这些部分。大模型不同意的hardtoken会回落到原始速度，但由于一些额外的工作，实际上速度会慢一些。
Karpathy表示，这个奇怪的技巧之所以有效，是因为LLM在推理时受到内存限制，在对单个序列进行采样的batchsize=1设置中，很大一部分本地LLM用例都属于这种情况。因为大多数token都很「简单」。
本文地址： https://www.gpxz.com/article/a735b091036354aa2eda.html
司马阅是成都三生万物科技旗下核心AI品牌，作为百度AI生态首批原生AI合作伙伴，依托自研备案DocMind文档智能模型，专注文档智能与数据智能领域，为企业提供严肃场景AI落地解决方案。通过将非结构化文档转化为大模型可理解的标准化数据，有效控制AI幻觉，助力企业从数字化向AI智能化转型。产品入选2025非凡-原生AI产品奖、国家职业教育教材及“一带一路”AI应用案例集，已服务招投标、制造、物流等数十行业上百家企业，践行“AI普惠”愿景，让AI生产力落地业务创造价值。
赛尔主要从事抗体与相关产品研发及生物医学技术服务,已通过抗体生产ISO9001体系认证，从2008年开始一直被评为国家高新技术企业，并获得“开发区科技创新奖”荣誉称号。
茶郎中是重庆多普泰制药和多代制药公司品牌，专注于袋泡茶赛道，产品包含八珍袋泡茶、茸杞补肾健脾茶等，打造国潮养生和中医药文化理念相融合的新诠释，持续力争成为袋泡茶药品行业品牌。
DAV数字音视工程网(dav01.com)是音视频工程行业权威门户网站,为您提供全面及时的项目,招标信息,厂商动态,工程技术资源和详尽准确的产品信息及相关厂家,经销商,工程商信息.包括大屏显示,信号处理,集中控制,数字会议,音频扩音,灯光舞台,公共广播,监控安防,摄录编播,远程音视涉及的会议系统,视频会议,多媒体会议,多功能会议,指挥中心,指挥调度,投影机,虚拟仿真,大屏幕,监控,公共广播,项目招
炫游攻略网是一个分享网游、手游、单机游戏玩家提供最新/最全的游戏资讯、攻略、活动内容的综合服务平台，内容涵盖手游攻略,游戏攻略,游戏资讯,游戏排行,手游排行耪,热门游戏等内容
朴朴超市官方网站,朴朴快送超市创立于2016年，专注于打造移动端30分钟即时配送一站式购物平台。
产品中心
铭辰影院为您提供最新电影、热播电视剧、综艺节目、华语动作电影、欧美科幻电影、韩剧、美剧、港剧、动漫等、以及各种好看的视频。更有丰富电影专题,电影分类,权威电影评分,忠实影迷的电影评论！
东莞市中易网络科技有限公司是一家专注于全网整合营销推广服务商,主营:东莞GEO优化,AI搜索排名,GEO优化公司,GEO优化哪家好,东莞阿里巴巴运营,东莞诚信通装修,东莞阿里巴巴代运营,1688店铺运营,1688旺铺装修,阿里巴巴装修,诚信通代运营,诚信通开户,阿里装修,阿里代运营,阿里托管,GEO优化十大服务商.提升网络营销效果热线:13433038878
上海佰杏废旧物资回收有限公司从事二手行车回收,二手机械设备回收等服务,至开业以来,有很多的回收案例,得到企业以及很多机构的一致好评.
关于我们 绍兴纱奈网络科技有限公司（以下简称
懒人经济，促进了干洗行业的极大发展，不可否认，当下洗护需求已经成为品质生活的重要组成部分，越来越多的加盟商开始踏入干洗这个行业，以求分得一杯羹，那么，干洗店加盟多少钱，加盟哪家洗衣店好呢，下文就为各位详细回答，干洗店加盟多少钱，开干洗加盟店，加盟费用主要取决于所加盟的品牌，以及相应的加盟级别，因为品牌不同，加盟费肯定不一样；加盟级别...。
虽然早在谷歌宣布推出中国市场后，谷歌电子邮件等服务的网页版就无法在中国正常使用，但现在，Gmail的IMAP，POP，SMTP也被封了，这可让数量颇大中国用户们表示措手不及，对于Gmail被封的消息，我国外交部回应称不了解具体情况，建议直接向中方主管部门询问，而谷歌公司方面也表示已经对服务端进行检查，但并没有发现问题，这样的情况下，估...。
Facebook在F8开发者大会上的大招是开发Messenger，把这个拥有9亿用户的聊天软件，开发为一个可以让商家与用户通过聊天机器人沟通的成熟平台，表面上看，这感觉是一个标准的产品发布会，虽然目标很大，，将一个已经很成功的产品推向下一个层面，但是没有这么简单，三个互相交错的推力，汇成了这场发布会，值得我们花时间去了解为何每个人都在...。
这个时代的滑稽和伟大之处皆在于，我们每天要证明自己是自己，在淘宝上购买一件衣服，你需要扫一扫，人脸识别，，证明一下你是你；去公司上下班，你需要点一点，指纹识别，，证明一下你是你；如果你在银行、政府单位的，重要场景，中工作，你还得接受一下，虹膜识别，，证明一下你的确是你，而上述这些技术，统称为生物识别，声纹识别便是其中之一，声纹识别也被...。
伤者正在医院接受治疗，目前仍有头痛耳鸣的症状，警方通报目前已受理案件将会严格依法处理，仨大学生与同学约架被电棍击伤，2022年11月4日在陕西汉中航空职业技术学院内发生了一起校园斗殴事件，被打的同学表示在临床时一寝室门还在开着，里面的人在玩闹嬉戏，这名同学认为对方声音过大，于是对其进行劝诫，没有想到的是双方产生了激烈的争吵，继而约架，...。
泰坦陨落2作为一款深受玩家喜爱的第一人称射击游戏，以其独特的泰坦机甲战斗体验而闻名，游戏中有多种风格各异、能力独特的泰坦机甲供玩家选择，每一种都有其独特之处和使用场景，下面，我们将为玩家详细介绍泰坦陨落2中的所有泰坦机甲，北极星北极星是游戏中的一款轻型泰坦，以其高速度和灵活性著称，它适合喜欢快速移动、迅速反应的玩家，北极星的机动性极高...。
中美安克雷奇战略会谈之后，双方进行了首轮战略试探，双方都在进行战略的调整，中美或许会进行更富有建设性的战略会谈，以利于全球局势的稳定和中美关系的改善，不过，总的来说，美国对华政策缺乏松动、趋缓的迹象，相反，美国在搞联合行动，拉盟友共同对付中国，日本、印度、澳大利亚，都有行动上的配合，言论上也在刺激或挑衅中国，欧洲的法国、德国和英国对美...。
1、关上阅读器，2、点击搜查框界面，3、输入植物大战僵尸1并启动搜查，4、找到结果进入并下载即可，植物大战僵尸1解谜形式有哪些植物大战僵尸1解谜形式有，1、前十个游戏是，破罐者、所有留下、第3个罐子、连锁反响、M的意思是金属、胆大的制陶工、变戏法、另一个连锁反响、罐子王牌、无尽的试炼，2、后十个游戏是我是僵尸、我也是僵尸、你能铲了他吗...。
巨蟹座属于水象星座，水相的人感情丰盛，万事一个爱，有爱恨才是恶人生，水象星座包含巨蟹座、天蝎座和双鱼座，区分以螃蟹、蝎子和鱼作为意味符号，这三种生物不是成长在隐密的中央，就是在水边或水底生存，由此也可以看出这三个星座特殊的偏差和特质，在星相学中，巨蟹座、天蝎座、双鱼座均属于水元素族，似乎咱们的序曲中所形容的，咱们不难想像水元素族，主宰...。
接上去看下性能，奥迪Q5L装备了主副驾安保气囊前排侧气囊胎压报警等六项安保性性能另外，这款车还装备了防紫内线玻璃全车车窗一键升降智能空调等十七项温馨性性能落地价方面，咱们以奥迪Q5L2021款40TFSI奢侈，元，车船经常使用税400元，交强险950，可以奥迪Q5L是能买到的BBA中最廉价的中型SUV，得益于它的渺小活动，奥迪Q5L的...。
2010款飞驰凌特，出口，3.5L智能飞驰LMC—73057万公里维护名目费用飞驰LMC，7305内行驶7万公里后须要启动基础维护，包含基础A维护，AMG机油，、前制动摩擦片及制动盘维护、后制动摩擦片维护等名目，费用区分为2060元、4200元和2100元，此外，日常培修名目维护名目包含变速箱油及滤清器维护、后制动摩擦片及制动盘维护、...。
小兵一键重装如何将gpt分区格式转化为MBR分区格式
在国内消费规模不断的壮大和提升下，为其经营之路赢得了广泛的市场空间和潜力，其中内衣类的产品，在市场刚需的影响下，其产业的发展更是轻松壮大，珍妮芬内衣实力品牌传授，自有研发基地的指导，在多地的市场上均是得到了无数消费者的欢迎，全国诚邀加盟商，那么珍妮芬内衣怎么加盟，有哪些扶持，店面经营产品系列多，内衣、家居服、泳衣、打底衫，以厂家直供的...。
LeslieLamport可能并不是一个家喻户晓的名字，但对于计算机科学家们来说，他是一些耳熟能详的，名字，幕后的贡献者，比如Paxos算法、排版程序LaTeX、规格语言TLA，、，面包店算法，和，拜占庭将军问题，LeslieLamport彻底改变了现代计算机之间的对话方式，2013年，他被授予图灵奖，以表彰他在分布式系统方面的工作，...。
最新方法怎么看电视台，只需要在电视上装一个当贝市场就可以轻松解决，1、下载当贝市场，http，www.dangbei.com，安装包并拷贝到U盘，2、打开东芝电视，按下遥控器的设置键，打开设置界面，点击，更多设置，3、在设置界面找到，通用，选择，商场模式，，把商场模式改为，开启，状态，4、成功开启以后，把U盘接到电视的USB接口...。
具有传统文化气息的休闲小吃，总是可以吸引消费者的目光，比如锅烙就有较高的美食人气，不管是大人还是小孩都喜欢吃，市面上有很多经营锅烙的门店，家和锅烙铺生意状况就不错，主打的锅烙口味多样，口感酥脆，营养价值丰富，销售价格不贵，迅速在各地发展起来，占据了较大的经营市场，正因为如此也吸引了加盟商的目光，那么，家和锅烙铺怎么加盟，很多对家和锅烙...。
现在的人们对于外观秉持的是越来越重视的态度，无论男女，都希望自己是街上好看的那个，所以近些年来，各大小美容院的生意是越来越好了，也因为如此，越来越多的创业人士把目光投放到了美容院项目的建设经营上，美容院的创建，现多以代理为主，那么美容院代理品牌有哪些呢，关于这个问题，就让小编来为大家介绍一下吧！代理品牌一、百莲凯美容院百莲凯美容院是一...。
