AndrejKarpathy：大模型有内存限制，这个妙招挺好用|速度|序列|token|karpathy
用微信扫码二维码
分享至好友和朋友圈
AndrejKarpathy用通俗易懂的语言介绍了speculativeexecution。
「如今，LLM（大语言模型）并不是单点突破的——而是需要多个重要组件有效协同工作的系统。Speculativedecoding是帮助我们从系统角度思考的一个很好的例子。」爱丁堡大学博士生符尧表示道。
人形机器人公司1XTechnologies的AI副总裁EricJang评价道：「Karpathy很好的解释了LLM的speculativeexecution。其他自回归模型可能会以类似的方式加速。连续（扩散）模型可能从K步中获益较少（可能在第1步后偏离猜测），但可以将其应用于VQ-latents的离散代码。」
看完上述评价，我们大概也了解了，Karpathy说的「Speculativeexecution」，这是优化技术的一类，采用这个技术的计算机系统会根据现有信息，利用空转时间提前执行一些将来可能用得上，也可能用不上的指令。如果指令执行完成后发现用不上，系统会抛弃计算结果，并回退执行期间造成的副作用（如缓存）。
为了让大家更好的理解Karpathy的内容。我们先介绍一下「Speculativedecoding」方法，对后续理解更加有益，其主要用于加速大模型的推理。据了解，GPT-4泄密报告也提到了OpenAI线上模型推理使用了它（不确定是否100%）。
关于「Speculativedecoding」，已有几篇重要文献可供参考，这也是Karpathy为了写这则推特所参考的论文，包括谷歌今年1月发表的论文《FastInferencefromTransformersviaSpeculativeDecoding》、DeepMind今年2月发表的论文《AcceleratingLargeLanguageModelDecodingwithSpeculativeSAmpling》，以及谷歌等机构2018年的论文《BlockwiseParallelDecodingforDeepAutoregressiveModels》。
简单来说，「Speculativedecoding」使用两个模型：一个是原始目标模型称为大模型，另一个是比原始模型小得多的近似模型称为小模型。主要思想是先让小模型提前解码多个token进行猜测，并将它们作为单个batch输入到一个大模型中进行审核修正，其效果和直接用大模型解码等价。如果小模型猜测的不准确，那么大型模型会放弃小模型预测的token，继续使用大型模型进行解码。
由于小模型计算量小，从而大大减少了内存访问需求。
介绍完「Speculativedecoding」，我们再回到Karpathy的推特。Karpathy是针对下面内容回复的。
Karpathy表示：对于LLM来说，「Speculativeexecution」是一种极好的推理—时间优化方法。
它取决于以下方面：在单个输入token上分发LLM所花费的时间与在批处理中分发K个输入token所花费的时间一样多。产生这样的原因是因为采样严重受内存限制：模型运行时的大部分工作不是在做计算，而是从VRAM读取transformer的权重到片上缓存进行处理。如果你要做的工作是来读取这些权值，你可以把它们应用到一整批输入向量上。
但是我们不能一次性采样一批K个token，因为每N个token都取决于我们在第N-1步采样的token。由于存在串行依赖性，因此基线实现只是从左到右逐一进行。
这种方法起作用的原因在于，很多「草稿」token都会被接受，因为它们很容易，所以即使是更小的草稿模型也能得到它们。当这些简单的token被接受时，我们会跳过这些部分。大模型不同意的hardtoken会回落到原始速度，但由于一些额外的工作，实际上速度会慢一些。
Karpathy表示，这个奇怪的技巧之所以有效，是因为LLM在推理时受到内存限制，在对单个序列进行采样的batchsize=1设置中，很大一部分本地LLM用例都属于这种情况。因为大多数token都很「简单」。
4399不休的音符是一款音乐节奏游戏，在游戏中玩家体验不同类型的音乐，通过准确的音符设计和精确的节奏感，真实地感受到音乐的魅力。快来挑战反应速度和节奏感吧！
vip下载站是一个免费下载手机软件应用平台，为广大用户提供最新最全的免费手机软件app下载，手机游戏下载，并提供精品软件使用教程，手机游戏攻略等，为您提供vip般的下载服务。
为精英家庭2-15岁子女提供多元文化课程及特色主题课程的寄宿制国际化学校，让孩子成为有爱心、有社会责任感、有创造能力、有国际视野、有民族自信的新英才
欢迎光临卜易居免费算命大全！本站是网上算命最准的网站，主要测算项目有生辰八字算命，姓名测试，在线算命，周易算命，在线抽签，姓名算命，起名网免费测名，在线算命，老黄历查询，周易占卜，八字算命婚姻，周公解梦，万年历，周易算卦，手机号码测吉凶，姓名配对，车牌号码吉凶，塔罗牌占卜，2024年生肖运程，宝宝起名打分，起名字大全等内容;
广州市皓萱堂珠宝首饰有限公司新注册于2018年4月。公司的前身是美国一家大型首饰公司驻广州的采购办公室。
广州益美硬盘销毁回收公司隶属于广州益美环境服务有限公司，长期提供硬盘消磁销毁，冻肉销毁，冻品销毁，保密数据销毁，洗发水销毁，涉密载体销毁，咖啡销毁，茶叶销毁，咖啡豆销毁，沐浴露销毁，洗衣液销毁，保密文件销毁，过期食品销毁，过期奶粉销毁，啤酒饮料销毁，冷冻食品销毁，牛肉销毁，报废化妆品销毁，过期保健品销毁，报废面膜销毁，过期护肤品销毁，u盘芯片银行卡销毁，垃圾清理，工业垃圾处理，工业垃圾处置等业务，服务范围涵盖深圳珠海东莞过期化妆品处理销毁，佛山惠州过期食品处理销毁等珠三角地区
昆山兆准测量仪器有限公司是中国测量仪器领先品牌、行业的领导者！拥有完全自主知识产权的三坐标测量机、影像测量仪、快速测量仪、投影仪等精密量测设备的制造厂家，也是目前测量行业最具实力的生产厂家之一。工厂总部位于广东省东莞市，昆山为直销及全方面售后服务点，全国各地设有多个分公司或办事处，服务网点辐射于中国的华南、华东、华北、西北以及亚洲、欧洲等多个国家。
洁固高压清洗机,高压水除漆除锈,汽车厂格栅滑撬清洗,反应釜换热器清洗,船体除漆除锈,造纸机设备清洗,工业高压清洗机,上海洁固清洗设备有限公司
博森科技全球市场服务对接。广州博森科公司主营CCG合约量化机器人CCR现货量化机器人、FA外汇EA机器人。专注量化技术交易10年，成熟稳定自主研发技术，欢迎交流。苏经理
房山区企业管理咨询由北京星颂企业管理有限公司提供服务。
深圳市飞雪豹新能源科技有限公司
滴滴车主招募，详细介绍滴滴注册司机车辆要求及滴滴出行打车app下载，滴滴网约车，让你上班灵活，多劳多得，轻松补贴家用！点击查看滴滴车主招募、司机注册及车辆要求，滴滴打车app下载尽在滴滴出行！
披萨是是新一代潮流人们的爱，由于近几年人们的生活水平提高的是非常快的，因此很多人对吃的要求也是越来越高了，披萨逐渐走进了的市场并被人们喜爱，很多人知道快餐外卖当然披散也是可以外卖的，也许很多人对披萨外卖价格还不是很了解，今天小编就个大家简单的介绍一下希望对大家有更多的帮助，首先我们知道披萨的做法是比较独特的，而且味道也是非常的不错，大...。
欢迎收看3月8日的新机爆料汇总，一篇看完所有即将发布的新机规格，省得大家翻来翻去，对即将到来的新机有个预期，降低背刺几率，各家粉丝，可直接转跳到自家阵营，新机潮，会在3月底开始，一大波骁龙8sGen3和骁龙7，Gen3新机在路上，预算在2000元附近的机友请，坐和放宽，预测的搞机日历表，骁龙7，Gen3和骁龙8sGen3的关系，类似...。
上海从来不缺关于汽车的故事，汽车、轿车、智能电动汽车，这些都是上海汽车产业不同发展时期的关键词，1901年，上海街头首次出现两辆美国汽车，让上海市民第一次认识了，汽车，；80年代上海与大众汽车成立合资公司，则是刷新了国内汽车产业对于，如何生产一辆轿车，的认知；而2019年特斯拉上海超级大工厂的落成，直接让上海开启了，智能电动汽车，时代...。
发表在极米投影仪2021，7，2916，37今年新出的极米h3s投影仪和小米激光投影仪对比，这两款投影仪的区别还是很大的，那么极米h3s和小米激光投影哪个好呢，本文将从参数对比方面说说极米h3s和小米激光投影的区别，以及是入手极米h3s还是小米激光投影，一、极米h3s和小米激光投影参数对比二、极米h3s和小米激光投影对比区别1、光学参...。
近日，邯郸市第二中学发生一起悲剧，一名高一学生小卓因携带MP4被班主任劝退一周反省，最终导致跳楼身亡，据小卓的母亲描述，5月19日下午6点，康老师告知她小卓因为违反学校规定被要求离开学校，由于家中无人，家长急于接回孩子，但遭到校方拒绝，电话中还挂断了联系，当家长赶至学校时，得知小卓已被送往医院，只在自家窗户边发现，我害怕呢，的字迹，小...。
介绍这款网络高速阅读器是一款集高效、稳固于一身的现代化网络阅读工具，应用先进的渲染引擎和提升算法，网络高速阅读器确保了出色的页面加载速度和流利的多媒体体验，具有全方位的安保防护特性，能有效进攻各类网络要挟，同时允许HTML5和CSS3，确保了与最新网络技术规范的完美兼容，欲了解更多或立刻下载，请访问系统引见下载地址经常出现疑问火狐阅读...。
领有有数粉丝的诺基亚，早期推出的5230和5233两款手机备受注目，二者的外观设计简直一摸一样，基本规格也大抵相反，然而两款手机之间也存在一些差异，例如手机的内存容量和摄像头像素等等，上方具体比拟和评测这两款手机，1.外观设计5230和5233的外观设计基本相反，都驳回了黑色塑料外壳，菜单键和前往键安顿也相反，5230的尺寸是111x...。
依据岳阳市防指紧急指令，平江县九峰水库产生险情，要求三江镇、大荆镇、长乐镇、罗江镇立刻组织受九峰水库影响的大众转移至安保区域，必定应转尽转，安徽的旅游景点有哪些安徽的旅游景点有哪些，黄山，黄山风景区，黄山位于风景秀丽的皖南山区，以，奇松、怪石、云海、温泉，四绝而闻名于世，是中国十大风景名胜中唯一的山岳风景区，联合国授予，世界自然和文化...。
马沙拉蒂多少钱1、玛莎拉蒂最廉价的是SUV，多少钱在88万，最贵的是跑车，多少钱在300万，玛莎拉蒂是一款意大利制造商消费的奢侈型跑车，2、敌对精英玛莎拉蒂多少钱一辆玛莎拉蒂最新返场期间amp；多少钱说明经过五曜赐福优惠抽取的话，玛莎拉蒂多少钱在1000左右，而且金色玛莎拉蒂多少钱是最高的，须要三个玛莎拉蒂钥匙勋章来兑换，白色和蓝色只...。
1、江淮瑞风s3激活一键升窗的步骤1踩下江淮瑞风s3的刹车踏板2转动江淮瑞风s3的车钥匙至on档3江淮瑞风s3的仪表亮起，全车电源接通4向上拉动江淮瑞风s3的玻璃升降器至最高点5按下江淮瑞风s3的车门锁车键，2、瑞丰S3有一键升降车窗的性能，不须要设置用力按下举升车窗按钮03秒以上，一键举升车窗管理车窗升降的按钮在驾驶室的左侧管理车窗...。
IntelMEi驱动是一款针对英特尔桌面系列芯片组推出的热能管理驱动，该软件介于固件和系统驱动之间，类似于一种接口(Interface)，通过这个接口，系统可以和固件之间相互连接，可以实现诸如intel主动管理(amt)等高级管理应用。
局域网共享软件,局域网共享工具下载，快速设置你的win7系统可以被其它局域网用户访问，共享你的目录或资源，一键获局域网在线计算机。一键共享文件夹和磁盘，一键设置共享打印机,您可以免费下载。
近来二次元游戏在游戏市场很受欢迎，为此小编特地也为大家总结了一份韩国二次元手游排行榜前十名2021，喜欢二次元游戏的玩家千万不能错过，1、，从零开始的异世界生活，无限，从零开始的异世界生活，无限是一款动漫授权的3D回合制游戏，玩家在这款游戏当中作为一个穿越到异世界的高中生，需要在游戏中结识美丽善良的银发少女和性格迥异的女仆双胞胎姐妹等...。
2021年12月10日，由雷锋网新智驾主办的第四届全球智能驾驶峰会将在深圳拉开帷幕，作为重磅嘉宾之一，魔视智能销售副总裁兼乘用车事业部总经理高文博将在会上发表重要演讲，高文博，魔视智能销售副总裁兼乘用车事业部总经理，拥有近20年汽车电子行业经验，涵盖座舱娱乐、车身电子、自动驾驶等产品体系，曾任职于国内外头部Tier1供应商，德赛西威、...。
作为一门高度抽象化和具有逻辑推理特性的研究，数学建模似乎离我们很遥远，事实上，日常生活中运用到数学模型解决问题的事例俯拾皆是，打车系统里，算法会匹配距离乘客更近的司机、规划最快到达目的地的行程路线；购物平台上，算法会调配库存充足的出货仓、计算中途的运转站和物流配送车辆......对大部分人来说，使用数学工具是件门槛极高的事情，但大模型...。
11月11日网上流传出一则声称，浙大研究发现，冷冻馒头不能吃，冷冻超过两天会长黄曲霉素，的短视频迅速引发广泛关注，不少网友担忧地表示自己这两天刚吃过冷冻馒头，那么冷冻馒头冻两天，真的会长黄曲霉素，多位专家辟谣表示大可不必担心恐慌，深圳卫健委官微也发出公开辟谣格外强调，黄曲霉的适宜生长温度是12℃~42℃，在0℃以下是不能产生毒的，事实...。
9月24日至26日，第20届CCF全国高性能计算学术年会，CCFHPCChina2024，在武汉市中国光谷科技会展中心正式开幕，本次大会上，联想以，异构智算稳定高效，为主题，携，一横五纵，算力基础设施战略、联想万全异构智算平台、联想AI解决方案、联想科学计算整体解决方案参展，面对人工智能的浪潮，作为全球领先的科学计算解决方案提供商，联...。
