AndrejKarpathy:大模型有内存限制,这个妙招挺好用|速度|序列|token|karpathy

用微信扫码二维码

AndrejKarpathy大模型有内存限

分享至好友和朋友圈

AndrejKarpathy用通俗易懂的语言介绍了speculativeexecution。

「如今,LLM(大语言模型)并不是单点突破的——而是需要多个重要组件有效协同工作的系统。Speculativedecoding是帮助我们从系统角度思考的一个很好的例子。」爱丁堡大学博士生符尧表示道。

人形机器人公司1XTechnologies的AI副总裁EricJang评价道:「Karpathy很好的解释了LLM的speculativeexecution。其他自回归模型可能会以类似的方式加速。连续(扩散)模型可能从K步中获益较少(可能在第1步后偏离猜测),但可以将其应用于VQ-latents的离散代码。」

看完上述评价,我们大概也了解了,Karpathy说的「Speculativeexecution」,这是优化技术的一类,采用这个技术的计算机系统会根据现有信息,利用空转时间提前执行一些将来可能用得上,也可能用不上的指令。如果指令执行完成后发现用不上,系统会抛弃计算结果,并回退执行期间造成的副作用(如缓存)。

为了让大家更好的理解Karpathy的内容。我们先介绍一下「Speculativedecoding」方法,对后续理解更加有益,其主要用于加速大模型的推理。据了解,GPT-4泄密报告也提到了OpenAI线上模型推理使用了它(不确定是否100%)。

关于「Speculativedecoding」,已有几篇重要文献可供参考,这也是Karpathy为了写这则推特所参考的论文,包括谷歌今年1月发表的论文《FastInferencefromTransFormersviaSpeculativeDecoding》、DeepMind今年2月发表的论文《AcceleratingLargeLanguagemodelDecodingwithSpeculativeSampling》,以及谷歌等机构2018年的论文《BlockwiseParallelDecodingforDeepAutoregressiveModels》。

简单来说,「Speculativedecoding」使用两个模型:一个是原始目标模型称为大模型,另一个是比原始模型小得多的近似模型称为小模型。主要思想是先让小模型提前解码多个token进行猜测,并将它们作为单个batch输入到一个大模型中进行审核修正,其效果和直接用大模型解码等价。如果小模型猜测的不准确,那么大型模型会放弃小模型预测的token,继续使用大型模型进行解码。

由于小模型计算量小,从而大大减少了内存访问需求。

介绍完「Speculativedecoding」,我们再回到Karpathy的推特。Karpathy是针对下面内容回复的。

Karpathy表示:对于LLM来说,「Speculativeexecution」是一种极好的推理—时间优化方法。

它取决于以下方面:在单个输入token上分发LLM所花费的时间与在批处理中分发K个输入token所花费的时间一样多。产生这样的原因是因为采样严重受内存限制:模型运行时的大部分工作不是在做计算,而是从VRAM读取transformer的权重到片上缓存进行处理。如果你要做的工作是来读取这些权值,你可以把它们应用到一整批输入向量上。

但是我们不能一次性采样一批K个token,因为每N个token都取决于我们在第N-1步采样的token。由于存在串行依赖性,因此基线实现只是从左到右逐一进行。

这种方法起作用的原因在于,很多「草稿」token都会被接受,因为它们很容易,所以即使是更小的草稿模型也能得到它们。当这些简单的token被接受时,我们会跳过这些部分。大模型不同意的hardtoken会回落到原始速度,但由于一些额外的工作,实际上速度会慢一些。

Karpathy表示,这个奇怪的技巧之所以有效,是因为LLM在推理时受到内存限制,在对单个序列进行采样的batchsize=1设置中,很大一部分本地LLM用例都属于这种情况。因为大多数token都很「简单」。


本文地址: /article/a735b091036354aa2eda.html
全局中部横幅
全局中部横幅
360AI导航_精选优质AI内容,和你一起遇见未来

360AI人工智能商店,精选互联网资源最全的ai人工智能网,搜集并整理人工智能工具的网站、教程、资源,让您能够快速找到适合的工具和内容。收录AI工具网站、公众号、自媒体、书籍、电影等,分类包括AI趣站、AI开放平台、AI资讯、有趣网站、开源项目、AI学习平台等内容,涵盖了AI绘画,AI游戏,AI视频,AI网址大全,AI工具软件,AI搜索、AI写作、AI剪辑、AI动画、AI3D、AI游戏、AI营销等等

第一星座网-女生都爱上的权威星座网站

专业的占星学星座网,提供星座知识、星座个性分析、星座开运方法、星座运势、配对、查询以及心理测试、塔罗牌、先天命格、气运、生肖等星相运数相关内容。

鼎峰网络通信有限公司

物联网路灯头,太阳能控制器,一体机

岑铭宠物网 - 岑铭宠物网

宠物(pet)指人们为了精神目的,而不是为了经济目的而豢养的生物。传统的宠物是指哺乳纲或鸟纲的动物,养着用于玩赏和作伴。实际生活中的宠物包括鱼纲、爬行纲、两栖纲、昆虫,甚至植物,用于观赏、作伴、舒缓人们的精神压力

趣祝福 - 原创祝福语权威网站,为您准备精彩的2023生日祝福语、结婚祝福语!

趣祝福网站由在校老师自发兴趣因而诞生,精选挑选您在生日、升学宴、结婚、七夕、情人节、教师节、开业,中秋节、满月、婚礼等活动中需要的祝福语!我们的祝福语是最新的原创精选祝福语,对您的帮助是离不开的。

去旅行大概要花多少钱,张家界旅游报价费用-旅游攻略分享网

旅游三天要花多少钱,出去旅游的花费一般多少,张家界旅游报价价格,去张家界旅行大约得花多少钱,去一次湖南张家界费用约为1000元。

北森HRSaaS软件-人才测评、招聘、绩效、人力资源管理等HRSaaS一体化人才管理云平台 - 北森HRSaaS

北森HRSaaS一体化人才管理云平台,为企业提供覆盖人才测评、招聘管理、绩效管理、组织人事、薪酬、假勤、继任、调查、Onboarding等业务全流程的一体化HRSaaS软件和服务,并通过自有PaaS平台满足中大型企业个性化和自主开发的需求。

佛山市升华陶瓷有限公司[官网]-佛山陶瓷一线品牌-高端岩板生产厂家-知名瓷砖招商加盟

佛山升华陶瓷一线品牌厂商,中国陶瓷一线品牌,专注于生产大规格瓷砖、高端岩板定制、岩板大板、正宗广东砖、通体大理石瓷砖、现代仿古砖、全抛釉、瓷片等十大类近百种陶瓷产品.是众多代理商首选加盟品牌,升华陶瓷竭力打造成为陶瓷行业消费者喜爱品牌,让消费者“生活在升华”.

德普华检测集团(STS)-CE认证,FCC认证,BQB认证,CCC认证,TELEC认证,IC认证,SRRC认证,CB认证,UKCA认证-专注于无线通讯产品检测&认证

德普华检测集团(STS)是国内专业从事产品检测和认证咨询服务的第三方检测认证机构(CNASL7649实验室),主要致力于电子电器无线通讯产品的CE认证、FCC认证、蓝牙BQB认证、CCC认证、TELEC认证、JATE认证、SRRC认证、IC认证、CB认证、UKCA认证等服务。同时,STS遵循“公正、科学、准确、高效”的质量方针,以“品质至上,用心服务”为服务宗旨,专注于无线通讯产品检测&认证

大型吸塑车标制作-电镀金属车标-立体三维车标-购得棒(原博邦标识)-专注汽车标识制作25年

购得棒(原博邦标识)是一家大型立体车标制作厂家,生产面积达2万多平米,制作各种吸塑车标、电镀车标、大型车标、金属车标、立体车标、4S店车标、汽车展会车标、亚克力车标、门头吸塑车标、厚片吸塑车标,产品远销欧美。电话18721750736

路灯头|投光灯|隧道灯|工矿灯|UFO飞碟|地埋灯|洗墙灯 中山市聚合照明有限公司

聚合户外照明主要加工、生产、销售:LED路灯头、LED投光灯、LED地埋灯、LED隧道灯、LED洗墙灯、LED工矿灯、LED庭院灯头、UFO飞碟等;全网热线:13824729827吴生,我们主要经营路灯头,投光灯,隧道灯,工矿灯,UFO飞碟,地埋灯,洗墙灯,和路灯头、投光灯、地埋灯、隧道灯、洗墙灯、工矿灯、LED庭院灯头、UFO飞碟,如果有兴趣请联系我们公司中山市聚合照明有限公司,我们会以好的质量有竞争力的价格是您的优选!

全局底部横幅