揭秘iPhone里的Transformer：基于GPT-2架构|MIT校友出品|苹果|唱片|mit|ios|古典乐|安全密钥|macos|蒂姆·库克|iphone|ER(关西杰尼斯8单曲)
用微信扫码二维码
分享至好友和朋友圈
鱼羊发自凹非寺量子位|公众号QbitAI
苹果Transformer的“秘密”，让发烧友给扒出来了。
大模型浪潮下，即使保守如苹果，也每逢发布会必提“Transformer”。
比如，在今年的WWDC上，苹果就已宣布，船新版本的ios和macOS将内置Transformer语言模型，以提供带文本预测功能的输入法。
苹果官方没有透露更多信息，但技术爱好者们可坐不住了。
一位名叫JackCook的小哥，就把macOSSonomaBeta翻了个底朝天，结果，还真挖出不少新鲜信息：
更多细节，一起来看。
先来回顾一下苹果基于Transformer的语言模型能在iPhone、MacBook等设备上实现怎样的功能。
主要体现在输入法方面。语言模型加持下的苹果自带输入法，可以实现单词预测和纠错的功能。
JackCook小哥具体测试了一下，发现这个功能主要实现的是针对单个单词的预测。
模型有时也会预测即将出现的多个单词，但这仅限于句子语义十分明显的情况，比较类似于Gmail里的自动完成功能。
那么这个模型具体被装在了哪里？一通深入挖掘之后，Cook小哥确定：
我在/System/Library/LinguisticData/RequiredAssets_en.bundle/AssetData/en.lm/unilm.bundle中找到了预测文本模型。
进而，小哥根据unilm_joint_CPU中描述的网络结构，推测苹果模型是基于GPT-2架构打造的：
主要包含tokenembeddings、位置编码、解码器块和输出层，每个解码器块中都有类似gpt2_transformer_layer_3d这样的字眼。
根据每层大小，小哥还推测，苹果模型约有3400万参数，隐藏层大小是512。也就是说，它比GPT-2最小的版本还要小。
小哥认为，这主要是因为苹果想要一种不太耗电，但同时能够快速、频繁运行的模型。
而苹果官方在WWDC上的说法是，“每点击一个键，iPhone就会运行模型一次”。
不过，这也就意味着，这个文本预测模型并不能很好地完整续写句子或段落。
模型架构之外，Cook小哥还挖出了分词器（tokenizer）的相关信息。
他在unilm.bundle/sp.dat里发现了一组数量为15000的token，值得关注的是，其中包含100个emoji。
尽管此Cook非彼库克，小哥的博客文章一发出，还是吸引了不少关注。
基于他的发现，网友们热烈地讨论起苹果在用户体验和前沿技术应用之间的平衡大法。
回到JackCook本人，他本科和硕士毕业于MIT的计算机专业，目前还在攻读牛津大学的互联网社会科学硕士学位。
此前，他曾在英伟达实习，专注于BERT等语言模型的研究。他还是《纽约时报》的自然语言处理高级研发工程师。
本文地址： /article/79020fc70d5eb826d6f2.html
防爆云平台是防爆产品交易平台,汇集了防爆电气供应商,覆盖防爆电机,防爆空调,防爆通讯,防爆灯具,防爆柜,防爆风机等,打造防爆产业链一站式综合服务平台。
轻略网站地图，帮助网友全面了解网站结构，快速找到目标板块。
你想知道抖音怎么上热门吗？短视频时代，以抖音快手为主的短视频延伸了无限可能，怎么拍摄剪辑视频，怎么提升视频播放量，怎么快速涨粉，如何开通抖音橱窗，直播带货，星图合作等等抖音玩法，玩转抖音，就来抖音知识网！
阿里巴巴原创保护平台推出首发创意保护机制，提供权威、专业的一站式保护服务，为原创保驾护航。加入首发创意保护计划，探索互联网时代的知识产权保护创新实践，共建“更简单、更普惠、更创造”的商业治理模式。
夸克导航-www.kuakedh.com,专注于网络各相关行业网址导航，提供免费SEO外链发布分享相关行业网站网址,开放式网站收录提交入口，收录展示国内外、各行业各类优秀网站，致力于为网民提供一个优质的网站分类收录、搜索、提交、展示和优秀网站参网站推广服务。
中钢网是钢材价格信息门户网站，包括钢材价格，钢材网价，钢铁新闻，今日钢材价格行情，钢材价格行情走势图，钢厂调价，钢材期货，钢材市场等信息，为涉钢企业提供专业及时的钢材价格资讯信息和钢铁现货交易电子商务服务，成为众多远期钢材买卖合同结算所依据的网价平台。中钢网网价，公开公平公正！
龙岗外贸网站定制公司找网企科技,专业龙岗搭建营销型外贸网站,高端外贸网站建设与设计,自主研发外贸建站平台,实现外贸建站+外贸推广为一体的智能数字营销系统,提供龙岗英文网站建设,多语种建站支持104种小语种,符合Google外贸建站标准。
80社区社区动力
(茗柒说说网)_本站分享温柔到爆炸的小众文案，简短微信说说心情句子，人生感言经典句子太累，沙雕女孩的快乐皮句，告白表白情话大全，感情语录心痛的句子，精辟搞笑的评论回复，十句哄女人开心的话等。
哆啦医送致力于提供全面的医药物流服务，以及多元化的配套服务，以满足您在医药领域的需求。我们的服务涵盖了从药品仓储、配送，到药店注册、医疗器械许可代办理等全过程。为了确保药品的质量和安全，我们还提供专业的医药冷库出租服务，需要租冷库的可以联系我们！
决策者智库致力于创建并运营卓越的行业（“航空动力与燃气轮机”、“海上能源全产业链”）整合平台，将智库的深度研究、媒体的信息传播力以及产业会展的互动体验无缝融合，形成独一无二的“决策者智库+媒体+协会+会展”一体化模式。
现在很多人都知道怪客龙虾，怪客龙虾强大的人气和实力，在市场上是很吸粉的，有不少的消费者更是对怪客龙虾情有独钟，所以现在加盟怪客龙虾是非常有市场的，怪客龙虾的总部推出了三种店铺模式，能够给予加盟商多样的加盟选择，而且智慧之选的成本低在市场上有很高的实现目标，现在正是加入怪客龙虾的好时机，可以够让你多多，一起来看看怪客龙虾加盟优势是什么，...。
大疆回应被列入，实体清单，照卖不误美国商务部18日以，违反美国国家安全，为由，宣布将包括大疆公司在内的59家中国实体列入所谓出口管制，实体清单，据路透社20日报道，大疆在给该媒体一份邮件声明中，对被美国政府列入清单做出回应，大疆对美国商务部的决定感到失望，，路透社称，大疆公司在发给路透社的邮件声明中说，，美国的客户可以继续正常购...。
宝马斥资36亿元投资无人驾驶技术日前，宝马官方宣布将BMWiVentures投资基金增加至5亿欧元，约合36.7亿元人民币，，以推动无人驾驶相关技术的研发，据了解，这些资金将用来支持无人驾驶和地图等技术领域的初创企业，宝马希望将这些技术集成到已有车型中，这次巨额资金的投入也意味着宝马希望加快无人驾驶技术研发的步伐，此前宝马曾表示希望在...。
集成电路产业的特色是赢者通吃，像Intel这样的巨头，巅峰时期的利润可以高达60%，那么，相对应动辄几百、上千元的CPU，它的实际成本到底是多少呢，芯片的成本包括芯片的硬件成本和芯片的设计成本，芯片硬件成本包括晶片成本，掩膜成本，测试成本，封装成本四部分，像ARM阵营的IC设计公司要支付，但笔者这里主要描述自主CPU和Intel这样的...。
开业半小时就停业，代购200元1杯，南京抽调警力维护秩序.....茶颜悦色回应雇人排队8月18日上午，茶颜悦色南京店开业，从早上8点30分开始，陆续挤满一支5小时的排队队伍，南京市公安局江宁分局发出警方提示，新开业饮品店排队人员仍然较多，目前人员排队已至商场外，江宁警方已抽调警力协助商场维护秩序，从警方发布的现场照片看，商场内外都有大...。
熟知投影仪的的朋友都知道，这类产品通常是用在办公、教学场合，用来展示PPT、图文、视频等，能将电脑、笔记本等设备的图像投射到墙壁或幕布上，得到更大更直观的画面，国内外的投影仪市场，长期以来都是由索尼、松下、爱普生、NEC、明基等国内外大品牌把持，这类产品属于精密电子设备，成本比较高，市场售价通常都在几千元至几万元不等，而且使用场合特殊...。
彭德怀大元帅嘉奖电报原稿揭秘,彭德怀,38军,大元帅,抗美援朝
顺丰快递春节停运吗2023答，不停运，春节时期，顺丰仍将据守服务承诺，自始自终的提供全年无休的优质寄递服务，全力保证您的快件收发需求，好受提示因过节时期资源分配受限、极其天气变动等起因影响，您寄往全国各地的快件时效或将受不同水平的影响，顺丰也已储藏关系预案，做好应急照应，全力保证服务质量，同时咱们将对快件和资源迷信正当调度婚配，灵活调...。
如何通过C++编写一个简单的迷宫游戏？迷宫游戏是一种经典的益智游戏，它需要玩家通过控制一个角色在迷宫中寻找出口的过程。在本文中，我们将学习如何使用C++编写一个简单的迷宫游戏。首先，让我们定义迷宫的基本结构。我们可以使用二维数组来表示迷宫的地图，其中0代表墙壁，1代表路径，2代表终点。下面是一个迷宫地图的示例：intmaze10={{0,0,0,
美国当地时间年美国华盛顿美女当地民众穿着情人节主题内衣参加“丘比特赛跑”，为慈善组织筹款。当天，华盛顿的最高温度仅为负.摄氏度。赛跑开始前，民众在一家俱乐部跳舞热身。不管男女全部穿内衣内裤在负.度下长跑！如图：
EasyConnect,easyconnect电脑版也就是深信服EasyConnect_install电脑客户端安装程序，安装Easyconnect之后，就能访问自己公司的内网系统及相关应用了，非常简单，方便出差的人使用，有需要的赶快下载吧,您可以免费下载。
IQmangoRadioGet(网络收音机),IQmangoRadioGet是一个优质的网络音乐收音机，通过IQmangoRadioGet软件，用户可以免费实时播放您最喜爱的艺术家的音乐，并将其正确录制到MP3中在线无线电录音机,您可以免费下载。
IQmangoRadioGet(网络收音机),IQmangoRadioGet是一个优质的网络音乐收音机，通过IQmangoRadioGet软件，用户可以免费实时播放您最喜爱的艺术家的音乐，并将其正确录制到MP3中在线无线电录音机,您可以免费下载。
EasyConnect,easyconnect电脑版也就是深信服EasyConnect_install电脑客户端安装程序，安装Easyconnect之后，就能访问自己公司的内网系统及相关应用了，非常简单，方便出差的人使用，有需要的赶快下载吧,您可以免费下载。
2022蚂蚁庄园9月17日今日支付宝蚂蚁庄园每日一题庄园小课堂今日问题：小鸡宝宝考考你：无花果有花吗？关于这方面的知识内容很多人都不是太了解，下面就为大家公布蚂蚁庄园小课堂今日问题正确答案。,蚂蚁庄园9月17日今日答案小鸡宝宝考考你无花果有花吗
2022年2月15日，连日来，重庆主城迎来晴好天气，处处春意盎然，春暖花开。位于重庆轨道交通2号线佛图关隧道周围的美人梅也竞相绽放，一簇簇盛开的美人梅，煞是好看。粉红的花朵在春风的吹拂下幽香阵阵，沁人心脾。行驶中的轨道2号线列车“穿”过花海，仿佛开往春天的列车，成为山城重庆一道靓丽的风景线，吸引众多市民前来拍摄。
美国当地时间年美国华盛顿美女当地民众穿着情人节主题内衣参加“丘比特赛跑”，为慈善组织筹款。当天，华盛顿的最高温度仅为负.摄氏度。赛跑开始前，民众在一家俱乐部跳舞热身。不管男女全部穿内衣内裤在负.度下长跑！如图：
