揭秘iPhone里的Transformer：基于GPT-2架构|MIT校友出品|苹果|唱片|mit|ios|古典乐|安全密钥|macos|蒂姆·库克|iphone|ER(关西杰尼斯8单曲)
用微信扫码二维码
分享至好友和朋友圈
鱼羊发自凹非寺量子位|公众号QbitAI
苹果Transformer的“秘密”，让发烧友给扒出来了。
大模型浪潮下，即使保守如苹果，也每逢发布会必提“Transformer”。
比如，在今年的WWDC上，苹果就已宣布，船新版本的iOS和macOS将内置Transformer语言模型，以提供带文本预测功能的输入法。
苹果官方没有透露更多信息，但技术爱好者们可坐不住了。
一位名叫JackCook的小哥，就把macOSSonomabeta翻了个底朝天，结果，还真挖出不少新鲜信息：
更多细节，一起来看。
先来回顾一下苹果基于Transformer的语言模型能在iPhone、MacBook等设备上实现怎样的功能。
主要体现在输入法方面。语言模型加持下的苹果自带输入法，可以实现单词预测和纠错的功能。
JackCook小哥具体测试了一下，发现这个功能主要实现的是针对单个单词的预测。
模型有时也会预测即将出现的多个单词，但这仅限于句子语义十分明显的情况，比较类似于Gmail里的自动完成功能。
那么这个模型具体被装在了哪里？一通深入挖掘之后，Cook小哥确定：
我在/System/Library/LinguisticData/RequirEDAssets_en.bundle/AssetData/en.lm/unilm.bundle中找到了预测文本模型。
进而，小哥根据unilm_joint_cpu中描述的网络结构，推测苹果模型是基于GPT-2架构打造的：
主要包含tokenembeddings、位置编码、解码器块和输出层，每个解码器块中都有类似gpt2_transformer_layer_3d这样的字眼。
根据每层大小，小哥还推测，苹果模型约有3400万参数，隐藏层大小是512。也就是说，它比GPT-2最小的版本还要小。
小哥认为，这主要是因为苹果想要一种不太耗电，但同时能够快速、频繁运行的模型。
而苹果官方在WWDC上的说法是，“每点击一个键，iPhone就会运行模型一次”。
不过，这也就意味着，这个文本预测模型并不能很好地完整续写句子或段落。
模型架构之外，Cook小哥还挖出了分词器（tokenizer）的相关信息。
他在unilm.bundle/sp.dat里发现了一组数量为15000的token，值得关注的是，其中包含100个emoji。
尽管此Cook非彼库克，小哥的博客文章一发出，还是吸引了不少关注。
基于他的发现，网友们热烈地讨论起苹果在用户体验和前沿技术应用之间的平衡大法。
回到JackCook本人，他本科和硕士毕业于MIT的计算机专业，目前还在攻读牛津大学的互联网社会科学硕士学位。
此前，他曾在英伟达实习，专注于BERT等语言模型的研究。他还是《纽约时报》的自然语言处理高级研发工程师。
本文地址： https://www.gpxz.com/article/79020fc70d5eb826d6f2.html
奋逗家族文化创意（深圳）有限公司以文化创意为载体，以血型为媒介，以激萌逗趣(fun文化)的奋逗态度引领年轻一代有趣的生活方式为初衷，誓为不甘平庸年轻的一代带盐，通过IP孵化，血型IP，IP衍生品设计，IP运营，IP形象设计，深圳IP形象设计，深圳IP变现，深圳吉祥物设计，深圳卡通设计，IP变现构建全...
怡合达工厂自动化零部件一站式采购平台,专业为自动化设备生产单位提供自动化零部件一站式采购服务,汇集千万种自动化零件,品质保障,亿级库存,极速发货,以节省客户采购成本,缩短产品交付周期,促进行业发展为理念,为客户提供安心的,愉悦的采购体验。
爆团猫是专业的防爆行业一站式采购与服务平台，产品覆盖防爆电气、防爆电机、防爆监控通讯、防爆手机、防爆灯具、防爆箱柜开关、防爆空调、防爆风机、防爆装备、防爆摄像机防爆合格证认证取证、防爆附件、防爆工具等产品领域。爆团猫隶属于南阳爆团防爆电气科技有限公司
台湾佰旭晨数控转台(四轴五轴卧式转台等)相关产品销售/安装/保修/和维修服务；第四轴、第五轴高精度旋转工作台，以及相关的各种驱动电机、液压站、增压泵、中板、L块、卡盘等配件。
饺子导航免费自动秒收录各种软件的网址并免费提供各种在线工具、电脑软件、手机软件、网站源码、网络技术、的使用教程与资讯。
博大网人郑重承诺:北京CA机房建设,天津CA机房场地提供。拥有CA机房、KM机房、RA机房成功案例，专业提供CA机房场地。30年服务器托管运维经验，北京天津多个CA机房场地，铸就KM机房专业品质。以“为客户提供高品质的一站式互联网基础服务”为己任，咨询热线:13621215227
深圳市烨达电业有限公司是一家专注于各类AC电源线插头,工业插头厂家,电源线插头,防爆插头定制生产与销售的综合性厂家
智慧光迅是高新技术企业，近10年的标准化融合音视频终端研发制造与科技创新优势。通过融合通信、智慧云屏、音视频调度、PON传输网络四大系列，可帮助企业快速构建音视频物联网应用，全面融合音视频通信。
龙岩市新丰康佳鲜农产品有限公司专业服务于龙岩蔬菜批发,龙岩蔬菜零售,龙岩蔬菜配送,龙岩蔬菜基地种植,龙岩新鲜猪肉,龙岩哪有新鲜猪肉销售,龙岩新鲜鱼类,龙岩新鲜鱼类批发,龙岩新鲜鱼类销售,龙岩新鲜鸡鸭类,龙岩新鲜鸡鸭类销售,龙岩新鲜鸡鸭类批发,服务热线：13959078063
沭阳舒尔美卫生用品有限公司
沃帕工业设备（上海）有限公司采用欧洲标准作为电动堆高车，电动搬运车，高空作业平台等产品的生产标准，致力于为客户提供完整的设备解决方案。全国免费电话：400-8866-790
台儿庄,台儿庄古城,古城台儿庄,台儿庄风景,台儿庄运河,台儿庄大战
生活中会有很多照片的大小不合适的情况，这时候我们就需要裁剪照片，下面就让小编来给大家推荐照片裁剪软件app有哪些免费2022，这几款软件都可以用来裁剪照片，不管是发朋友圈还是证件照，极大的方便了用户的生活，1、，美图秀秀，用户可以使用这款软件把照片裁剪成合适的大小和比例，一键裁剪会极大提高你的效率，除此之外，还可以为照片添加滤镜，修正...。
华味亨是极受消费者欢迎的一个零食品牌，由于它的每天生意特别好，让创业者产生了合作的兴趣，在这些想要开店的智慧之选者当中，很多没有开店经验，就想了解一下如何加盟华味亨，其实加盟商完全无需拥有这样的顾虑与担忧，因为它的加盟流程是比较简单的，而且对智慧之选者也有较大的帮扶力度，是很不错的智慧之选项目，零食市场的生意一直都是蒸蒸日上的，它的出...。
今天的媒体毋庸置疑的都让微信5.0的新闻给刷屏了，也让之前的诸多猜测和分析尘埃落定，我今天第一时间更新了微信进行体验，简单写写我的感受，1.微信公众号的折叠公众号分成了订阅号和服务号，服务号有自定义菜单，还能绑定支付功能，但是一个月只能群发一条消息，订阅号则和以前一样，默认所有公众号都为订阅号，不折叠不知道，一折叠吓一跳，我数了一下，...。
现在大家的生活实现目标是提高的，所以对吃的方面要求就提升了，特别是在健康营养的方面是有更多的需求，所以很多的特色小吃出现在市场，如今麦格热狗店就是一个物美价廉，充满营养的小吃餐饮品牌，独特的风味以及平价的价格是大家尤为喜欢的，那么加盟一个麦格热狗店需要多少钱，麦格热狗店在餐饮行业中是很有名的一个小吃品牌，拥有雄厚的实力和合格的发展前景...。
近日，大华股份举行了投资者问答会议，大华在企业业务希望有一个新的标签，不再是纯粹的安防为主的视频监控厂家，而是参与数字化浪潮的厂商，工信部的副部长曾在论坛交流中表示，企业如果要做数字化转型，要先去找最痛的点，然后再去做技术和业务的融合的应用，以降本增效为目标，去做衡量，这与大华的理念非常一致，有些国企有数字化转型指标，但存在盲区，为此...。
参考信息网报道，外地期间9月28日，美国共和党总统候选人特朗普就移民疑问宣布剧烈措辞，并对竞选对手哈里斯倒退人身攻打，...。
梦见冰雹是不祥之兆，预示着最近在上班上或许会有一些不好的事件出现，当天我就给大家引见梦见冰雹的意思，宿愿对大家有协助，周公解梦梦见冰雹梦见下冰雹预示会绝望，或许遭受异常打击，梦见被冰雹砸伤了预示会有灾祸，多加小心，孕妇梦见被冰雹砸伤预示生下的孩子或许要遭受苦难，不过儿孙自有儿孙福，也不用太过多虑，男人梦见冰雹预示在上班和事业上或许会有...。
国际最大的个人化汽车开售服务企业之一，依据查问百得利官方得悉，百得利是国际最大的个人化汽车开售服务企业之一，百得利，全称，北京百得利汽车进出口个人有限公司，，集多品牌的整车开售、培修服务、零硬件供应、消息咨询于一体，公司总部位于北京海淀区，北京百得利汽车进出口个人有限公司怎样样，北京百得利汽车进出口个人有限公司是1998，09，03在...。
你好，58同城济南分公司办公地址位于，济南市历下区山大路157号华强国内核心A座2210室，咨询电话也有，详细可以参见网络地图所示，宿愿对你有协助济南58同城上的招聘消息靠谱吗没有百分之一百靠谱的事儿，你自己要学会分辨，我好友上次在深圳看一个职位，幸亏我帮她看了下应聘过的人的评论，压根就不对劲，职位跟实践上班不合乎，那些工资过高，过轻...。
1、福特福克斯质量很好以下是关于福特福克斯的详细引见1能源方面福特福克斯搭载EcoBoost180涡轮增压双放射发起机，同级惟一8AT组成的，高性能CP，可迸发128Kw最大功率和243N·m峰值扭矩060Km\u002Fh减速仅需45s2智，2、福特福克斯的质量算得上在等同级里较为还可以的车系，但小一局部车发生了十分大的产质量量疑问...。
360TotalSecurity(360安全卫士国际版)保护您的电脑远离木马和其他威胁。当您网购、下载文件或者与您的朋友聊天时，一直在您身边保护您的电脑执行环境安全。
PC6专版：三位一体2联机免费教程,最近三位一体刚出，就火爆全网络，相信你一个人玩的时候是很寂寞的，一伙人才好玩。文件密码：www.pc6.com。,您可以免费下载。
写一手好字是很多人十分向往的，都说字如其人，写字不光是一种技能，更是一种陶冶情操的方式，硬笔书法作为我国的传统文化，在我国有着悠久的传承，很多人对于硬笔书法都有着好的印象，对于很多在校学生来说，写好字是不断学习的过程更是学习态度的重要体现，字志区硬笔书法作为一个知名的教育品牌，在硬笔书法教育领域内有着好的口碑加持，那么，字志区硬笔书法...。
雷锋网消息，11月5日，旷视科技Face，联合清华大学、清华交叉信息学院，举办了一场研讨会，会上主要的议题就是，人工智能的本质创新，，此外还宣布了两个重磅消息，一是成立旷视科技学术委员会，二是邀请姚期智担任首席顾问，雷锋网了解到，旷视科技的几位创始人，都曾是，姚班，高材生，如今又把，老师，请来担任顾问，，再次求学，，可见旷视想要在，...。
日常生活中，经常会碰到家居无法安装等售后问题，鲁班到家就是一个可以解决这些问题，并且在这方面取得不错成绩的知名品牌，随着家居需求的增长，该品牌的需求也变得更高，很多创业者从中发现了该品牌的创业价值，想要从事该品牌的代理，那么，鲁班到家安装能代理吗，鲁班到家安装能代理吗，作为一个专注家居售后服务的品牌，该品牌在推出之际就获得了众多消费者...。
央视网信息，这个暑期，多项过境免签政策和通关便利叠加监禁，来华的外籍人员数量显著参与，坐着高铁游中国成为外籍旅客的抢手打卡模式，为暑运市场削减新的热度与生机，暑运时期，坐着高铁游中国成为越来越多外籍旅客的出行首选，在北京西站，记者见到了许多本国人的身影，他们中既有携家人来游玩的游客，也有来华做学术交换的学者，在采访中记者发现，不少人都...。
网易文娱3月29日报道青年励志综艺，青春有你3，，经过周六、日两天的更新，训练生们正式迎来小组对决的考验，面对60进35的竞争压力，训练生们养精蓄锐争取时机的身影给观众留下了深入印象，选曲组队变，求雨，现场训练生，神仙，情谊感人本次小组对决分为十二个队伍，由训练生依照排名顺序启动双向选用队友，为吸引适宜的队友添加队伍，训练生们在屏幕前...。
