揭秘iPhone里的Transformer：基于GPT-2架构|MIT校友出品|苹果|唱片|mit|ios|古典乐|安全密钥|macos|蒂姆·库克|iphone|ER(关西杰尼斯8单曲)
用微信扫码二维码
分享至好友和朋友圈
鱼羊发自凹非寺量子位|公众号QbitAI
苹果Transformer的“秘密”，让发烧友给扒出来了。
大模型浪潮下，即使保守如苹果，也每逢发布会必提“Transformer”。
比如，在今年的WWDC上，苹果就已宣布，船新版本的iOS和macOS将内置Transformer语言模型，以提供带文本预测功能的输入法。
苹果官方没有透露更多信息，但技术爱好者们可坐不住了。
一位名叫JackCook的小哥，就把macOSSonomabeta翻了个底朝天，结果，还真挖出不少新鲜信息：
更多细节，一起来看。
先来回顾一下苹果基于Transformer的语言模型能在iPhone、MacBook等设备上实现怎样的功能。
主要体现在输入法方面。语言模型加持下的苹果自带输入法，可以实现单词预测和纠错的功能。
JackCook小哥具体测试了一下，发现这个功能主要实现的是针对单个单词的预测。
模型有时也会预测即将出现的多个单词，但这仅限于句子语义十分明显的情况，比较类似于Gmail里的自动完成功能。
那么这个模型具体被装在了哪里？一通深入挖掘之后，Cook小哥确定：
我在/System/Library/LinguisticData/Requiredassets_en.bundle/AssetData/en.lm/unilm.bundle中找到了预测文本模型。
进而，小哥根据unilm_joint_cpu中描述的网络结构，推测苹果模型是基于GPT-2架构打造的：
主要包含tokenembeddings、位置编码、解码器块和输出层，每个解码器块中都有类似gpt2_transformer_layer_3d这样的字眼。
根据每层大小，小哥还推测，苹果模型约有3400万参数，隐藏层大小是512。也就是说，它比GPT-2最小的版本还要小。
小哥认为，这主要是因为苹果想要一种不太耗电，但同时能够快速、频繁运行的模型。
而苹果官方在WWDC上的说法是，“每点击一个键，iPhone就会运行模型一次”。
不过，这也就意味着，这个文本预测模型并不能很好地完整续写句子或段落。
模型架构之外，Cook小哥还挖出了分词器（tokenizer）的相关信息。
他在unilm.bundle/sp.dat里发现了一组数量为15000的token，值得关注的是，其中包含100个emoji。
尽管此Cook非彼库克，小哥的博客文章一发出，还是吸引了不少关注。
基于他的发现，网友们热烈地讨论起苹果在用户体验和前沿技术应用之间的平衡大法。
回到JackCook本人，他本科和硕士毕业于MIT的计算机专业，目前还在攻读牛津大学的互联网社会科学硕士学位。
此前，他曾在英伟达实习，专注于BERT等语言模型的研究。他还是《纽约时报》的自然语言处理高级研发工程师。
本文地址： https://www.gpxz.com/article/79020fc70d5eb826d6f2.html
UTF-8编码在线转工具可以帮助你把中文转换成UTF-8编码，同时也支持把UTF-8编码过的还原成中文。
沙黾农_新浪博客,沙黾农,历史大底与历史机遇,探底全为“诺曼底”！,两节前后还会摸底磨底,拒绝！很多股票已不肯跌！,大A：潮打空城寂寞回,淡定蔑视历史大底,深夜突发·必须做多自救,六大负能量虐待大盘,彭博传闻求证·九月值得期待,大惊喜！空欢喜？突发特别重大消息
装修一站式服务平台,专业装修网,入驻全国上万家装修公司与设计师,为全国业主提供傻瓜式装修服务:发布装修招标免费申请本地装修装饰公司上门量房报价对比,并享受充分的第三方装修保障,同时整理丰富的装修知识学习装修经验、提供精美的装修效果图参考,让您轻轻松松搞装修!
北森HRSaaS一体化人才管理云平台，为企业提供覆盖人才测评、招聘管理、绩效管理、组织人事、薪酬、假勤、继任、调查、Onboarding等业务全流程的一体化HRSaaS软件和服务，并通过自有PaaS平台满足中大型企业个性化和自主开发的需求。
神马影音是一个免费在线看电影电视剧的网站,提供高清VIP电视剧、热门电影大全,提供最优质便捷的服务,手机看最新热播电影电视剧就上樱花影院
河南鸿百祥网络科技有限公司专业致力于烘干机设备研究制造三十多年,有丰富的制造经验,生产的烘干机,球磨机,破碎机,撕碎机,压块机,回转窑,颗粒机等设备远销国内外,在业内享有盛誉,欢迎致电咨询13700879506
华夏会计网是目前国内权威、专业的会计培训，继续教育，会计远程教育网站，以其专业背景、雄厚的师资力量、丰富的财经会计资讯吸引了众多考生及专业人士的关注。
先进制造展会
深圳云合科技有限公司专注课堂互动系统研发多年,提供互动答题卡,课堂即时反馈系统,互动课堂,同步互动课堂,智慧课堂解决方案,满足教育应用中的课堂答题反馈需求,服务全国院校,培训机构.如有答题卡,互动课堂,反馈系统,同步课堂,智慧课堂需要,欢迎致电:13828718317.
问答,知识问答,在线问答平台,育儿问答,学习问答,常识问答,中小学问答是由问答网提供的关于问答的相关内容。了解更多教育知识敬请关注问答网。
盐城耐斯特机械从事抛丸清理机的生产和开发设计，主要有吊钩式抛丸机,钢结构抛丸机,通过式抛丸机,履带式抛丸机等各种型号抛丸除锈设备生产厂家，创造发展中国抛丸机工业,走向世界。
长江水利人才网,长江水利委员会人才资源开发中心,长江委人才资源开发中心,长江委人才中心,长江委招聘
据韩媒etnews今日报道，三星和LG已被证实正在开发基于高通芯片的XR设备，高通技术公司副总裁兼XR部门总经理司宏国，HugoSwart，日前在美国毛伊岛上的活动中表示，，关于合作目前不能透露细节，但我们确实在与三星电子、LG电子合作，司宏国表示，LG在多个领域具有专长，而三星自从宣布与高通、谷歌合作以来，就已经取得了很多进展，注...。
一、三藩五次释义，硅谷码农每年会去旧金山市中心5次，三藩，即，旧金山，，因读音接近英文SanFrancisco而得名，而，硅谷，其实是对旧金山南边一些小镇群的统称，而在硅谷的码农们，每年平均会去三藩市中心5次，称之为，三藩五次，对于，去三藩市区，这件事，大家还起了一个洋气的专属名词，叫做，进城，毕竟硅谷真的是村儿里，而且需要接...。
2024天猫618将在5月20日晚8点现货开卖，淘宝朋友圈再添重要一员，日前，阿里妈妈生态内容营销中心旗下，淘宝星任务，与巨量星图启动深度合作，双方共同推出全链路内容营销线上解决方案，星立方计划，通过这一计划，商家可以更直观、高效地进行，抖音种草、淘宝成交，的效果跟踪，具体表现在，1，打通抖音与淘宝天猫双方平台的经营数据，让商家能清...。
今日融资快报多模态大模型行业解决方案提供商，考拉悠然完成亿元B轮融资成都考拉悠然由欧洲科学院外籍院士、ACM，IEEE，OSAFellow申恒涛教授领衔20余位海外名校归国博士创立，自主研发了世界首款人工智能操作系统——OSMAGIC码极客，以多模态行业大模型的生成与应用为核心，帮助客户实现高效行业AI应用，这是策源资本继完成对考拉悠...。
串串是常见的休闲小吃，其可以搭配多种不同食材进行制作，风味更是别具一格贴合年轻消费者的饮食口感，因此产品销量呈现出逐年递增的趋势，许多从业者的事业也得到快速发展，前景相当喜人，既然项目优势如此突出，那么创业者开家店运作显得切实可行，本文将对加盟串串怎么样进行解析，给有需要的读者提供必要的帮助，玫瑰串串立足餐饮行业已有多年之久，公司在经...。
全球时报，全球网报道记者白云怡，在12日的外交部例行记者会上，有媒体提问称，菲律宾国防部长吉尔伯特·特奥多罗当天示意，中国正对菲律宾施加越来越大的压力，试图让菲律宾丢弃其在南海的主权权益，他还称菲律宾是所谓，中国侵略，的受益者，中方对此有何评论，对此，中国外交部发言人林剑回应示意，针对菲方无关人士的舆论，我要指出的是，每一次性中菲海...。
国产男团的唱歌水平，究竟怎样样，R1SE赵磊交出了这样的答卷，他被观众形容，领有塞壬般音色，的男孩，一启齿就宛若清泉直沁心底，令人冷艳，从加入较量，到成为R1SE男团成员，R1SE赵磊一路走来，一直对音乐坚持着激情，他会很仔细地和他人讨论编曲、唱歌；在舞台的光鲜亮丽面前，是观众看不到的默默付出，没什么捷径，就是，不时练不时练……，他说...。
申明，1.以上内容仅代表揭发者自己，不代表黑猫揭发立场，2.未经授权，本平台案例制止任何转载，违者将被清查法律责任，3.黑猫揭发处置揭发不收取任何费用，凡以黑猫揭发名义不要钱的均为混充、诈骗行为，请及时报警并与黑猫官网反应，揭发邮箱heimaotousu@vip.sina.com，4.请大家选用官网渠道处置生产纠纷，不要轻信第三方机构...。
[全球网报道记者索炎琦]路透社11日报道称，匈牙利总理发言人示意，正在美国缺席北约峰会的匈牙利总理欧尔班外地期间周四，11日，与美国前总统特朗普会面，二人，探讨了敌对的或者性，报道称，目前欧尔班正在推进俄乌开战，据引见，匈牙利7月1日接任欧盟轮值主席国，为期6个月，路透社称，本月早些时刻，欧尔班开启的，敌对使命，访问上班，惹恼了欧盟...。
迅雷官方网的网址是，[，]，迅雷是一款十分受欢迎的下载工具，它为用户提供了极速、稳固、安保的下载体验，为了失掉最新版本的迅雷软件、了解产品灵活、失掉技术允许或许介入迅雷的官方活动，访问迅雷的官方网站是十分必要的，迅雷的官方网站不只提供了下载链接，还具体引见了软件的配置、经常使用方法、经常出现疑问解答等消息，繁难用户更好地经常使用迅雷，...。
recuva汉化版是一款功能非常强大的数据恢复软件，完美地支持Windwos系列所有操作系统，支持NTFS、Fat32、exFat等文件系统上的数据恢复。
UC浏览器iPad版这是一款非常不错的国产iPad浏览器，不仅仅速度快、运行流畅、电省流量，安全易用，而且用户界面非常符合国人的习惯，各种浏览体验做的非常贴心，UC浏览器iPad版内置淘宝一淘比价工具;您可以免费下载。
相信各位女生朋友在小时候都一定有着一个公主梦，特别向往着能够成为公主像公主一样美丽，穿着各种好看的裙子以及装扮下各种美丽的饰品享受生活，本期文章小编就给大家以莉比小公主游戏大全作为主题，分享几款非常有意思的公主游戏出来，喜欢这一类型手游的玩家们，赶紧接着往下看游戏介绍吧！1、，莉比公主和精灵贝拉，如果你喜欢莉比小公主系列游戏的话，那么...。
今天跟大家说说韩国游戏排行榜，现在游戏类型真是多种多样，甚至还开始有各国游戏的融合呢！而我们中国的游戏发展也是越来越繁盛，居然还受到了国外游戏好友的喜爱！今天就让小编去揭晓一下韩国最火的手游吧，因为很多游戏都能同时进行竞技，这可是大大增添了游戏的乐趣呢！而且，通过游戏，还能结交很多异国他乡的朋友哦，毕竟有着同样的爱好，交流起来一定更加...。
凉屋游戏为大家打造了非常多高品质的游戏，著名的凉屋游戏有哪些，这家游戏公司一直以来都是大家非常期待的，这家公司目前为止也出了一些评价不错的游戏，小编今天也为大家总结了这家公司的一些游戏，如果对两个游戏比较感兴趣的，可以看一看小编总结的这些他们公司的游戏，或者是直接去下载体验，1、，元气骑士，元气骑士，最开始是以画风来吸引玩家的，玩家...。
今天上午，运营了21年的老站碧海银沙官网正式宣布，从今天起关闭网站，从官方公布公告看，碧海银沙网站9月27日正式停止运营，而网站不再开放访问服务，而各频道缴费业务未到期的，将提供退费服务，此外，银沙同行比余额退款也将在今天开始网上退还，碧海银沙网站始建立于1996年，是广东省电信有限公司湛江市分公司属下的综合门户网站，也是粤西地区最大...。
高通的旗舰处理器一直是众多手机厂商的追捧，不过一个月前高通发布了面向比旗舰产品定位略低的骁龙710，现在，我们看到高通正在进一步加强其在中低端市场的竞争力，雷锋网消息，高通近日宣布推出骁龙600和400层级的三款全新产品——骁龙632、439和429移动平台，新推出的平台在性能、续航、图形及人工智能等功能上都会进行提升，据雷锋网了解，...。
