Meta自研芯片最新成果曝光 7nm制程 集成RISC (meta science)

文章编号:41131 最新资讯 2024-12-03 Meta 造芯 元宇宙

据外媒ROAD TOVR消息,Meta Reality Labs的研究人员已经制造了一款VR头戴设备原型机,该原型机可以支持Codec Avatars项目的渲染,并且搭载了专门用于AI处理的定制加速器芯片。

早在Facebook更名为Meta前,该公司就一直致力于Codec Avatars项目,该项目旨在使VR实现“如照片般逼真”的虚拟化身。 这一系统结合AI处理和设备上的眼动追踪、嘴巴追踪等传感器,将使用者的脸以最接近真实的方式投射进虚拟世界。

Codec Avatars研究的早期版本得到了NVIDIA Titan X gpu强大算力的支持。但在Meta最新的Quest 2一体机等设备上,并不能完全发挥其功能。

也正因此,Meta正在着手研究如何在低功率一体机上实现Codec Avatars项目的功能。

上个月发表在IEEE CICC会议上的一篇论文中,Meta透露它正在设计一个采用7nm工艺的定制芯片用于作为Codec Avatars的加速器。

实际上,Meta的造芯计划早在2018年就已经开始。2018年4月,Facebook将Shahriar Rabii招入麾下担任副总裁兼芯片负责人,Rabii此前任职于Google,并参与了Pixel手机Visual Core等芯片开发。

研究人员称,该芯片从论文走向现实,还有相当长的一段路要走。

在芯片设计过程中,设计人员考虑了生成Codec Avatars 模型所需要的数据。

“测试芯片采用7nm制程,具有神经网络加速器,由1024乘法累加阵列、2MB片上SRAM和32位RISC-V CPU组成。”研究人员说。

自研芯片最新成果曝光,7nm制程,集成RISC-V CPU

另一方面,为了配合该芯片的特定架构,设计人员还重构了Codec Avatars AI模型的一部分。

“我们通过重新构建基于卷积神经网络的眼睛注视模型并针对硬件进行定制,使得模型更加适合芯片。这降低了片外内存访问的能耗和延迟。” Reality Labs研究人员写道。

加速芯片通过加速Codec Avatars工作负载较重的部分,不仅加快了模型的运行速度,而且还降低了功率和发热。由于芯片的定制优势,在功率和体积控制上该定制芯片较通用CPU更有优势。

据研究人员说,该芯片已经能够实现在每秒30帧的情况下运行Codec Avatars模型。并且同时做到功耗低和外形小巧。

自研芯片最新成果曝光,7nm制程,集成RISC-V CPU

得益于专用芯片的加速,Meta的Codec Avatars或许可以在一体机上运行。但目前我们不知道虚拟化身的视觉渲染效果如何。在非一体机上运行时,该模型将用户建模扫描的非常详细,这可能过于复杂,不能在Quest2等一体机上得到完整的呈现。目前还不知道Codec Avatars强大的“逼真”画面在这客观条件的限制下最终呈现的效果会如何。

我们可以想象,一系列XR特定的功能都可以通过这种专门设计的加速芯片来实现。比如在XR世界中实现空间音频是XR玩家们愿意看到的,这可以增加沉浸感。但逼真的声音模拟在实际使用中不仅会增加成本,并且也会影响续航。

另外,位置跟踪和手势跟踪也是XR体验的关键部分,在这些地方将硬件和算法结合起来进行设计可以使XR设备在速度和功率方面取得巨大的提升。

版权文章,未经授权禁止转载。详情见 转载须知 。


本文地址: /article/65bc1b4b57e49acea820.html
全局中部横幅
全局中部横幅
设计师网-工程资料-工程技术「设计师网」北京赛尔文化传媒有限公司

中国设计师网,隶属于北京赛尔文化传媒有限公司,服务于工程技术设计人员。为电气设计师、照明设计师、暖通设计师提供专业的技术交流平台。

防水涂料生产厂家-提供高分子自粘/非沥青基防水卷材产品定制与批发-山东鑫晟发防水材料有限公司

山东鑫晟发防水材料有限公司,防水卷材生产厂家,提供高分子自粘/非沥青基防水卷材产品定制与批发.山东鑫晟发防水材料有限公司是sbs防水卷材厂家、防水材料厂家、防水涂料厂家,主营高分子自粘防水卷材、js防水涂料、耐根穿刺防水卷材、聚氨酯防水涂料、TPO防水卷材、sbs防水卷材、非沥青基防水卷材等。

| Java 全栈知识体系

包含:Java基础,Java部分源码,JVM,Spring,SpringBoot,SpringCloud,数据库原理,MySQL,ElasticSearch,MongoDB,Docker,k8s,CI&CD,Linux,DevOps,分布式,中间件,开发工具,Git,IDE,源码阅读,读书笔记,开源项目...

可米生活KEMElife品牌官方网站——艺术点亮生活-可米生活

可米生活KEMElife旗下签约近百位国内外青年艺术家,品牌拥有丰富的艺术品原作和艺术IP资源。在艺术品陈设、潮流设计、家居家饰、消费电子等品类积累了近千款经典产品,成为当代时尚人群生活方式消费的首选品牌

头疗特色品牌-养发馆加盟费用多少钱-河南省华豫东方本草生物科技有限公司

河南省华豫东方本草生物科技有限公司专业致力于头皮/头发养发等特色品牌头疗管理,加盟业务有:头疗管加盟,养发馆加盟,养发护发加盟,止脱生发等,费用合理,采用中医经典结合现代科技不断推陈出新,深受投资者的喜爱!

广西中桂通源集团有限公司

广西中桂通源是一家致力于改变传统基础建设,以科技智能为驱动力,立足于水运工程建设的综合型服务企业。地址:南宁市青秀区桂雅路11号凤岭·麒麟堡B区。

嵪坲游戏网 - 部落冲突游戏攻略百科网站!

嵪坲游戏网(www.kaofo.cn)致力于打造成部落冲突游戏攻略百科网站!

卡诺德式门窗_广东系统断桥铝门窗厂家代理加盟

卡诺德式门窗【系统门窗免费加盟热线:400-880-9160】广东佛山系统断桥铝门窗厂家,大型断桥铝门窗、铝合金系统门窗生产厂家,现面向全国招收成为我们的门窗加盟代理商,合作共赢. 广东佛山系统断桥铝门窗定制厂家哪家好,欢迎到卡诺德式系统门窗厂家考察。

储油罐拆除网-储油罐拆除厂家公司资质_油罐拆除清洗施工方案

中国油罐拆除网专业油罐拆除服务网站,专注中国化工服务领域为您提供储油罐拆除,油罐拆除资质,储罐拆除,油罐拆除清洗,油储罐清洗,储罐拆除资质等服务。找油罐拆除公司,油罐拆除厂家,储罐拆除厂家,储罐拆除公司就上油罐拆除网。咨询服务电话:18502999864欢迎电联。

培训宝-我的人才培养平台!【官网】

培训宝,提供培训管理平台、移动学习平台、考试系统、微课课程资源、微课制作教导、培训运营服务等一站解决方案。是您值得信赖的互联网+学习成长伙伴!

全局底部横幅