的逼真效果更进一步 ML AR 谷歌 通过引入 实时自拍 ARCore
雷锋网 AI 科技评论按：ARCore 是谷歌于去年 2 月份正式推出的 增强现实（AR）软件开发工具包，给开发者提供了一个开发 AR APP 的平台。不到一个月前，谷歌正式推出 ARCore 1.7 版本，为其添加了前置摄像头 AR 自拍能力以及动画效果支持；而日前，谷歌又为其引入了机器学习技术，使其实时自拍 AR 的逼真效果更进一步，该技术相关的文章发布在谷歌 AI 的官方博客上，雷锋网 AI 科技评论编译如下。
通过将数字内容与信息叠加到物质世界的真实场景中，来让人类实现超越现实的感官体验。例如， 谷歌地图的 AR 功能 ，能够在现实场景中叠加方向信息来为你指路。借助于 Pixel 相机中的 Playground 模式 ，你可以使用 AR 从不同的视角看世界。并且通过借助于最新发布的 「YouTube Stories」 以及 ARCore 全新的面部增强（Augmented Faces）API ，你可以在自拍上添加动画面具、眼镜、帽子、皮肤等特效。
实现这种 AR 功能的关键挑战之一，就是以合适的方式将虚拟内容锚定到现实世界：这一过程需要一套能够追踪到每一次微笑、皱眉或假笑的高动态表面几何结构的独特的感知技术。
ARCore 的3D 网格以及它能实现的一些特效
为此，我们引入了机器学习（ML）技术来推断近似的 3D 表面几何结构，并且仅需要用到一个单摄像头输入而无需使用专用的深度传感器。这种方法利用面向移动 CPU 界面推断或其可用的全新移动 GPU 功能的 TensorFlow Lite ，实现了逼真的实时 AR 效果。与「 YouTube Stories」 全新的创作者特效所利用的技术一样，这项技术已通过 最新的 ARCore SDK 和 ML Kit Face Contour Detection API 向广泛的开发者社区开放。
用于自拍 AR 的机器学习工作流
我们的机器学习工作流由两个协同工作的实时深度神经网络模型组成：一个是探测器，它在整张图像上运行并计算出面部位置；另一个是通用的 3D 网格模型，它在探测器计算出来的面部位置上运行，并通过回归预测近似的表面几何结构。精确地裁剪面部能够极大地减少对一般的数据增强的要求，例如由旋转、平移和比例变换组成的仿射变换（affine transformations）等，同时让网络将大部分性能投入于预测坐标来提高其准确性——这对于锚定合适的虚拟内容至关重要。
裁剪完所关注的位置后，该网格网络一次仅应用于一个单帧，并利用加窗平滑（windowed smoothing）来减少面部处于静态时的噪音，同时避免在大幅移动期间出现的延迟。
针对 3D 网格，我们采用了 迁移学习 ，并训练了一个具有多个目标的网络：该网络能够同时地基于合成、渲染的数据预测 3D 网格坐标以及基于类似于所提供的带有注释的、现实世界的数据预测 2D 语义轮廓。最终的网络为我们提供了基于合成数据乃至现实世界数据的合理的 3D 网格预测。所有模型都在源自于地理学多样化的数据集的数据上进行训练，并接着在平衡、多样化的测试集上进行定性和定量性能的测试。
3D 网格网络接收经裁剪的视频帧作为输入。由于它不依赖于额外的深度输入，因而也可以应用于预先录制的视频。该模型不仅输出 3D 点的位置，还输出在输入中存在并合理对齐的面部概率。一种常见的替代方法就是为每个地标预测出 2D 热图，但这种方法并不适用于深度预测，并且对于如此多的数据点来说，使用这种方法耗费的计算成本非常高。
通过迭代自展和精炼预测，我们进一步提高了模型的准确性和鲁棒性，同时也将数据集发展成为愈加具有挑战性的实例，如鬼脸，拍摄角度倾斜以及面部遮挡等。此外，数据集增强技术也扩展了可用的 ground truth 数据，并开发出了对摄像头瑕疵等人工产品问题或极端光照条件具有弹力的模型。
数据集扩展和改善路径
我们使用 TensorFlow Lite 进行设备内置的神经网络推理。 新推出的 GPU 后端 加速能够有效提升性能，并显著降低功耗。此外，我们还设计了具有不同性能和效率特性的一系列模型架构，来覆盖到更加广泛的消费级硬件。较简单网络之间的最重要的区别就在于残差块（Residual Block）设计和可接受的输入分辨率（最简单模型中的输入分辨率为 128×128 像素，而最复杂模型中的输入分辨率为 256×256）。同时，我们还改变了层数以及子采样率（输入分辨率随网络深度的减少而减少的速度）。
这一系列的优化的结果就是：使用更简单的模型带来了实质性的加速，同时也将 AR 特效质量的降低幅度最小化。
最复杂模型（左）和最简单模型（右）的比较：在简单模型上，时序一致性以及对嘴唇、眼睛的追踪稍微降低。
这些成果最终则能够通过以下方式，让用户在 YouTube、ARCore 以及其他客户端体验到更加逼真的自拍 AR 效果：
另外，我们还通过以下方式实现了逼真的妆容效果：
案例对比：5 个目标在不同光线下的真实化妆效果以及 AR 化妆效果
我们很高兴将这项新技术分享给创作者、用户以及开发者。感兴趣的读者可以通过下载最新的 ARCore SDK （下载地址：）来将这项技术用起来。未来，我们还计划将这项技术广泛应用到更多的谷歌产品线中。
via：
原创文章，未经授权禁止转载。详情见 转载须知 。
本文地址： https://www.gpxz.com/article/68867ff6d1d7db833149.html
腾讯体育是全国亿万体育迷喜爱的社区平台，我们提供顶级赛事直播和丰富高燃的精彩视频，还有专业实时的赛场数据、及时权威的热点资讯、懂球有梗的聊球社区。等你一起为热爱加冕！
深圳市阳光博睿教育技术有限公司,是国内领先的移动数据技术提供商深圳市梦网科技发展有限公司的全资子公司
深圳万创科技有限公司是一家专注SEO网站优化,百度优化,外贸网站优化,整站优化,网站优化推广,网站建设,SEO优化为主的一站式营销型网络公司，为数万家企业网站建设提供解决方案。
飞猪是阿里巴巴旗下的综合性旅游出行服务平台。飞猪整合数千家机票代理商、航空公司、旅行社、旅行代理商资源，直签酒店，客栈卖家等为广大旅游者提供特价机票，酒店预订，客栈查询，国内外度假信息，门票购买，签证代理，旅游卡券，租车，邮轮等旅游产品的信息搜索，购买及售后服务。全程采用支付宝担保交易，安全、可靠、有保证。
遂宁大洋绿洲制冷工程有限公司,13880221178造价低8%,冷库修建造价合理,专业承接各类大小型冷库、冻库、蔬菜保鲜库，水果保鲜库、气调库、冷藏库、设计安装,专业从事冷库设计、销售、安装8年，服务于上千余客户.
恒修居为古诗词翻译古诗词朗诵，各类古籍等内容
兆信科技是一家专注于一物一码全链路数字化解决方案服务商，基于一物一码的产品数字化身份管理，为每一个产品提供唯一的身份ID。兆信科技六大核心业务品牌防伪、品质溯源、数字化营销、数字化赋码、数字化渠道、数据洞察为企业提供产品全生命周期管理。欢迎电话咨询：400-815-5999
CTFer（www.ctfer.com）专注网络安全、信息安全、白帽子技术的在线学习，实训平台。提供优质的赛事及学习服务，拥有完善的题目环境及配套writeup，降低CTF学习入门门槛，快速帮助选手成长，跟随主流比赛潮流
快乐下载是一个安全可靠的绿色软件下载中心，我们致力于为用户打造安全迅捷的软件下载体验，如果我们提供的资源帮到了你，欢迎你向你的朋友们推荐一下本站~
昆山昱唯网络科技有限公司成立于2017年，总公司上海昱唯商贸有限公司，成立于1999年，昆山昱唯是一家从事互联网产品销售的公司，公司属于腾讯云代理商，百度云代理商 ，京东云代理商 ，阿里云代理商 ，火山引擎代理商 ，天翼云代理商 ，移动云代理商，华为云代理商 ，法大大代理商 ，知道创宇代理商 ，用友代理商 ，企业微信代理商 ，400电话/1010电话/95/96电话总代，联想T
厦门市佳庆网络科技有限公司【咨询电话：18020726693】，公司主营厦门网站优化,厦门站群优化,厦门网站建设,厦门网站推广,厦门小程序开发,厦门谷歌推广,微信朋友圈推广公司已成为腾讯企业邮箱的品牌代理商。
辽宁三三工业有限公司（三三工业）位于东北老工业基地辽宁省辽阳市。三三工业是辽宁省重点工业企业，国家级高新技术企业、省守合同重信用企业、省诚信示范企业，是中央国债资金重点支持企业。
12月20日消息，哈趣官方平台显示，哈趣K1Pro新品投影仪开启预售，据了解，该产品具备1000ANSI流明亮度，10ms超低延迟游戏模式，搭载当贝OS，预售到手价1599元，据产品详情页面，哈趣K1Pro外观采用极简风格，整体配色为白色，造型小巧灵动，相比其他同价位产品，哈趣K1Pro亮度提升40%，达1000ANSI流明，创千元投...。
洗牌效应会越来越明显，要么增长要么消亡今天，全球顶尖咨询公司IDC发布了AICloud2023报告，报告开头信息对于卷上天的公有云赛道来说，就已经相当炸裂，2023年中国AI公有云服务市场2023年市场规模达126.1亿元人民币，相比2022年增长58.2%，要知道，国内公有云市场去年一年的主要声音都是，降价，、，内卷，、，裁员，、，...。
发表在综合交流大区2018，11，2015，34激光电视有什么优点，又有什么缺点，相较于液晶电视、OLED电视等，激光电视对于部分用户显然还是有些陌生，虽然激光电视市场销量逐年增长，但毫不客气地说，激光电视市场现阶段仍处于一种小范围的，自嗨，那么激光电视这种不那么新的，新物种，，普通家庭值不值得买呢，激光电视现阶段的优缺点都有哪些呢...。
发表在专业问答2024，11，1211，04哈趣Q1调节亮度可以通过投影设置中的亮度调节功能来调整亮度，总共可以分为三步，下面为哈趣Q1怎么怎么调节亮度的详细步骤做具体说明，哈趣Q1怎么怎么调节亮度1.打开投影设置在哈趣Q1主界面找到设置图标并点击打开投影设置；2.选择亮度调节在设置中进入画面设置并选择亮度调节点击进入；3.完成亮度调...。
爬树也能拿冠军，是的你没看错！近日一段爬树的视频在网上火了！只见运动员们奋力攀爬面前的椰子树短短几秒就碰到了椰子树顶端的计时按铃这不是在玩游戏而是第十二届全国少数民族传统体育运动会中的一项比赛项目——攀椰竞速11月22日第十二届全国少数民族传统体育运动会在海南三亚开幕今年攀椰竞速被首次列为全国少数民族传统体育运动会的正式竞赛项目攀椰竞...。
生活条件越来越好之后，人们每年都会外出游玩，去感受风土民情，也带孩子去开拓视野，出去旅游，就要住酒店，因此推动酒店行业的发展速度，市场上涌现出更多的酒店品牌，其中就有宜尚酒店，宜尚酒店是一家高质量的酒店，有舒适的住宿环境，也有周到的服务，所以在市场上发展很好，那么，宜尚酒店分店多吗，有多少加盟优势，宜尚酒店自成立以来，一直致力于为消费...。
澎湃资讯记者从张祺乐副传授多位友人处得知，西南政法大学人权钻研院，人权学院，硕士生导师张祺乐副传授因病治疗有效，于2024年9月17日10时30分在重庆逝世，享年38岁，张祺乐副传授1987年9月14日出世于重庆市，1999年9月至2005年6月就读于四川温江中学，2005年9月至2009年6月就读于西南政法大学运行法学院，获法学学士...。
可以经常使用微信小程序，答题星，来出题考试，在微信上关上这款答题小程序系统就可以经常使用，无需下载装置，而且是无偿经常使用的，可以用于单位自己组织的答题优惠，可以在线出题答题，一些经常出现的脚本常识更适宜经常使用答题系统来在线答题，由于都是选用题，系统还能智能判别和给出分数，每个考卷可以生成二维码，扫一扫二维码就可以答题，提交标题以后...。
人们对环保、低碳的生存模式越来越注重，一辆环保的电动汽车也成为了人们购车的抢手选用，长安奔奔电动汽车多少钱相比其余品牌愈加亲民，同时它还具有一系列优异特点，长安奔奔电动汽车定位于市区适用，所以经常使用铅酸电池，能够满足市区交通的需求，该车型有四种不同版本车型，区分是X1、X2、E2、E3，其中X属于家轿型车，而E属于SUV车型，各个版...。
毓钟灵毓秀的毓房产证尽量不要写夫妻俩人名字，为何会这么说，关键是房产证写上夫妻两人的名字，会有这2大难处，1、买第二套房难假设房产证的归属名写的是夫妻两人独特名字的话，那么其象征着两人所承当的责任是一样的，无论是存款还是什么，须要两人独特归还，并且随着国度限购令的推广，房子是拿来住而不是炒的系列政策颁发后，代表国度对购房资历会有愈加严...。
LenovoUtility是一个功能强大的硬件驱动软件，能够帮助用户轻松管理联想品牌电脑的相关硬件配置，让电脑的使用更加方便快捷。软件适用于摄像头、麦克风、声音辅助、键盘、屏幕等硬件，满足用户的各种联想硬件驱动管理需求。
星际殖民地修改器是该同名游戏的一款修改工具，具有无限健康、无限氧气、最后悬停的项目数量等修改功能，使用后可以帮助玩家快速升级游戏任务。
昨天，自媒体人猫二侠怒斥微信，互选广告，违规封号，腾讯丧失了底线，还说微信钓鱼执法，猫二侠发布，怒斥文章，后，微信撤销了其处罚，但公众号还是被封着，微信提示，该帐号存在过度营销、骚扰用户行为，帐号所有文章被禁止分享，宙斯叶梦还说到，那个不是发广告，一篇原创文章，5月处理，两个月后突然提醒又处理，封号一年，基本死刑，另外，也有网友说，被...。
环境问题随着GDP的增长，暴露出来的问题越来越多，尤其是在重工业城市，雾霾着实让人难受，还有新的房屋装修好却不能入住，需要一个月左右的空气流通，这都给人们带来烦恼，人们就开始寻找可以使空气净化的好方法，寻找可以加盟的空气净化企业，那么我来为您介绍一下樱立方空气净化加盟怎么样，好不好，北京创天下环保科技有限公司以樱立方产品为市场投放前导...。
现在的人们生活水平好了，在吃穿上也越来越重视了，尤其是对待孩子，大家更是将所有能给的、好的东西都给他们，孩子对一个家庭是多么重要，今天小编给大家介绍的就是关于母婴用品的，开母婴用品店一年挣多少，小编会在下面详细的给大家介绍，这块市场的，以及开母婴用品的收银，希望对大家有所帮助，首先我们来看看母婴用品店一年的成本都有哪些，小编就以50平...。
近日，FBIF2024食品饮料创新论坛，渠道创新，分论坛中，众多零售企业负责人就，新时代如何做好渠道创新，展开探讨，白象食品集团电商总经理孙亮分享了白象集团从搭建电商体系，到探索本地零售的过程，，渠道创新虽然伴随痛苦，但做出的成绩会让人兴奋，长期以来，食品饮料市场大部分消费市场在线下商超、便利店，但伴随营销年轻化策略，白象食品集团，...。
雷锋网按，在完全自动驾驶实现之前，我们并不能解放人类司机的双手，当司机在道路上加速、停止、转弯时，部署在汽车四周的传感器便会记录并跟踪司机的行为，在此基础上，一个工程师团队打造了一款软件，它能从这些数据中学习如何驾驶，后来，这款软件装载在了车内，就能驱动汽车，最终，汽车能模仿司机的行为，进行自动驾驶，这是自动驾驶初创公司AuroraI...。
