六项计划 华为视觉研究路线图 三大挑战 (华为6g计划)
雷锋网AI科技评论按：昨天在华为开发者大会上，华为首席科学家陈雷发布的全场景AI计算框架MindSpore开源框架，引起业界广泛关注，毕竟在短短一周之内，国内相继涌现出计图（Jittor，清华）、天元（MegEngine，旷视）、MindSpore（华为）三个深度学习开源框架，可谓“2020年是深度学习框架井喷的一年”。
但在昨天的大会中，华为发布的另一项重要计划却似乎受到了忽视，这是由田奇博士主导的“ 华为计算视觉基础研究进展暨华为视觉计划发布 ”。
田奇博士，计算机视觉领域的人士应该都不陌生，毕业于清华电工系，后赴伊利诺伊大学香槟分校，师从计算视觉之父 Thomas S．Huang 教授。在2018年加入华为之前，一直在德克萨斯大学圣安东尼奥分校任教，是2016年多媒体领域 10 大最具影响力的学者，并于当年入选IEEE Fellow。
田奇博士加入之后，华为诺亚方舟在计算机视觉领域的研究突飞猛进。以论文来讲，ICCV 2019、CVPR 2019 分别有 19篇和29篇入选论文，CVPR 2020上更是多达 33 篇，且不论他们在类似ICLR、ICML这类篇算法的顶会上发表的论文。
在这次“研究进展&计划发布”上，田奇博士将他们的研究内容梳理为三大方向，即
数据：如何从数据中挖掘有效信息?
模型：怎样设计高效的视觉识别模型?
知识：如何表达并存储知识?
在此基础上，他提出了华为诺亚的六大视觉计划：数据冰山计划、数据魔方计划、模型摸高计划、模型瘦身计划、万物预视计划、虚实合一计划。
每个计划听着都很带感，其中逻辑是什么？各自代表了什么？
一、计算机视觉的三大挑战及华为的研究
田奇博士在演讲中，将当下计算机视觉面临的挑战分为三大方向，分别为数据、模型和知识表达。（为什么没有算力？毕竟这不是做视觉的人所能决定的，其实对算力的考虑包含在模型里面）
1、如何从数据中挖掘有效信息?
在信息时代，做计算机视觉其实面临一个尴尬的事情，即互联网上存在着海量的视觉数据，甚至已经远远超过了人类处理的极限；标注数据，无论规模多大，都只是视觉大数据中的“沧海一粟”。如何从海量数据中挖掘出有效的信息，依旧是一个很大的挑战。
华为在这方面提出了两个典型的场景，一是如何利用生成数据训练模型；二是如何对齐多模态数据。
首先是生成数据，华为在这方面投入了大量的研究。具体来说，分为三部分。
第一，自动数据扩充。这个以发表在ICLR 2020 上的 「Adversarial AutoAugment」为代表，这篇文章针对以前NAS（例如 AutoAugment）做数据增强计算开销大、policy是静态的问题，借用 GAN 的“对抗”思想，引入了 adversarial loss，这样一方面大大减少了训练所需的时间；另一方面，可以认为policy generator 在不断产生难样本，从而能帮助分类器学到 robust features，从而学的更好。（ICLR 2020 | 华为诺亚：巧妙思想，NAS与「对抗」结合，速率提高11倍）
第二，利用GAN来模拟更多的数据。这个以发表在CVPR 2018 上的PTGAN 和 CSGAN 为代表。前者（「Person Transfer GAN to Bridge Domain Gap for Person Re-Identification」）是针对行人重识别问题的生成对抗网络，使用GAN将一个数据集的行人迁移到另一个数据集当中。后者（「Compressed sensing using generative models」）是针对感知的GAN压缩，换句话来说，即利用GAN来重构出“原始数据”，相比于其他的重构算法来讲，CSGAN在更少的测量（可理解为采样后的数据）情况下能够重构出很好的原始数据。
第三，利用计算机图形学技术来生成虚拟数据。这个以发表在CVPR 2019 上的「CRAVES: Controlling Robotic Arm with a Vision-based, Economic System」为代表。在CRAVES这篇工作中，他们设计了一套基于虚拟数据生成和域迁移的训练流程，机械臂只需要借助一个额外的摄像头，便可以完成抓取骰子并放置在指定位置的任务。注意，这里的数据是基于CG技术生成的，对机械臂的训练完全不需要提供额外的监督数据。
如左边的图所示，原图是一只狐狸；如果对它进行亮度变化，它看起来会更像一只狗；如果对它进行反转，这个时候看起来像一只猫。因此在训练模型的时候，如果仍然使用原来的硬标签（“fox”）显然是不合适的。
为了解决这个问题，华为提出了知识蒸馏的办法，通过预训练的模型，对AA的图片，产生软标签，再用软标签指导图形的训练。上图便是知识蒸馏后产生的软标签。
从结果上来看，这种知识蒸馏与自动数据扩增相结合的方法，在ImageNet上能够取得85.8%的效果。
针对第二个场景，多模态数据，田奇博士认为多模态学习将成为未来计算机视觉领域的主流学习模式，因此非常重要，他们也将在这个领域进行重点布局。当前多模态学习面临的挑战包括：多模态信息表示，模态间的联合映射，模态对齐，模态融合，多模态协同学习。
针对这方面的工作，即如何对齐多模态数据，田奇重点介绍了他们在ACM MM 2019 上获得最佳论文提名的论文「Multimodal Dialog System: Generating Responses via Adaptive Decoders」。他们称之为“魔术模型”，论文本身是针对电子商务场景，用户在与机器克服对话过程中存在输入文本或图片的需求。他们针对这一问题，使用了一个统一的模型来编码不同模态的信息，从而能够根据上下文来反馈文字或图片。
2、怎样设计高效的视觉识别模型?
田奇博士提出，华为诺亚在视觉模型方面的主要研究在于如何设计出高效的神经网络模型以及如何加速/小型化神经网络计算。换句话来说，即模型如何更快、更小、更高效。
神经网络模型的设计，最初都是手工设计，但现阶段手工网络模型设计已经进入了瓶颈期。而作为对应，从2017年开始，自动网络架构搜索（NAS）迅猛发展，尽管只有三年时间，却已经取得了可喜的进展。
田奇博士认为，NAS目前存在三大挑战，分别为：1）搜索空间仍需人工经验定义；2）待搜算子需要人工设计；3）相较手工设计网络，可迁移性较差。
田奇博士在这方面仅举了他们的一个工作，发表在ICLR 2020 上的「PC-DARTS: Partial Channel Connections for Memory-Efficient Architecture Search」。PC-DARTS针对现有DARTS模型训练时需要 large memory and computing 问题，提出了局部连接和边正则化的技术，分别解决了网络冗余问题和局部连接带来的不稳定性。这个模型能够在性能无损的情况下，做到更快（与同类相比快一倍）。
针对如何加速神经网络及模型小型化，田奇博士是这样思考的。目前大的网络模型发展如火如荼，但这样的模型更适合配置在云侧，而无法适配端侧。从2016年起，业界便开始探索模型加速和小型化的研究，也提出了大量小型化方案。但这些方案在实际中面临着诸多问题，包括：1）低比特量化使得精度受限；2）混合比特网络对硬件却并不友好；3）新型算子并没有得到充分的验证。
田奇博士同样举了他们最近的一项工作，是CVPR 2020 上的一篇 Oral：「AdderNet: Do We Really Need Multiplications in Deep Learning?」。在计算机中，浮点运算复杂度相比加法要高很多，但神经网络中存在大量的乘法运算，这就限制了模型在移动设备上大规模使用的可能性。那么是否能设计一种基于加法的网络呢？华为的这篇文章正是对这一问题的回答，他们将卷积网络中的乘法规则变成加法，并对网络中的多种规则进行修改：1）使用曼哈顿距离（取代夹角距离）作为各层卷积核与输入特征之间输出的计算方法；2）为AdderNet设计了一种改进的带正则梯度的反向传播算法；3）提出一种针对神经网络每一层数量级不同的适应性学习率调整策略。实验结果上表明，AdderNet能够取得媲美于乘法网络的效果，且在计算功耗上具有明显的优势。
3、如何表达并存储知识?
田奇表示，华为的目标是打造下一代视觉感知的通用视觉模型，并把该算法迁移到下游任务进行模型复用。
那么，何为“通用视觉模型”？其核心思想事实上就是如何表达并存储知识。
田奇博士提出两种场景。首先是目前比较热的预训练的方式，通过预训练获得的模型来表达和存储知识；其次是通过虚拟环境，在基本不需要标注数据的情况下来学习知识。
针对预训练模型，田奇博士提到了他们在CVPR 2019上发表的工作：「Iterative Reorganization with Weak Spatial Constraints: Solving Arbitrary Jigsaw Puzzles for Unsupervised Representation Learning」。这篇文章提出了一种适用于处理任意维度拼图问题的自监督学习方法。
拼图问题将无标签图像按网格分割为图像块，并打乱它们的顺序，通过网络恢复正确的图像块布局，来达到从无标签图像数据中学习语义信息的目的。这篇文章提出，以迭代的方式逐步调整图像块的顺序直到收敛。在ImageNet上能够取得非常好的性能。
深度学习大量依赖于可标注的数据，但是很多场景下，数据标注成本很高。同时，标注数据也存在一个致命的问题，即知识表达不准确——比如在自动驾驶中，我们有大量的标注信息，但这些标注数据是否真的“最适合”自动驾驶任务呢？此外，人类对外界的感知依赖于常识，而依赖于标注数据来训练的模型则存在缺乏常识的问题。
针对这一问题，田奇博士提出了用虚拟场景构建虚拟场景来学习常识的方法。田奇博士举了他们发表在CVPR 2019 的文章（CRAVES），主要是通过虚拟场景来训练机械臂抓骰子。我们在前面已经提到，这里就不再赘述。
二、华为视觉研究计划
延续以上提到的研究内容，田奇在随后发布了「华为视觉计划」。简单来说包括六个子计划：
与数据相关的：数据冰山计划、数据魔方计划；
与模型相关的：模型摸高计划、模型瘦身计划；
与知识相关的：万物预视计划、虚实合一计划。
1、数据冰山计划
该计划是为了解决数据标注瓶颈问题，让数据生成真正代替手工标注。这里包含三个子课题，分别为：
子课题一：数据生成质量拔高。即通过一到两年时间，解决生成数据质量差和不真实的问题；
子课题二：数据生成点石成金。即设计数据自动挑选的算法，在海量的生成数据中，挑选高质量的数据；
子课题三：通用自动数据生成。即对不同的子任务设计不同的生成数据方式，让数据生成具备普惠能力。
2、数据魔方计划
该计划主要解决多模态数据量化、对齐和融合的问题，从而构建下一代智能视觉。包括构建多模态数据量化指标，从而全面评估性能；多模态数据对应策略研究；多模态数据融合方案等。
3、模型摸高计划
该计划主要是构建云侧大模型，来刷新各类视觉任务的性能上限。同样包括三个子课题：
子课题一：全空间网络架构搜索。即突破神经网络架构搜索空间受限的约束，搜索更多的范式、更多网络空间结构的变化，让神经网络架构真正实现自动搜索。
子课题二：新型算子搜索。即让算子的设计从手工复用到创造新的算子。
子课题三：搜索模型普适能力的提升。目前搜索出的网络泛化性能、抗攻击性、迁移性都比较差，该子课题希望能够提升网络架构索索的这些性能。
4、模型瘦身计划
开发端侧小模型，助力各种芯片完成复杂推理，是一个重要的研究方向。华为在这个领域中的目标是，打造高效的端侧视觉计算模型。该计划包含三个子课题：
子课题一：自动搜索小型化网络。即将硬件的约束融入自动设计中，使得算法能够适配不同的硬件。
子课题二：一比特网络量化。即设计一比特网络，使一比特网络能达到全精度网络的性能，目标是追求极致的性能。
子课题三：构建新型加法网络。即在卷积网络中，用加法运算代替所有的乘法运算，同时与芯片计算相结合，探索高效计算的新路径。
5、万物预视计划
所谓万物预视，即定义预训练任务，构建通用视觉模型。具体做法是搜集大量公开无标签的亿级数量级的图片，完成知识的抽取与整理。
6、虚实合一计划
该计划的目标是在虚拟场景下，不通过标注数据，直接训练智能行为本身。目前业界在这个领域的研究非常还有限。这里涉及如何定义知识、如何构筑虚拟场景、如何模拟用户的真实行为、如何确保数据与智能体的安全等问题。虽然这个计划极具挑战性，但田奇认为这才是通向真正的人工智能的道路。
雷锋网报道。
原创文章，未经授权禁止转载。详情见 转载须知 。
本文地址： https://www.gpxz.com/article/4e81f6feaddc74dd753e.html
理想汽车致力于为家庭打造更安全、更便捷、更舒适的智能电动车，产品包括理想L9(全尺寸六座SUV)、理想L8(中大型六座SUV)、理想L7(中大型五座SUV)。自研增程电动系统、魔毯空悬、智能驾驶、智能空间。
花桥电脑维修公司天也科技提供花桥电脑维修,鑫苑,易买得电脑维修,启航社河东河西U时代上门维修电脑,花桥绿地大道U时代电脑维修公司,安亭电脑维修公司,电脑维修论坛,维修电脑资料,上海周边安亭维修电脑公司，服务热线：13917162708
智慧请假是免费的请假管理系统，实现微信、云平台、网上请假的软件，支持请假系统app定制，关注公众号，无需下载请假系统app！
豪迈木门创立于1991年是一家集室内套装门的设计、生产、销售、售后为一体的大型木门生产厂家，是“中国木门十大品牌”之一。提供实木门，烤漆门，室内套装门等系列木门的定制生产。热线:400-6070-399
威海通佳电器有限公司位于美丽的胶东半岛威海市，本公司从事建筑工地用成套设备，高低压配电柜，照明配电箱及电缆桥架的设计和生产。自公司成立以来，不断加大投入，数控等大型设备齐全，不断提高产品工艺，定期举办培训，提高员工素质，保证了产品的质量。
轩悦视听提供灯光音响租赁、LED屏租赁、LED显示屏租赁、投影机租赁、同传设备租赁在内的设备租赁服务，在上海、北京、广州和深圳设有分公司，为演出和会议提供一站式视听设备与技术支持。公司下设广州,深圳,上海,上海灯光音响租赁,上海LED屏租赁,上海投影机租赁,同传设备租赁公司，欢迎您就近咨询。
辽宁曙光整形外科医院
品佳游戏是一个专业的游戏知识与攻略分享平台，为广大游戏爱好者提供全面的攻略和深入的分析，品佳游戏致力于成为玩家探索游戏世界的得力助手。
布雷博是公认的汽车与摩托车盘式制动器技术创新者，为世界知名的汽车与摩托车生产商提供高性能制动件，包括刹车制动卡钳，制动片，制动盘，制动液等。
亚泰新材可生产提供适用于屋面系统、幕墙系统、吊顶天花系统、遮阳卷帘系统等各类建筑装饰领域的预辊涂彩铝卷。可定制生产单色、仿石材、仿木纹、仿拉丝、仿迷彩、仿布艺、仿砖纹、炫色等近2000余种花色。广泛应用于铝镁锰板、铝塑板、铝单板、铝瓦楞板、铝蜂窝板、集成吊顶、工装天花、铝方通、铝条扣、铝挂片、保温一体板、遮阳板、卷帘门、落水管的加工生产。
燃友会燃烧的问题，燃友会！51warm.com温暖无忧燃烧器网chinaburner.com旗下付费问答系统，旨在为燃友提供燃烧热能相关的问答交流平台！微信号chinaburner51warm
集团自成立以来，严格企业管理，强化品牌理念，积极服务于客户，回馈于社会。目前已达成战略合作伙伴的客户有爱康科技、中国建筑、江苏苏美达、中铁物资、佳通轮胎、海达光能、红双喜集团等，涵盖的业务范围有集装箱进出口、干散货进出口、冷链进出口、第三国转口、援建项目物流、危化品运输等。
五岁的小孩是比较容易接受各种新鲜的食物，也是培养各方面发展的极佳时间段，家长不妨让孩子选择一款游戏来认识更多的新鲜事物，同时还能让孩子的动手能力以及想象力变得更加丰富，那么热门的五岁小孩游戏有哪些呢，在游戏的领域当中，很多游戏都是专门针对于所有小孩来体验，涵盖的知识内容极其丰富，也是秉持着寓教于乐的核心来创作，儿童建农场小镇，这是专门...。
在社交网络中，有这样一条著名的，六度分隔理论，最多通过五个人，你就能够认识世界上的任何一个陌生人，六度分隔理论，背后的知识图谱就是帮助社交网络连接每个人的，黑科技，知识图谱以实体概念，例如人，为节点，以关系为边，以可视化的图形展示直观地呈现人们的社交关系，目前这一技术已在搜索、金融等领域得到了很好的应用，如果将上述知识图谱中...。
芯片以及操作系统都是我们的短板弱项，‘缺芯少魂，，车规级的更是如此，在3月底的电动汽车百人会上，全国政协经济委员会副主任苗圩曾如此表示，芯片的国产替代已然成为当前科技行业的重要议题之一，再加上持续多时的车规级MCU缺货、涨价潮，车企们纷纷将目光聚焦在可替代的国产MCU上，如今，国产车规级高端MCU赛道又迎来一新选手入场，4月12日...。
目前广州地铁线路只开通了4号线到南沙，没有15号线，未来的15号线是不是到南沙，具体站点有哪些，得看地铁规划了，想知道，广州市请问番禺15号线途经哪些地方在哪上行，珠宝产业园总站，珠宝产业园，福田村，龙岐，龙岐村委，福德路口，禺山高级中学，西丽桥南，华侨城，西丽路，禺山大道西，规划局，新世界大厦，番禺宾馆，市桥汽车站，百越广场，地铁市...。
在约三年前，Google最知名的高管之一ReginaDugan在公司的开发者大会上宣称，她将领导一个秘密的硬件部门打造不一样的未来，她说，，你会看到一小撮江洋大盗完成史诗般的壮举，，并且声称正在开发十多种令人兴奋的产品，而且团队的执行效率极高，这个部门就是Google的先进技术和产品部门ATAP，但如今，ReginaDugan已经离开...。
去年5月11日，北森宣布完成2.6亿美金F轮融资，不觉间再次刷新，HRSaaS领域的最大一笔融资，纪录，当时就预言，有了软银、高盛等顶级资本的幕后推力，北森距离上市或许已经不远，果然，半年后，北森递表港交所，冲击港股，如果本次上市成功，北森则将成为本土HRSaaS第一股，成为HRSaaS领跑者北森成立于2005年，是一个老牌企业...。
发表在明基投影仪2024，4，909，26明基E565是一款智能商用投影仪，拥有超高的亮度，具体明基E565投影仪的参数配置如何呢，下面就来详细了解明基E565，看看明基E565投影仪怎么样，各方面的配置究竟如何，是否值得用户入手，明基E565投影仪怎么样，1.画质上明基E565采用DLP技术，配备高耐久DMD芯片，画质稳定，实际的亮...。
1.BT@China联盟，作为中国BT界的资深站点，BT@China联盟吸引了泛滥BT喜好者，并提供了一些高品质的种子资源，2.VeryCD电驴大全，这个经典的资源共享平台蕴含了电影、音乐、游戏等多种类型的资源，用户可以经过磁力链接轻松下载，3.炫电影，专一于电影资源的磁力搜查引擎，提供了丰盛的电影磁力链接，4.磁力猫，和磁力链一样，...。
PhotoScissors中文破解版是一款专业实用的智能抠图软件，只需要用户突出显示一些前景和背景等几个简单步骤即可从静止图像中删除背景，直接处理图像。
iPhone15Pro边框被摸掉色，A17Pro芯片跑分曝光,苹果,骁龙,多核,边框,罗永浩,硬件配置,iphone
源码简介66Analytics是一款网站统计和用户分析的PHP源码，轻松了解你的网站访问者流量记录和重播会话以分析用户行为。演示地址https://66****ytics.com/demo/源码特色简单的5分钟安装过程易于理解和使用...
鲁大师iPhone版一款来自奇虎360的手机性能评测、跑分、估值和二手回收的软件，鲁大师iPhone版可以对你的手机进行系统的评测检测，你可以讲评分结果分享到社交渠道，还可以将二手的手机卖给鲁大师，使用支付宝和工行农行建行招行收款;您可以免费下载。
去年8月，央行支付结算司印发，中国人民银行支付结算司关于将非银行支付机构网络支付业务由直连模式迁移至网联平台处理的通知，通知表示，自2018年6月30日起，也就是今天起，支付机构受理的涉及银行账户的网络支付业务全部通过网联平台处理，▲网联成立后的第三方支付模式示意图目前，业内大部分的第三方支付机构基本已接入网联或者银联系统，有些机构...。
雷锋网AI科技评论按，2018全球人工智能与机器人峰会，CCF，GAIR，在深圳召开，峰会由中国计算机学会，CCF，主办，雷锋网、香港中文大学，深圳，承办，得到了宝安区政府的大力指导，是国内人工智能和机器人学术界、工业界及投资界三大领域的顶级交流盛会，旨在打造国内人工智能领域最具实力的跨界交流合作平台，CCF，GAIR2018延续前两...。
近日，LaplaceAI发布了新一代AI原生智能生产力操作平台，LaplaceAILabFreedom版本，以AIAgent和AIOS为技术思路，帮助企业完成原生智能化流程构建与升级，打造新时代智能化企业，LaplaceAILab的发布也标志着企业智能化即将迈入AI生产力即服务，AIProductivityasaServices[AI...。
发表在康佳投影仪2023，7，2009，33康佳C1是一款轻巧便携的投影仪，机身配备提手设计，方便用户携带，那么康佳C1投影仪的参数配置究竟如何呢，下面就通过各方面来详细了解，看看康佳C1投影仪怎么样，是否值得用户入手，康佳C1投影仪怎么样，1.光学参数在亮度方面，康佳C1的实际亮度约为200ANSI流明，整体亮度不高，不足以抵抗环境...。
多国战略的产品是国际合作项目，国际合作项目是一种跨国界、跨文化的合作，涉及多个国家共同参与，共同推进某一重要领域的发展，这种产品之所以被称为多国战略，是因为它具有以下几个重要特点，一、跨国合作多国战略的产品通常是基于全球视野和跨国合作的理念，在全球化的背景下，单一国家的力量难以应对复杂多变的经济、政治和文化环境，因此，需要多个国家共同...。
