下一代分布式AI协同合作范式 冯霁 (分布式前景)
8月7日-8月9日，2020年全球人工智能和机器人峰会（简称“CCF-GAIR 2020”）在深圳如期举办！CCF-GAIR由中国计算机学会（CCF）主办，香港中文大学（深圳）、雷锋网联合承办，鹏城实验室、深圳市人工智能与机器人研究院协办，以“AI新基建 产业新机遇”为大会主题，致力打造国内人工智能和机器人领域规模最大、规格最高、跨界最广的学术、工业和投资领域盛会。
8月9日下午，在「联邦学习与大数据隐私专场」上，创新工场南京人工智能研究院执行院长冯霁进行了题为「联邦学习：下一代分布式AI协同合作范式」的演讲。
以下是冯霁老师在大会的演讲实录，AI科技评论作了不修改原意的整理和编辑：
近几年，联邦学习技术带来了非常好的潜在商业落地场景与创业机会，创新工场AI研究院也花了许多精力去探究与联邦学习有关的商业落地以及现有的科研发展情况。
一、分布式计算
首先，我跟大家介绍一项与联邦学习有关的技术：分布式计算。
大家不妨先想想，分布式计算是怎么来的？
以上图所示自然语言处理模型的大小为例。最早的NLP模型大约有1200万个参数，截止目前为止最新的GPT-3则有1750亿个参数。不管是模型的大小还是训练集的大小，都在以接近指数级别的方式在增长。这时候，如果一台电脑没有足够大的容量处理海量数据，就需要使用分布式算法对数据进行并行处理。
假如你有超过30T的训练数据，那么我们就把这30T的数据均等地划分到100台服务器上，这样每台服务器就只占30T的1%。应用分布式计算时，每一个子节点只拥有一部分的数据，每一个子的Worker（进程）在本地进行一次梯度计算（相当于把本地所有数据扫一遍），计算出梯度之后，将计算结果传到中央服务器中，再由服务器把所有的梯度进行一遍更新。
分布式计算的特点是：这些数据只有单一拥有者，也就是说，我们看似把数据进行了某种程度上的划分，但数据的归属者只有一个。分布式并行计算的主要目的是为了提升效率。
有人会问，在分布式计算中，数据是不是没有出本地呢？确实是没有出本地，但是在以下的任务中，它和联邦学习的区别还是比较大的。
二、从分布式计算角度理解联邦学习
联邦学习刚被推出时就是分布式计算的一个变体。
在之前的范式中，worker一般分布在比较大的集群里，所有worker由一个非常高效的网络连接，worker与worker之间的通信效率非常高。但是在联邦学习中，有很多任务基本无法承担这种通信的代价。比如谷歌的手机输入法（最早的联邦学习应用）。每个人的手机可以看成是一个本地设备，如果每一次运算都要传一个梯度的信息，那么手机与云端通信的效率是非常低下的。如果在这种AI计算中用传统的分布式计算方式进行更新，效率会非常低下。
所以最早的联邦学习的第一篇算法并没有谈到同态加密，也没有谈到其他加密算法，就只是用计算来换取通信的效率。传统的分布式计算在每次进行计算时候，本地的计算节点会把所有的数据扫一遍，传一遍梯度。最早的联邦学习版本相当于是在本地让模型尽可能收敛之后，再传到中央服务器上，这样就相当于是用计算来换通信，解决了To C端联邦学习的目的。
刚才所提到的框架是分布式计算的升级版本，但仍然有许多不足。如果仅仅用计算换通信是没有办法解决一些现实问题的，比如：
1、多数据拥有者场景
当我们面临一个拥有多数据owner（拥有者）的场景，很多家医院想进行协同合作，这时候场景需要存在一个联盟激励。为什么用户要加入这个联邦学习系统中呢？这是传统的分布式计算所未曾面临的问题，因为数据的拥有者是单一的。此外，节点可能处于高度不稳定的状态。比如To C端的手机，有时候会掉线，有时候会没电，有时候压根没有计算反应。其次，计算成本非常高，尤其是To C端。也许5G的到来会缓解成本高的问题，但与传统的分布式机器学习相比，该场景的通信成本相对还是更高的。
2、数据隐私保护的要求更高
3、模型的鲁棒性/攻防安全问题
4、数据非独立同分布现象
以To C端为例，甲的手机上的图像跟乙的手机上拍的图像处于高度不平衡的状态。比如说一个男生的手机上只拍了几百张照片，一个女生的手机上可能有上万张照片。除了照片的数量，照片内容也不一样，女生可能更多是自拍或者人像，男生的照片内容则是其他。
三、研究展望
接下来分享的是我们认为在联邦学习领域值得研究的学术问题。
1、攻击防御
一个典型现象是：攻击者监听了联邦学习worker节点上中央服务器之间的信报，通过监听梯度/参数信息就可以猜出你的原始数据。这一块已经有了较为成熟的解决方案，比如同态加密、MPC、TEE等技术。但我们认为当下这些解决方案并不是最完美的，还存在计算效率不足与部署不方便等等缺陷。
上图是我们去年所做的发表在NIPS上的毒化训练，给数据下毒。数据下毒是一种非常独特的攻击方式。我们在训练集上修改肉眼不可见的扰动。如果做了相应的修改，任何的分类器经受过下毒的训练，当它看到干净的测试样板之后，基本上做出的决定都是错误的。
联邦学习的特点是：如果我们只下毒了一个或者多个参与方，有可能把整个模型进行毒化，也就是说在libConfuse算法下，我们可以通过下毒的方式攻击相关联邦学习的参与方。
如何设计一些更为鲁棒性的联邦学习算法来抵御这些攻击，是我们正在做的事情。
2、non-I.I.D非独立同分布
目前联邦学习主要有三种应用：To C、To B和To G。尤其是在To C场景中，绝大多数情况下，联邦学习的数据会随着时间的变化而变化。也就是说，你在每一个时间点获得的数据样本并不是从独立同分布中采样出来的。在传统机器学习中有一个核心的算法假设，即数据都是独立同分布的。因此，在非独立同分布的场景下，有很多经典的机器学习算法没有办法被成功应用。所以我们认为，非独立同分布如何配合联邦学习的框架是一个很重要的学术问题。
假如随着时间的迁移，每一个联邦学习的参与者所拥有的数据是不平稳的。在这种情况下，集成学习能发挥很好的作用。给大家举几个论文的例子（如上图所示）。第一篇研究是使用了对冲的方式来对冲掉非平稳序列的风险。第二篇使用了模型重用的方式，因为分布随着时间的变化而变化，这是可以利用模型重用的集成算法来调用之前的知识，进一步应对非平稳概念的迁移。
四、研究方法
目前在联邦学习或其他机器学习框架中，常见的一种算法是Gradient Boosting Machine（GBM)。
它是一类串行的计算方法，每一次训练一个分类器，第二个分类器的训练是基于第一次分类器的结果。这种模型（尤其是在表格的数据中）有非常优秀的建模结果，但还是存在许多问题：
首先，因为它是一个串行训练的过程，所以训练成本大。基于这个算法本身的性质，我们没办法将N个分类器同时并行训练。其次，XGBoost很难适应随着分布迁移而产生的跟时序数据有关的问题。最后，像XGBoost之类的算法因自身存在的弊端，难以处理高维的回归任务。比如在GitHub的页面上，不管是XGBoost还是LightGBM对高维的回归问题都没有很好的解决方案。
为此，我们最近提出Soft Gradient Boosting Machine（软梯度提升机）：
如果每一个基分类器都是可微的话，那么我们就把GBM的整个架构连接成一个可相关图，然后分别注入本地和全局的损失（两者恰好等于基分类器GBM中所对应的本地损失）。由于两个系统是可微分的，我们就可以同时训练所有分类器。第二个好处是，由于这样的更新方式可以用SGD训练，所以在适应streaming>
上图所示是相应的实验结果。大家可以看到不管是在联邦学习还是非分布式的场景下，SGB都比传统的GBM/XGBoost与联邦算法有更好的性能提升。“Federated Soft Gradient Boosting Machine for Streaming>
在分布式计算的场景下，我们也可以设计一个完全去中心化的网络拓扑结构（如下图所示）。
这就像杨强老师所说的：羊只能去邻居家吃草。在上图所示的全新架构里，只有相邻的节点之间才能交换梯度信息。如果两个节点之间没有一条边连着，那么就不可以进行通信。
从机器学习的角度来看，如果通过去中心化的网络拓扑结构来做相应的随机梯度下降，它能不能收敛？这取决于网络连接的强度。如果连接得非常稠密，它就会收敛得跟中心化的一样好。
基于这个理论保证，我们是否可以去设计一个去中心化的联邦学习架构，并将这个架构与其他一些目前比较火的技术进一步结合？
4、联盟动机的经济学分析
这是联邦学习框架区别于其他机器学习模型的地方，其中涉及到激励机制的分析。
五、总结
综上，我们认为联邦学习是一类重要的新型分布式人工智能协同合作平台，其未来潜在的研究方向包括：
1、模型安全方面的对抗攻防，比如数据下毒等等。
2、数据隐私的保护机制，比如设计除了同态加密和多方安全计算之外的隐私保护机制，以更好保护本地数据。
3、在联邦学习框架下设计能够适应非独立同分布的更好的算法。我们认为联邦集成学习也许是解决的方向之一。
4、设计新型的网络拓扑架构，比如是否存在一个更加高效的去中心化的联邦学习架构。
5、联邦学习的经济学机制。
提问：针对非独立同分布的情况，可不可以用语言信息来解决这个场景？
冯霁：这是两个范畴的知识。我认为是可以的，相当于用Mind Learning的方式去寻找一个能够适应复杂环境的更好的算法。我不用一个现有的算法去适应非独立同分布的问题，而是设计出一个算法去学习适应这个环境。我觉得这应该是能够起作用的方向。
原创文章，未经授权禁止转载。详情见 转载须知 。
本文地址： https://www.gpxz.com/article/e28316fa7914a69de789.html
上海色彩得环保科技有限公司继承了总裁JohnLaithwaite先生在英国超过30年的洗涤经验，并结合了中国目前的商用洗涤设备发展趋势，打造了色彩得这一集洗涤设备销售和洗衣房运营为一体的清洁洗涤公司。
上海圣淇元网络科技工作室
润迈德医疗致力打造全球领先的
行安公司厂家提供变形缝伸缩缝，包含铝合金变形缝、不锈钢变形缝、镀锌铁皮伸缩缝等成品建筑变形缝，有屋面变形缝、外墙变形缝、内墙顶棚变形缝、楼地面变形缝，为客户提供变形缝材料生产、定制、安装与施工。
集团公司下辖江苏新扬子造船有限公司、江苏扬子鑫福造船有限公司、江苏扬子三井造船有限公司及江苏扬子江船厂有限公司4家造船企业，分布于长江下游江苏省境内的靖江市、泰兴市和太仓市的黄金水道两岸，距上海、南京两大城市均170公里。集团在上海还拥有两家船舶设计公司。集团目前总资产超过700亿人民币，占地面积500万平方米，码头岸线7000余米，职工6000余名。
枣强县盛飞复合材料有限公司是集设计、开发、制造与销售为一体的实业型企业。
福建东升鸿经营范围包含：建设工程施工:建设工程监理;建设工程设计,建设工程质量检谢,建设工程勘察,文物保护工程施工:水运工程监理;建设工程施工(除核电站建设经营、民用机场建设),建筑劳务分包,住宅室内装饰装修,地质灾害治理工程设计,地质灾害治理工程监理,地质灾害治理工程勘查,地质灾害治理工程施工;水利工程建设监理。(依法须经批准的项目，经相关部门批准后方可开展经营活动，具体经营项目以相关部门批准文件或许可证件为准)一般项目:工程管理服务,市政设施管理:园林绿化工程施工,土石方工程施工,体育场地设施工程施工;技术服务、技术开发、技术咨询、技术交流、技术转让、技术推广,信息技术咨询服务:招投标代理服务，建筑工程机械与设备租赁,水污染治理;人工造林;林业专业及辅助性活动,建筑物清洁服务,环境保护专用设备制造,环境保护专用设备销售,工程造价咨询业务,对外承包工程,建筑砌块制造。
layuimini基于layui的轻量级前端后台管理框架，最简洁、易用的后台框架模板，面向所有层次的前后端程序,只需提供一个接口就直接初始化整个框架，无需复杂操作。
爱财网|您的全方位财经资讯中心！实时股价走势、证券投资、股票市场、基金投资、期货交易，一站式满足您的投资需求。掌握市场动态，把握投资机会，成就财富增长之路！
粗来玩网页游戏平台集合了热门新开好玩的、火爆的网页版传奇,每天发布本站最新开传奇类网页游戏及好玩的传奇网页游戏排行,免费领取新手卡,还包括网页传奇最新版本的体验.当下热门网页游戏排行榜大全,是玩网页游戏的首选-粗来玩网页游戏平台.
安华鼎科技有限公司专注于专网通信，主要产品包括MSTP、MSAP、PTN、EPON、特种摄像头、综合视频监控、多媒体调度指挥系统、在线教育系统、综合辅助决策系统平台。。
首页,达一信化工有限公司
创客马拉松深圳大学站就要开始了，12月18到20日，，随着比赛的临近，报名的团队似乎也出现了焦虑的情绪，他们向硬创邦反应，，到时候完不成是不是很丢脸啊，，，如果做的惨不忍睹，求你们别报道，无颜见父母呀，，，上台展示，会不会被评委们凶哦，，，那么多开发板，不会用怎么办哟，创马比赛有严谨的规则和高水平的队伍，初次参加比赛的小伙伴紧张也是...。
雷锋网按，赋能型厂商，如果能够解决客户做生意的痛点，而非单纯是企业内部流转效率的提升，然后围绕这个目标不断构建场景、赋能场景，那么，从这个角度讲，高灯科技围绕构建的N个数字化交易鉴证场景是必然，12月9日，高灯科技宣布全新品牌战略，为数字经济构建交易鉴证场景的多边服务，对于接下来的战略发展，高灯科技联合创始人兼总裁张民遐指出三个方面，...。
设想一下，如果苹果在今年发布其首款AR头显产品，是否会有不少公共媒体会借此再次鼓吹，元宇宙，概念，彭博社记者MarkGurman对苹果AR的第一反应同样如此，不过，据MarkGurman得到的消息，苹果在内部禁止提起，元宇宙，相关概念，这并不意外，事实上，在去年9月，时代，周刊访问TimCook时，苹果方面就已将AR和元宇宙划清界限，...。
2023年高通骁龙峰会自研的OryonCPU首次亮相时，超越x86阵营里的最强者，也力压当时最强的苹果M2Max处理器，即便在x86阵营以及苹果2024款PC处理器发布之后，首代OryonCPU的性能依旧处于领先地位，让高通CEO安蒙在2024高通骁龙峰会说的，高通一直是引领无线产业的发展的公司，如今我们将高通转型为一家面向新AI处...。
申明，1.以上内容仅代表揭发者自己，不代表黑猫揭发立场，2.未经授权，本平台案例制止任何转载，违者将被清查法律责任，3.黑猫揭发处置揭发不收取任何费用，凡以黑猫揭发名义不要钱的均为混充、诈骗行为，请及时报警并与黑猫官网反应，揭发邮箱heimaotousu@vip.sina.com，4.请大家选用官网渠道处置生产纠纷，不要轻信第三方机构...。
XC903.2AT，MT油耗实在是13个，XC903.2AT，MT油耗实践是13个，团体经常使用状况，给加点分吧，哈哈沃尔沃XC903.2个别版与R，design共性静止版的差异R版有蓝色静止版仪表盘，静止版方向盘，带R，design标中网，静止版裙边，镀铬后视镜壳，255宽胎，19寸轮毂等，2.5T是直列5缸2.5排气量带涡轮增压，...。
自从别克英朗XT推出以来，就备受生产者的青眼，它将时兴设计、奢侈性能以及出色操控融为一体，遭到了不少车主的喜欢，但是，不少车主发现别克英朗XT的油耗相对较高，不由发生了一些困扰和不懂，那么，别克英朗XT油耗为什么那么高呢，上方咱们就逐一剖析，1.车重较大别克英朗XT的长宽高区分为4671mm，1800mm，1469mm，轴距为2662...。
财联社7月3日电，美国白宫发言人否定美国总统拜登思考分开总统竞选，此前，纽约时报，报道称，拜登对一位盟友说，他知道假设不能在未来几天改动群众言论，他或者就不得不分开连任竞选，另据全球网报道美媒，纽约时报，曝，拜登通知盟友，自己正掂量能否继续参选，，白宫副发言人否定[全球网报道]，拜登通知他的盟友，自己正在掂量能否继续参选，，美国，纽...。
[全球时报综合报道]，一段期间以来，比亚迪、吉利等中国自主品牌的崛起给不少本国汽车品牌带来压力，美国CNBC网站18日报道称，美银证券汽车产业剖析师约翰·墨菲今日在美国汽车媒体协会无关优惠中示意，美国底特律三巨头，即通用汽车、福特汽车和斯特兰蒂斯，应，尽快，分开中国市场，他同时正告说，美国三大车企须要采取更严峻的措施增添开销，尤其是...。
CHE168，原名，二手车之家，，自2011年10月18日起专一于二手车业务，努力于打造专业的互联网汽车媒体，这家成立于2004年5月的平台，一直保持，恢复理想假相，的准则，以，专业视角，为外围，深化开掘品牌和产品的价值，其服务笼罩用户购车的全周期，从看车、选车到买车、用车，为用户提供最专业和牢靠的购车指点，在过去的6年里，CHE16...。
宏杰文件夹加密软件是一款永久免费、非常优秀的、专业的文件和文件夹加密软件。永久免费、没有任何使用限制的加密软件。绝不是简单的隐藏文件夹！！！
浏览器专题,提供浏览器的相关文章和相关资讯,在本栏目你可以看到浏览器这个内容的相关各类文章很多篇,如有不足请提供给我们更多浏览器的文章供大家查阅.
最近有一些小伙伴想找一些特殊的跑酷游戏来玩，就想知道老奶奶跑酷游戏下载安装2022在哪可以找到，其实游戏的名字是跑酷老奶奶，这款游戏趣味横生，的确是一款别具一格的跑酷游戏，对游戏感兴趣的小伙伴可以来九游预约下载，等它上线的时候就能体验了，跑酷老奶奶2022最新下载地址手机扫码下载普通下载安全下载它的不同之处在于是横屏来跑酷的，这样小伙...。
与人类一样，AI也学会了，察言观色，有研究表明，人类在相似的社会环境下表达情感的面部表情几乎是相同的，如果一个人皱眉、嘟嘴、脸色涨红，你一定知道TA是在生气，现在AI同样能够，看穿，这一点，情感分析一直是AI的重点研究方向，它分为文本识别、语音识别、视觉识别三种主要途径，后者也就是面部表情的分析，最近这项研究又有了新的进展，在识别生气...。
7月15日，通用机器人初创公司逐际动力，LimXDynamics，宣布完成A轮战略融资，本轮融资由招商局创投、上汽集团旗下私募股权投资平台尚颀资本领投，峰瑞资本、绿洲资本和明势资本等老股东持续加码，值得一提的是，由阿里巴巴、淘宝、天猫等共同持股的杭州灏月企业管理有限公司也参与了本轮投资，意味着阿里巴巴在机器人领域的又一布局，据了...。
新一轮助企惠民补贴来了，为更好地统筹推进疫情防控和经济社会发展，确保，稳增长、惠民生，，最大限度减少疫情带来的负面影响，深圳市推出了包括派发消费券、减税费、减房租等在内的补贴帮扶政策，以超常规的举措提振市场主体信心，微信支付作为腾讯数字化助手的代表，充分发挥自身在衔接政府扶持资金发放、用户群体广泛、商户覆盖多样的优势，持续支持地方政府...。
下载完成后，将安装包复制到U盘，在电视的，应用，标签页找到，应用管理，将U盘插到夏普UPro系列电视上，会弹窗提示，发现新外接设备，，选择，立即打开，在，U盘，标签页点击，应用，，找到当贝市场安装包，进行安装即可，当贝市场安装好之后，就可以随意在里面安装你需要的第三方点播、游戏、工具等应用，例如，哈趣影视、当贝酷狗音乐、当贝投屏等...。
