下一代分布式AI协同合作范式 冯霁 (分布式前景)
8月7日-8月9日，2020年全球人工智能和机器人峰会（简称“CCF-GAIR 2020”）在深圳如期举办！CCF-GAIR由中国计算机学会（CCF）主办，香港中文大学（深圳）、雷锋网联合承办，鹏城实验室、深圳市人工智能与机器人研究院协办，以“AI新基建 产业新机遇”为大会主题，致力打造国内人工智能和机器人领域规模最大、规格最高、跨界最广的学术、工业和投资领域盛会。
8月9日下午，在「联邦学习与大数据隐私专场」上，创新工场南京人工智能研究院执行院长冯霁进行了题为「联邦学习：下一代分布式AI协同合作范式」的演讲。
以下是冯霁老师在大会的演讲实录，AI科技评论作了不修改原意的整理和编辑：
近几年，联邦学习技术带来了非常好的潜在商业落地场景与创业机会，创新工场AI研究院也花了许多精力去探究与联邦学习有关的商业落地以及现有的科研发展情况。
一、分布式计算
首先，我跟大家介绍一项与联邦学习有关的技术：分布式计算。
大家不妨先想想，分布式计算是怎么来的？
以上图所示自然语言处理模型的大小为例。最早的NLP模型大约有1200万个参数，截止目前为止最新的GPT-3则有1750亿个参数。不管是模型的大小还是训练集的大小，都在以接近指数级别的方式在增长。这时候，如果一台电脑没有足够大的容量处理海量数据，就需要使用分布式算法对数据进行并行处理。
假如你有超过30T的训练数据，那么我们就把这30T的数据均等地划分到100台服务器上，这样每台服务器就只占30T的1%。应用分布式计算时，每一个子节点只拥有一部分的数据，每一个子的Worker（进程）在本地进行一次梯度计算（相当于把本地所有数据扫一遍），计算出梯度之后，将计算结果传到中央服务器中，再由服务器把所有的梯度进行一遍更新。
分布式计算的特点是：这些数据只有单一拥有者，也就是说，我们看似把数据进行了某种程度上的划分，但数据的归属者只有一个。分布式并行计算的主要目的是为了提升效率。
有人会问，在分布式计算中，数据是不是没有出本地呢？确实是没有出本地，但是在以下的任务中，它和联邦学习的区别还是比较大的。
二、从分布式计算角度理解联邦学习
联邦学习刚被推出时就是分布式计算的一个变体。
在之前的范式中，worker一般分布在比较大的集群里，所有worker由一个非常高效的网络连接，worker与worker之间的通信效率非常高。但是在联邦学习中，有很多任务基本无法承担这种通信的代价。比如谷歌的手机输入法（最早的联邦学习应用）。每个人的手机可以看成是一个本地设备，如果每一次运算都要传一个梯度的信息，那么手机与云端通信的效率是非常低下的。如果在这种AI计算中用传统的分布式计算方式进行更新，效率会非常低下。
所以最早的联邦学习的第一篇算法并没有谈到同态加密，也没有谈到其他加密算法，就只是用计算来换取通信的效率。传统的分布式计算在每次进行计算时候，本地的计算节点会把所有的数据扫一遍，传一遍梯度。最早的联邦学习版本相当于是在本地让模型尽可能收敛之后，再传到中央服务器上，这样就相当于是用计算来换通信，解决了To C端联邦学习的目的。
刚才所提到的框架是分布式计算的升级版本，但仍然有许多不足。如果仅仅用计算换通信是没有办法解决一些现实问题的，比如：
1、多数据拥有者场景
当我们面临一个拥有多数据owner（拥有者）的场景，很多家医院想进行协同合作，这时候场景需要存在一个联盟激励。为什么用户要加入这个联邦学习系统中呢？这是传统的分布式计算所未曾面临的问题，因为数据的拥有者是单一的。此外，节点可能处于高度不稳定的状态。比如To C端的手机，有时候会掉线，有时候会没电，有时候压根没有计算反应。其次，计算成本非常高，尤其是To C端。也许5G的到来会缓解成本高的问题，但与传统的分布式机器学习相比，该场景的通信成本相对还是更高的。
2、数据隐私保护的要求更高
3、模型的鲁棒性/攻防安全问题
4、数据非独立同分布现象
以To C端为例，甲的手机上的图像跟乙的手机上拍的图像处于高度不平衡的状态。比如说一个男生的手机上只拍了几百张照片，一个女生的手机上可能有上万张照片。除了照片的数量，照片内容也不一样，女生可能更多是自拍或者人像，男生的照片内容则是其他。
三、研究展望
接下来分享的是我们认为在联邦学习领域值得研究的学术问题。
1、攻击防御
一个典型现象是：攻击者监听了联邦学习worker节点上中央服务器之间的信报，通过监听梯度/参数信息就可以猜出你的原始数据。这一块已经有了较为成熟的解决方案，比如同态加密、MPC、TEE等技术。但我们认为当下这些解决方案并不是最完美的，还存在计算效率不足与部署不方便等等缺陷。
上图是我们去年所做的发表在NIPS上的毒化训练，给数据下毒。数据下毒是一种非常独特的攻击方式。我们在训练集上修改肉眼不可见的扰动。如果做了相应的修改，任何的分类器经受过下毒的训练，当它看到干净的测试样板之后，基本上做出的决定都是错误的。
联邦学习的特点是：如果我们只下毒了一个或者多个参与方，有可能把整个模型进行毒化，也就是说在libConfuse算法下，我们可以通过下毒的方式攻击相关联邦学习的参与方。
如何设计一些更为鲁棒性的联邦学习算法来抵御这些攻击，是我们正在做的事情。
2、non-I.I.D非独立同分布
目前联邦学习主要有三种应用：To C、To B和To G。尤其是在To C场景中，绝大多数情况下，联邦学习的数据会随着时间的变化而变化。也就是说，你在每一个时间点获得的数据样本并不是从独立同分布中采样出来的。在传统机器学习中有一个核心的算法假设，即数据都是独立同分布的。因此，在非独立同分布的场景下，有很多经典的机器学习算法没有办法被成功应用。所以我们认为，非独立同分布如何配合联邦学习的框架是一个很重要的学术问题。
假如随着时间的迁移，每一个联邦学习的参与者所拥有的数据是不平稳的。在这种情况下，集成学习能发挥很好的作用。给大家举几个论文的例子（如上图所示）。第一篇研究是使用了对冲的方式来对冲掉非平稳序列的风险。第二篇使用了模型重用的方式，因为分布随着时间的变化而变化，这是可以利用模型重用的集成算法来调用之前的知识，进一步应对非平稳概念的迁移。
四、研究方法
目前在联邦学习或其他机器学习框架中，常见的一种算法是Gradient Boosting Machine（GBM)。
它是一类串行的计算方法，每一次训练一个分类器，第二个分类器的训练是基于第一次分类器的结果。这种模型（尤其是在表格的数据中）有非常优秀的建模结果，但还是存在许多问题：
首先，因为它是一个串行训练的过程，所以训练成本大。基于这个算法本身的性质，我们没办法将N个分类器同时并行训练。其次，XGBoost很难适应随着分布迁移而产生的跟时序数据有关的问题。最后，像XGBoost之类的算法因自身存在的弊端，难以处理高维的回归任务。比如在GitHub的页面上，不管是XGBoost还是LightGBM对高维的回归问题都没有很好的解决方案。
为此，我们最近提出Soft Gradient Boosting Machine（软梯度提升机）：
如果每一个基分类器都是可微的话，那么我们就把GBM的整个架构连接成一个可相关图，然后分别注入本地和全局的损失（两者恰好等于基分类器GBM中所对应的本地损失）。由于两个系统是可微分的，我们就可以同时训练所有分类器。第二个好处是，由于这样的更新方式可以用SGD训练，所以在适应streaming>
上图所示是相应的实验结果。大家可以看到不管是在联邦学习还是非分布式的场景下，SGB都比传统的GBM/XGBoost与联邦算法有更好的性能提升。“Federated Soft Gradient Boosting Machine for Streaming>
在分布式计算的场景下，我们也可以设计一个完全去中心化的网络拓扑结构（如下图所示）。
这就像杨强老师所说的：羊只能去邻居家吃草。在上图所示的全新架构里，只有相邻的节点之间才能交换梯度信息。如果两个节点之间没有一条边连着，那么就不可以进行通信。
从机器学习的角度来看，如果通过去中心化的网络拓扑结构来做相应的随机梯度下降，它能不能收敛？这取决于网络连接的强度。如果连接得非常稠密，它就会收敛得跟中心化的一样好。
基于这个理论保证，我们是否可以去设计一个去中心化的联邦学习架构，并将这个架构与其他一些目前比较火的技术进一步结合？
4、联盟动机的经济学分析
这是联邦学习框架区别于其他机器学习模型的地方，其中涉及到激励机制的分析。
五、总结
综上，我们认为联邦学习是一类重要的新型分布式人工智能协同合作平台，其未来潜在的研究方向包括：
1、模型安全方面的对抗攻防，比如数据下毒等等。
2、数据隐私的保护机制，比如设计除了同态加密和多方安全计算之外的隐私保护机制，以更好保护本地数据。
3、在联邦学习框架下设计能够适应非独立同分布的更好的算法。我们认为联邦集成学习也许是解决的方向之一。
4、设计新型的网络拓扑架构，比如是否存在一个更加高效的去中心化的联邦学习架构。
5、联邦学习的经济学机制。
提问：针对非独立同分布的情况，可不可以用语言信息来解决这个场景？
冯霁：这是两个范畴的知识。我认为是可以的，相当于用Mind Learning的方式去寻找一个能够适应复杂环境的更好的算法。我不用一个现有的算法去适应非独立同分布的问题，而是设计出一个算法去学习适应这个环境。我觉得这应该是能够起作用的方向。
原创文章，未经授权禁止转载。详情见 转载须知 。
本文地址： /article/e28316fa7914a69de789.html
微微二维码是专业二维码制作服务商，提供视频音频二维码生成、图片文件二维码制作、二维码表单登记系统、二维码管理系统，广泛应用于：产品宣传、企业展示、旅游、教育培训、建筑施工、生产制造、医疗卫生等领域。
王牌影院提供最全的最新电影大片，最热电视剧，韩国电视剧、香港TVB电视剧、韩剧、日剧、美剧、综艺、动漫的在线观看，无需下载即可在线免费观看的影视大全网，每天第一时间更新，欢迎影迷到本站来看最新好看的高清免费影视作品。
速球吧(suqiu8.com)免费提供最新无插件高清足球直播,NBA直播,世界杯,英超,西甲,意甲,法甲,德甲,中超,欧冠,NBA,CBA等在线高清直播信号,速球吧全心做极速稳定的体育直播网站!
合肥景迪冷暖设备有限公司致力于提供合肥中央新风系统,合肥家用中央空调,电采暖,供暖,地暧系统,全屋净水解决方案,打造业内知名的供暖品牌,价格合理,质量可靠,用户认可,欢迎新老客户咨询,合肥景迪舒适家期待与您合作!
浙江银来不锈钢有限公司专业生产不锈钢无缝管和不锈钢焊管的较大规模企业，公司的前身为行业著名的温州银山钢管有限公司，2006年在丽水市松阳县的投资办厂(浙江银来钢管有限公司),2007年又在丽水市龙泉县投资,开办浙江银隆不锈钢有限公司,现拥有丽水市松阳县和龙泉县两大无缝钢管生产基地，和温州银山钢管生产基地,有员工600多人,其中各类专业技术人员60余人，固定资产1亿多元,年产值3亿多.
中国职业规划师协会，旨在统一职业规划行业服务标准，组织职业规划师考试和认证，规范各类职业生涯规划师、人生规划师、职业规划咨询师、职业指导师的执业行为。
知创云PaaS平台系统状态页将为您呈现知创云计算系统、坚果商城、坚果知识付费、坚果小程序管理系统等服务以及PaaS平台第三方渠道的实时状态。从而让你清楚了解知创云PaaS平台的系统运行状态。
页游网是最专业的网页游戏门户网站之一，内容涵盖最新的网页游戏资讯、免费的网页游戏资料、及时准确的网页游戏开服开测信息、丰富的网页游戏礼包活动、劲爆的3D页游收录等，并致力于成为为所有网页游戏用户提供一站式服务的开放平台。
多御浏览器是一款安全、放心的极速浏览器,采用先进的安全技术,自动拦截挂马、欺诈、网银仿冒等恶意网址。多御浏览器强大,安全,人性化！安全上网,首选多御浏览器!
ThisissiteDescription
吃瓜51吃瓜网，您的娱乐八卦首选平台！我们提供最新、最热的明星绯闻、社会热点事件，以及网络热议话题。紧跟潮流，深度挖掘，为您带来独家视角和深入分析。无论是明星私生活、社会新闻还是网络趣事，51吃瓜网都能满足您的好奇心，让您在轻松愉快的氛围中享受吃瓜的乐趣。加入我们，一起探索娱乐圈的奥秘，追踪社会动态，分享网络热点，51吃瓜网，让您的每一天都充满惊喜！
查美网(chameiwang.com)美丽时尚信息查询平台,主要提供时尚搭配,微整形美容,心理健康测试,减肥瘦身,护肤产品,星座生肖,女性资讯等在线实时聚合搜索。
当你的精神压力比较大，当你的生活充满负能量时，需要选择一种正确的方式来解压，目前玩游戏就是很好的解压方式，游戏的种类极其丰富，有大型的枪战游戏，也有休闲的解压小游戏，那么休闲解压小游戏有哪些呢，在游戏领域当中，如果能正确选择一款小游戏将会让自己感受到无限乐趣，也会让生活充满阳光，小编已经为大家总结出几款小游戏，都值得大家来体验，水果切...。
2022年10月，中国智能盒子线上零售量为16.4万台，受到双十一促销时间提前的影响，量额同比均有所增长，同时，在双十一低价产品的刺激下，智能盒子市场仍表现出向高端化倾斜的趋势，线上平均成交价为234元，主攻高端市场的当贝销量同比大涨103%，智能盒子市场表现有所回升，同比连续两月增长9、10月份，智能盒子市场有所回升，连续两月实现同...。
这段时间QQ邮箱推出了基于订阅邮件的开放平台系统，它的作用和feedsky、Feedburner的RSS烧制服务类似，但feedsky经常出问题，Feedburner时不时被墙，国内唯一能让站长放心使用的RSS统计订阅工具基本没有，QQ邮箱订阅开放平台的推出可能会改变这一现状，QQ邮箱订阅开放平台也会统计订阅数据，如阅读量、评论量也能...。
雷锋网AI科技评论按，1998年11月，微软中国研究院在北京成立，2001年11月，微软中国研究院正式更名为微软亚洲研究院，MSRA，二十年发展，MSRA已经拥有近7000名院友，其中有超过200多位院友在全球顶尖高校任教，35位IEEE，ACM，AAAI院士，24位，长江学者，20多位五百强公司以及中国互联网顶尖企业CXO，CTO...。
导读，本周，美国专利局发布了6793项专利，每一项专利都为人类的知识库添加了一些新东西，遗憾的是，我们无发将这六千多个专利一一列举，所以PatentYogi团队从中选取了五个最有趣的专利，让我们来一饱眼福吧，Google的自动驾驶车将可以检测到警车专利号—US20160252905Google的自动驾驶汽车或许可以变得非常聪明，然而，...。
智能卡车这个行业一点都不卷，市场巨大无比，我们现在最要紧的问题是按期保质保量保交货，从来没担心过没客户订单，试过我们产品的客户，都提了很明确的需求，千挂科技联合创始人兼CEO丁飞在交流中表现得颇为自信，2021年7月成立，12月拿到第一轮融资，2023年12月再拿第二轮融资，期间经历自动驾驶行业遇冷，CEO离职等事件，千挂科技...。
在加盟树人托管之后，总部可以提供各个方面的经营帮扶，目前为止已经有数千家门店运营的经验，在加盟之后是可以享受总部品牌优势的，在经营各方面只需要在总部的带领之下与总部保持一致的步调，就能轻松经营成功，在加盟之后，总部可以提供系统和战略的优势，树人托管目前采用的多种托型任你选，午托、傍晚托、日托、基础晚托、精细晚托、全能晚托、周六托托乐等...。
[全球时报记者丁雅栀全球时报特约记者任重]据美国，政治资讯网，报道，随着特朗普在2024年美国总统选举中获胜，拜登政府正在加紧与英特尔、三星电子等芯片公司谈判，敲定，芯片和迷信法，中的最终协定，力争在特朗普入主白宫之前坚固这项拜登任内的标记性产业政策，思考到新旧政府将在明年1月实现交接，关于仍在谈判环节中的20多家公司来说，接上去的两...。
台风摩羯超强台风摩羯，英语，SuperTyphoonYagi，国内编号，2411，联结台风警报核心，12W，菲律宾大气地球物理和天文服务治理局，Enteng，是202......。
[全球时报特约记者王渠]因在2024美国总统大选首场电视答辩中，车祸般的体现，，现总统拜登连日来被美国各界要求退选，连独裁党大佬、美国前众议院议长佩洛西都在10日地下喊话，称，留给拜登的期间不多了，不过，拜登依然拒绝退选，第一夫人，吉尔·拜登的前资讯秘书迈克尔·拉罗萨在接受美国广播公司采访时示意，只要拜登的，小圈子，——关键由他的...。
甲壳虫作为公众汽车的经典小型车型，历经数十年的时代变迁，依然让人为之着迷，特意是关于女性车主来说，甲壳虫更是具备有限的吸引力，当天，让咱们一同来探求甲壳虫的魅力所在，1.外观甲壳虫的外观外型极端共同，只要一眼便能认出它的身影，圆润的车身、圆弧形的车窗、微翘的车头、扇形的车尾，无一不流显露浓烈的念旧气息，女性车主们喜欢甲壳虫不只仅是由于...。
胡桃日记手游是一个最新上线的拥有治愈系日系动漫画风的养成生活类休闲手游，在游戏中玩家将会扮演我们的美丽的胡桃少女开启你的花样新生活，整个游戏方法十分的有趣，并且具备了丰富的穿搭培养，小编在这里为各位朋友玩家分享了一点入门的新手教程。帮助你快速的进
vnc远程控制软件能多台客户端同时访问一台服务器吗如能怎样设置2，vncserver是通过什么形式进行监控的3，vnc登陆密码在哪设置4，linuxVNC如何让客户端连接到服务器端口只有看的权限5，vncviewer怎么用1，vnc远程控制软件能多台客户端同时访问一台服务器吗如能怎样设置客户端登录时选择viewonly选项，这样就可以同时多台电脑访问一台服务器，但只能查看，不能操作。2，vncserver是通过什么形式进行监控的VNC客户端通VNCViewer连接至VNCServer。默认端口是590
胡桃日记手游是一个最新上线的拥有治愈系日系动漫画风的养成生活类休闲手游，在游戏中玩家将会扮演我们的美丽的胡桃少女开启你的花样新生活，整个游戏方法十分的有趣，并且具备了丰富的穿搭培养，小编在这里为各位朋友玩家分享了一点入门的新手教程。帮助你快速的进
新愚公沧桑体给喜欢各种不同字体的朋友带来完全免费且具有沧桑感的中文字体，线条优美简洁大气具有浓厚的国风气息，让你的电脑字体与众不同感受不同字体的美，简单的操作方式就可以轻松替换等你来下载。新愚公沧桑体字体介绍：新愚公沧桑体是一款充满斑驳感觉的字体
是国产车，SWM斯威G01是意大利米兰设计研发核心设计团队的第一款车型，G01名目于2015年启动，2016年8月油泥模型基本实现，2017年6月左右确定全体外型，新车定位5座紧凑型SUV，外观和内饰充溢静止，箭与茅元素运行宽泛，欧洲的滋味带来新颖感，华晨鑫源，全称，华晨鑫源重庆汽车有限公司，由华晨汽车个人与西方鑫源控股公司合资，总部...。
可以买SUV，或许小型MPV，小型或中型轿车，详细要看承载人数，载物空间和用车环境，一、承载人数假设家庭成员在4人以内，那或许一辆小型或中型轿车就可以了，绝大少数的家轿都能承载5人，只是普通后排两边的位置坐着不如其它位置舒适，不过，对4口之家普通是够用的，假设家庭成员超越5位，或许可以买SUV，或许小型MPV，二、载物空间家庭用车对载...。
