为训练数据建一个TB级计算 飞地 联邦学习的靠谱实现方式了解一下 (为训练数据建模的方法)
2017 年，著名杂志《经济学人》发表封面文章称，数据已经取代石油成为当今世界最有价值的资源。在那之后，「数据是新时代的『石油』」这一说法逐渐深入人心。
图源：
五年后的今天，人们对数据的重视又上了一个新的台阶，尤其是在 AI 领域。大家普遍认为，数据的质量和规模将对 AI 的研究和落地产生重要影响。
在质量方面，吴恩达等学者提出，AI 领域正经历从「以模型为中心」到「以数据为中心」的转变。他认为，「对于很多行业来说，现在更有效率的做法是保持神经网络体系架构不变，转而寻找改进数据的方法」。为了帮助机构提升数据质量，吴恩达所在的 Landing.AI 等公司正在构建一些实用的工具。
在规模方面，AI 大厂掀起的大模型暴力美学依然占据主流，人们依然希望借助大数据、大算力探索深度学习的天花板。不过，与大模型需要的海量数据相比，单个机构所能处理的数据往往是不充分的：一是数据量不够大，二是数据的维度和来源不够丰富。为了解决这些问题，越来越多的机构开始走向多方联合的道路，希望借助多方的合力训练出更精准的 AI 模型，让数据在流通中发挥应有的价值。
联邦学习的核心思想是通过在多个拥有本地数据的数据源之间进行分布式模型训练，在不需要交换本地个体或样本数据的前提下，仅通过交换模型参数或中间结果的方式，构建基于多方数据下的全局模型，从而实现「数据可用不可见」、「数据不动模型动」。
和 2016 年谷歌刚刚提出这一概念时不同，联邦学习如今已经有了很多具体的实现路径，既有基于软件的，也有基于硬件的。其中，基于硬件的路径——主要是TEE（Trusted Execution Environment，可信执行环境）——由于可支持多层次、高复杂度的算法逻辑实现以及运算效率高等优势而受到广大企业的青睐，落地速度也在不断加快，尤其在医疗、金融等数据安全要求较高的行业。
基于TEE的医疗科研多方安全计算平台
首先来说医疗行业。AI + 医疗是一个发展较早的细分领域，但直到今天，Geoffrey Hinton 2016 年的预言——AI 将取代放射科医生——依然没有实现。在种种阻碍因素中，医疗领域的数据聚合是一个绕不开的难题，包括患者生命体征信息、疾病信息、影像检验报告、互联网诊疗记录、药品使用等各种不能离开医院的基础数据。
近几年，采用 TEE 方案的联邦学习方法在各医疗科研机构的实践中收获了良好的效果，它可以为「使用中」（即处于计算或处理中）的数据提供保护，与其他针对静态数据和传输中的数据的保护方法一起，为数据流动与共享「护航」。
三种状态下的数据保护
为了保护这些使用中的数据，TEE 会在硬件中为它们单独分配一块隔离的内存区域，所有相关数据的计算均在这块区域中进行，并且除了经过授权的接口外，硬件中的其他部分均不能访问这块隔离的内存中的信息，以此来实现隐私计算。
与一般的分布式机器学习或深度学习方案相比，联邦学习方法可以为医疗科研增添以下优势：
如果这种联邦学习方法或方案能再加上一个前缀——「基于 TEE」，那么它还会收获更多强化功能，例如它可以通过硬件环境上的隔离，使安全保护机制独立于软件应用、操作系统或硬件配置之外，使其保护的对象可以更好地应对来自硬件驱动程序、虚拟机乃至操作系统的攻击。再如，它的用途，不仅仅是可以提供数据运行态全链路的保护，来确保数据中的机密、隐私和完整性得到更强的防护，它还能对指定的应用程序或算法的代码进行同样可靠的防护；又如，它还拥有更完备的远程鉴权能力，能让相关数据和密钥的传递更为可靠；最后，相比那些非硬件加速支持的联邦学习及多方隐私计算方案，有 TEE 加持的方案，往往在兼顾安全防护能力和提升数据处理性能上有更好的表现。
正是这些优势，给了众多医疗科研机构选择基于 TEE 构建自己的联邦学习系统的理由。
以多年来一直深耕医疗 AI 与大数据技术创新的医渡云为例，这家公司基于联邦学习等隐私计算方法打造了一个多方安全计算解决方案， 自下而上包含面向院内外业务系统的数据采集系统、进行数据加工治理的专病库以及开展多方隐私计算的安全计算平台等几个部分，其中的多方安全计算平台也支持 TEE 方式进行构建。
医渡云多方安全计算解决方案整体架构
而且，他们采用的是实现 TEE 的一种主流技术——英特尔®软件防护扩展（Intel®Software Guard Extensions，英特尔®SGX）。
英特尔®SGX技术实际作用示意图
在工作时，SGX 技术会给相关数据分配一块隔离区域，也叫「飞地（Enclave）」。我们可以把它理解成一个隔离医院，但能入驻这个医院的并不是已经被感染的患者，而是那些健康群体，即需要受到严密保护的应用代码或关键数据。SGX 技术能在 CPU 的支持下，在内存等特定硬件环境中构建出这样一个飞地，让各医疗科研机构的数据分析、模型训练及推理所涉及的数据都运行在各自的飞地中，并通过访问控制为这些应用代码和数据提供更可信赖的安全保障。
这种飞地独立于操作系统、虚拟机以及 BIOS 系统之外，也就是说，即便一些比你的应用程序更底层的基础软件或系统在恶意攻击中沦陷，飞地也可以通过基于硬件的、增强型的安全防护更有效地阻断这些攻击，尽力避免其中的数据或代码被窃取或篡改。
那么，这个「飞地」有多大呢？这和你要使用的英特尔处理器的种类及型号有关。医渡云解决方案使用的是英特尔去年发布的面向单路和双路服务器的第三代至强®可扩展处理器，它已经全面内置 SGX 技术，可在双路服务器上实现最大容量为1TB的保留加密内存区域（Enclave Page Cache，EPC，单颗处理器最高支持 512GB），这对于医疗科研机构进一步扩展 AI 模型训练与推理的数据规模至关重要。
不过，如果你以为医渡云的方案仅仅是要借 SGX 技术来实现更大、更强的安全「飞地」的话，那就是小看了全新至强®可扩展处理器在 AI 实践中的价值了——它除内置有 SGX 技术外，还有来自英特尔®高级矢量扩展 512（英特尔®AVX-512）技术和英特尔®深度学习加速（英特尔®DL Boost）技术的加成，也可在兼顾更优安全能力的同时，为医渡云方案涉及的复杂计算需求提供有力支撑。
因此这款处理器在医渡云的多方安全计算解决方案中同时发挥着加固安全与提升性能的双重价值。正是得益于它带来的综合优势，医渡云已经开始支持多家医院和医疗科研机构开发一系列基于该方案的联合研究项目，同时也通过了中国信息通信研究院在隐私保护计算技术上的两项认证——《基于多方安全计算的数据流通产品技术要求与测试方法》及《基于联邦学习的数据流通产品技术要求与测试方法》。
基于TEE的多元金融大数据
隐私计算技术验证
另一个非常青睐 TEE 解决方案的是金融行业。与其他技术方案相比，以硬件为载体来为数据和代码提供安全可信环境的 TEE，在金融行业最关注的数据安全、性能以及可用性三个维度上，能取得接近「帕累托最优」的效果，因此受到较多企业的青睐。
联邦学习中不同安全隐私技术综合评估
在这个行业，企业通常需要将已有的大量 AI 应用以联邦学习模式高效、便捷地扩展到现有的分布式大数据平台上（如 Spark、Flink、Hadoop 集群）。在此过程中，他们可能会遇到一些挑战，比如如何在开展联邦学习时依然保持 AI 训练与推理的高效能？如何在应用 TEE 技术特性时做到数据的全栈可信？如何将二进制应用程序不做改动地运行在 TEE 环境中？
英特尔与中国银联电子商务与电子支付国家工程实验室组成的联合研究团队通过开源的统一大数据分析与 AI 平台——BigDL，验证了基于 TEE 的联邦学习与实时预测方案，有助于解决上述问题。
如图所示，基于英特尔®SGX 技术的 BigDL 提供了自下而上可信的安全技术、不同层面的软件框架以及用于连接大数据平台和联邦学习方法的端到端平台。
基于英特尔®SGX 技术的BigDL平台架构
我们重点来看一下安全技术层面。在这一层面，该平台通过第三代英特尔®至强®可扩展处理器集成的英特尔®SGX 技术，提供了所需的 TEE 环境；同时，还通过加入 Gramine-SGX 这样的开源 LibOS 组件，来加速既有 Al 模型或应用程序在 SGX 技术上的无缝迁移。Gramine-SGX 允许用户在不修改相应模块代码的情况下，通过系统调用的方式直接在 SGX 环境中执行，大大降低了 SGX 技术的应用门槛。同时，这一组件的加入，也使英特尔开源的 OpenVINO™工具套件和 OneDNN 等重要 Al 软件工具能够在 SGX 环境中方便地运行。
一种典型的基于英特尔®SGX-BigDL 平台的预测方案架构如下图所示，用户数据可以导入基于 Gramine-SGX 的 SGX 环境中，由 BigDL 平台负责连通和调度预测推理所需的模型库、框架和工具，在完成预测推理后，再向用户输出相应结果，中间所涉及的数据和工作流程都可获得更有效的安全保障。
典型的基于英特尔®SGX-BigDL平台的预测方案
联合团队的验证结果表明，基于英特尔®SGX-BigDL 平台部署的实时计算与预测推理方案，能在更好地保障端到端数据安全的前提下，依旧保持预期的性能。
Gartner曲线：联邦学习技术还在上升期
「为什么我们要投入联邦学习？」 中国人工智能开源软件发展联盟副理事长王健宗博士在前段时间英特尔联合国际学术期刊《Science》推出的「架构师成长计划」第二季系列课程中提出了这样一个问题。
为了解释这个问题，他向大家展示了去年的 Gartner 技术成熟度曲线。这份曲线图显示，联邦学习当前正处于高速发展期，未来将成为一项非常重要的计算技术。这也是 Gartner 首次将联邦学习纳入技术成熟度曲线。
Gartner技术成熟度曲线
在应用方面，除了我们前面提到的医疗和金融场景，王健宗还系统地总结了联邦学习在物联网、政务等领域的应用。从这里也可以看出，联邦学习技术的应用范围正在不断扩大，越来越多企业正放下顾虑，更放心地参与到共同的 AI 应用开发中来。这背后，以 TEE 为代表的安全计算实现方案功不可没。
联邦学习在行业场景中的应用
值得一提的是，王健宗早在几年前就曾带领他在平安科技的团队开始构建基于英特尔®SGX 的 TEE 联邦学习方案，也见证了这一技术地不断迭代。他对第三代至强®可扩展处理器 1TB 的 EPC 容量以及英特尔®SGX 对云边协同的支持印象深刻。他认为，在现在大家都比较重视隐私保护、数据安全的环境下，英特尔®SGX 为我们提供了一个更安全的可信计算环境。
对于联邦学习未来的发展，王健宗主要看好三个方向：自动化机器学习、零代码联邦和大规模互联互通。他解释说，联邦学习现在仍然是一个比较复杂的技术，有很多工程方面的工作。未来他希望能实现自动化机器学习，以及通过简单地拖拉拽，实现零代码的联邦学习，进而让联邦学习应用到更多对数据、代码安全性要求更高的领域。
参考链接：
更多联邦学习的研究与应用实践，欢迎扫描二维码报名课程：
版权文章，未经授权禁止转载。详情见 转载须知 。
本文地址： /article/95bc3306a870adb3f444.html
上海台益机械设备有限公司生产冷水机,上海水冷机,上海风冷式冷水机,上海水冷式、上海螺杆式冷水机、上海开放式冷水机、上海分体式冷水机产品，销售冷水机、风冷式冷水机、螺杆冷水机、开放式冷水机设备并提供完善售后服务体系。打造国内外冷水机，水冷机，风冷式冷水机，水冷式冷水机，螺杆式冷水机，开放式冷水机、分体式冷水机知名品牌企业。
彼岸图网是最早一家免费4K壁纸网站,专注提供免费4K高清壁纸,带鱼屏壁纸,4K-8K高清电脑壁纸,包含4K游戏、动漫、美女、风景、汽车、动物、背景、平板、手机等4k高清壁纸免费下载
提供新开复古传奇私服开机信息,长期以来一直得到了复古传奇私服玩家的好评！
查询您身边最专业的维修服务信息-就上搜维修网
深圳市美兰实业有限公司，专注于自动化技术在先进制造领域的跨行业应用，是领先的自动化设备及智能制造整体解决方案供应商。产品主要包括自动化检测设备和自动化装配设备、自动化设备配件、精密零部件。产品主要应用于移动终端、新能源、汽车、硬盘、医等领域或下游行业。
深圳市玻璃钢制品有限公司提供玻璃钢雕塑、设备外壳、花盆花箱、树池种植池、家具休闲座椅、不锈钢景观雕塑、商业美陈装饰等玻璃钢制品,玻璃钢厂家直销更优质的产品和更全面的服务.
长江云是湖北广播电视台打造的湖北广播电视台官方门户APP，湖北广电APP汇聚平台，湖北广电媒体融合基础和功能性产品，是湖北官方政务信息汇聚平台。
企智学院让企业培训实施和管理更高效，有效解决员工分散培训难、培训过程跟踪难、学习效果评估难等问题。创新学习培训模式，多样化的学习培训组合，满足绝大部分业务培训场景的落地。为员工提供便捷的学习渠道，可以随时随地碎片化的学习，让工作和学习时间不冲突，快速提升员工业务水平，提高企业整体运转效率。
欲打造中国构。。
河北省建筑科学研究院有限公司成立于1958年，主要从事建设领域新技术、新工艺、新材料的科学研究和技术服务工作，是集科研、技术服务与咨询、新材料研发等于一体的综合性科研单位...
找百吨折臂吊租赁选西安百盾折臂吊装,我公司专业从事起重搬运设备出租,随车吊租赁,平台升降车,吊车,叉车等吊装设备的租赁销售服务.我们拥有技术过硬,经验丰富的专业队伍,凭借着强大的运作实力,优良的服务赢得广泛的认可和信赖，欢迎致电咨询.
最好的迅雷电影下载网，分享最新电影，高清电影、综艺、动漫、电视剧等下载！
论小沈阳的顶级运营，成功凭借“美美桑内”将女儿沈佳润从韩国拉回乡村大舞台
科技集成墙板，行业中的先进央视品牌，经过多年来不断努力的发展，现已在市场上占有一席之地，有着同行不可撼动的地位，在消费者心中更是有着合格的口碑，市场的销量也是一年一年攀升，那么，科技集成墙板的智慧之选前景好不好，庞大的人口，飞快的增长速度，也让科技集成墙板蕴藏着巨大的发展空间，二胎政策的全面开放，让很多家长意识到房子小了、该翻新了，特...。
路透社4月28日消息称，尽管世界上许多强大的经济体仍然对比特币保持警惕，但地处非洲的中非共和国却宣布将比特币作为官方货币，这样的做法使这个主要出产黄金和钻石的国家的居民感到困惑的同时，也使加密货币世界感到难以置信，同时，促使国际货币基金组织对此保持谨慎，使用比特币，一种在全球计算机网络共享账本上流通的数字货币，来买卖商品和服务依赖于可...。
据台北时报报道，台积电计划在台湾省苗栗县建立一个新的高端IC封装和测试工厂，具体位置为新竹科学园区的竹南区乡段，该厂将于2021年五月竣工，并于数月后开始运营，5月12日，台积电召开公司董事会议，会议上批准了一项总值为1682亿元新台币，约400亿人民币，的支出计划，将其作为投资建厂的一部分，然而，苗栗县专员徐耀昌在Facebook上...。
从疫情初期，5G相关企业驰援火神山医院到5G云监工，显示抗疫的，中国速度，，到国家登山队登顶珠穆朗玛峰，在大本营开展云直播，甚至以前所未有的清晰信号回传珠峰的美景，成就了全球5G建设达到的最高高度，在去年6月6日国家发放4张5G商用牌照后，这一全民关注焦点正式迎来了验收成绩的时候，在近日的5G发牌一周年线上峰会上，工信部信息通信管理局...。
一加BudsPro2在1月4日和一加11一起发布，和EncoX2同款的恒玄BES2600YP芯片，48dB最大降噪深度，11mm低音单元，6mm高音单元双动圈，带丹拿信仰，LHDC5.0，128kbps，1000kbps自适应，，定价899元，首发849元，规格一加BudsPro2定价899元，和EncoX2有线充版本价格一致，，首发...。
1、梦见自己仁慈杀害很多人的吉凶指数容易完成，到达目的，境遇安固，身心健全，名利双收，威权显达，运势昌隆，大吉昌，吉凶指数，94，仅供参考，2、梦见自己仁慈杀害很多人的宜忌，宜，宜捐款，宜读小说，宜自省，忌，忌吃零食，忌批判不文化行为，忌装病，3、梦见自己仁慈杀害很多人的预兆做生意的人梦见自己仁慈杀害很多人，代表运营走下坡，必定从...。
导读，大家有没有发现很多人做某些关键的事件之前，都会翻翻黄历，看日子，，尤其是婚嫁、开土、修造更是须要选用一个好日子，图一个吉利，也更能满足人们关于未来美妙的期盼，1994年11月是个特意的月份，有不少人在关注1994年11月份黄历，以下是我带来的1994年11月黄历，蕴含1994年11月份黄历忌讳留意事项及1994年11月农历阳历表...。
雪佛兰景程一共经常使用的是两款发起机，一辆是1.8升人造吸气发起机，另外一款是2.0升人造吸气发起机，雪佛兰景程是雪佛兰旗下的一辆中型汽车，这一款车的长宽高区分是4808毫米，mm，，1807毫米，mm，，1450毫米，mm，，轴距为2700毫米，mm，雪佛兰景程的1.8升人造吸气发起机最大功率是105kw，最大扭矩为175牛米，这...。
图一的人物是**越智茜梨**，她出自里番，奸染5～TheDaybreak～下卷，，改编于同名游戏，图二的人物是**龙造寺茜**，这是游戏，少女骑士物语，中的角色，该游戏还有同名手游和动画，iphone能玩的绅士游戏有哪些，iphone可以玩的绅士游戏有开心宝贝、幻刃录、萌神战姬，1、开心宝贝，开心宝贝，是一款好玩上瘾的二次元卡牌对战手...。
使命召唤ol怎么解包？使命召唤ol解包什么意思？使命召唤ol解包代码，使命召唤ol解包教程。对于使命召唤ol游戏，解包能使玩家提前预览更多的武器和装备。对于喜欢自己手动修改来获得游戏数据的高端玩家而言，解包只是一小步，而本文将给大家带来完整的使命召唤ol解包
京麦工作台Mac版是一款针对京东商家使用的店铺运营管理平台。京麦工作台Mac版整合了京东及第三方软件服务商（ISV）优质资源，提供了更多的运营工具选择;您可以免费下载。
pc6官方下载为您提供米多客,我们的米多客客服管理系统，集成全渠道流量统计、智能工单、统计分析等功能，帮助管理者轻松完成客服管理工作，有需要的赶快下载吧,您可以免费下载。
京麦工作台Mac版是一款针对京东商家使用的店铺运营管理平台。京麦工作台Mac版整合了京东及第三方软件服务商（ISV）优质资源，提供了更多的运营工具选择;您可以免费下载。
CLOStandalone破解版是一款非常不错的三维服装设计软件，能够非常方便的进行虚拟服装设计。主要是帮助用户轻松的开始您的服装设计
离开沵俄无力承受带字符的非主流伤感网名伤感网名华丽的路过是低调的开始到最后落得如此失败的下场成年后没有成人迁就做个明媚如花的女子他们的爱情就这样破碎有些话总说不清楚丶你拿什么跟我比猪头丶随伱到天涯海角不必再解释无所谓了远远看着你幸福就好不哭不闹只要坚强我在乎你的不在乎慢慢学会承受一切离开后只能假装从容默默的守护我们的爱...
使命召唤ol怎么解包？使命召唤ol解包什么意思？使命召唤ol解包代码，使命召唤ol解包教程。对于使命召唤ol游戏，解包能使玩家提前预览更多的武器和装备。对于喜欢自己手动修改来获得游戏数据的高端玩家而言，解包只是一小步，而本文将给大家带来完整的使命召唤ol解包
