机器学习的重新思考 人工智能如何学习 失忆

文章编号:41075 最新资讯 2024-12-03 失忆 数据训练 学习 机器学习

机器学习的重新思考:人工智能如何学习“失忆”?

机器学习已经成为各行各业的宝藏工具,常被用来构建系统,帮助人们发现那些容易忽略的细节,并辅助决策。尽管已经取得了惊艳的结果,但是也有很多痛苦,例如如何在已经成型的模型中修改、删减某些模块或者数据记录?

有学者表示,在大多数情况下,修改往往意味着重新训练,但仍然无法避免纳入可疑数据。这些数据可能来自系统日志、图像、客户管理系统等等。尤其是欧洲GDPR出台,对模型遗忘功能提出了更高的要求,企业如果不想办法将会面临合规处罚。

确实,完全重新训练的代价比较高,也不可能解决敏感数据问题。因此,我们无法证明重新训练的模型可以完全准确、有效。

为了解决这些问题,学者们定义了一种 “机器学习解除术” (Machine unlearning),通过分解数据库、调整算法等专门技术,诱导模型选择性失忆。机器学习解除术,顾名思义,就是让训练好的模型遗忘掉特定数据训练效果/特定参数, 以达到保护模型中隐含数据的目的。



打破模型

机器学习之所以有魅力,是因为它能透过庞大的数据,超出人类认知范围的复杂关系。同时,这项技术的黑盒性质,让学者在修改模型时候,非常谨慎,毕竟无法知道一个特定的数据点处在模型的哪个位置,以及无法明确该数据点如何直接影响模型。

当数据出现异常值时,模型会记得特别牢,并对整体效果产生影响。

当前的数据隐私工具可以在数据脱敏的情况下训练模型,也可以在数据不出本地的情况下联合训练。或许可以将敏感数据替换成空值,引入噪声掩蔽敏感数据。但这些都无法从根本上解决问题。甚至,替代元素并保留关键数据的差异隐私技术也不足以解决选择性遗忘问题。例如它只能在单个案件或少数几个案件中发挥作用,在这些案件中,虽然不需要重新训练,但会有“敏感”的人要求从数据库中删除数据。随着越来越多的删除请求陆续到来,该框架的“遗忘模型"很快就会瓦解。

因此,隐私技术和机器学习解除术在解决问题的层面,并不能等同。

匿名无法验证和差分隐私技术的数据删除问题不仅是理论问题,而且会产生严重的后果。研究人员已经证明, 人们总是有能力从所谓的通用算法和模型中提取敏感数据。 例如2020年时候,学者发现,从GPT-2中可以获得包括个人身份和受版权保护的信息等训练数据。

机器学习的重新思考:人工智能如何学习“失忆”?




选择性遗忘

让机器学习模型获得选择性遗忘的能力,需要解决两个关键问题:

1.理解每个数据点如何机器学习模型;

2.随机性如何影响空间。例如需要弄清,在某些情况下,数据输入中相对较小的变化为何会产生不同的结果。

该方向的最初研究出现在在2019年。当时,Nicolas Papernot提出将机器学习的数据分割成多个独立的部分,通过建立众多的迷你数据,从而实现只对特定组件进行删除和再训练,然后插回完整的数据集中,生成功能齐全的机器学习模型。

机器学习的重新思考:人工智能如何学习“失忆”?

具体操作过程是:先将训练数据分成多个不相交的切片,且一个训练点只包含在一个切片中;然后,在每个切片上单独训练模型;随后,合并切片,成功删除数据元素。因此,当一个训练点被要求遗忘时,只需要重新训练受影响的模型。由于切片比整个训练集更小,就减少了遗忘的代价。

该方法被Nicolas Papernot命名为(Sharded, Isolated, Sliced, and Aggregated ),对比完全重训练和部分重训练的基线, SISA实现了准确性和时间开销的权衡。在简单学习任务中, 在数据集Purchase上是4.63x, 在数据集 SVHN上是2.45x。

同时,作者也承认,虽然这个概念很有前途,但也有局限性。例如,通过减少每个切片的数据量,会对机器学习产生影响,并且可能会产生质量较低的结果。此外,这项技术并不总是像宣传的那样奏效。

目前,机器学习遗忘术的研究仍处于初级阶段。随着研究人员和数据科学家深入了解删除数据对整体模型的影响,成熟的工具也会出现, 其目标是:机器学习框架和算法允许学者删除一条记录或单个数据点,并最终得到一个“完全遗忘“相关数据的有效模型。

机器学习的重新思考:人工智能如何学习“失忆”?

版权文章,未经授权禁止转载。详情见 转载须知 。

机器学习的重新思考:人工智能如何学习“失忆”?


本文地址: /article/394e960fdc87747ca590.html
全局中部横幅
全局中部横幅
帮助所有企业网上谈生意-华尔网

华尔网可以免费帮企业开通一个二级域名网站,免费发布500条产品信息,想要获取海量生意商机,产品就上华尔网.

厦门市纵格广告有限公司

厦门市纵格广告有限公司--自创立起,纵格广告秉持“纵揽品质,格见非凡”的理念,以初心为舵、匠心为帆。立足人文与创新交融的厦门,我们将传统文化与现代设计深度结合,以创新为驱动,坚守品质。从鹭岛出发,迈向粤港澳大湾区,走向世界,在广告创意的浪潮中奋勇前行,志在成为具有影响力的广告公司。

hao123导航-上网从这里开始

hao123是汇集全网优质网址及资源的中文上网导航。及时收录影视、音乐、小说、游戏等分类的网址和内容,让您的网络生活更简单精彩。上网,从hao123开始。

沙河市人民政府

沙河市政府,沙河市门户网站,沙河市政府网站,沙河市,沙河市门户

东方财富吧-专注于财经资讯与股市分析的财经网站

东方财富吧是一家专注于提供最新财经资讯和深度股市分析的财经网站。我们汇集了全球领先的财经专家,为读者提供权威且及时的股市信息和投资指导。在东方财富吧,您可以获取到详实可靠的股票行情、独家解读以及个股分析,助您把握市场脉搏,做出明智的投资决策。我们还提供财经热点追踪、行业动态报道等内容,帮助您更好地了解经济形势和市场趋势。立即访问东方财富吧,拓宽您的财经视野,实现财富增值。

萤石官方网站 - 智慧生活守护者

萤石构建“2+5+N”产品生态体系,聚焦智能视频及视觉技术,以萤石云+AI双核驱动,搭载智能家居摄像机、智能入户、智能控制、智能服务机器人、智能穿戴五类自研硬件,开放接入环境控制等子系统,实现家居及周边场景的全屋智能化。

颗粒度传感器-金属磨损传感器-金属磨粒监测-西安正天

西安正天科创测控技术有限公司(www.xaztkc.com)是金属磨损传感器,颗粒度传感器,油液品质在线监测系统,油液品质传感器,金属磨粒监测厂家,公司已经通过ISO9001质量体系认证,相关产品已通过CE认证,而且以机械设备健康监测与管理为发展重心,欢迎来电洽谈交流

球磨机配件_烘干机配件_回转窑配件_球磨机小齿轮_球磨机大齿轮-巩义市兴农机械制造公司

巩义市兴农机械制造公司是一家集科研、生产、制造于一体的生产厂家,产品配件齐全,有球磨机配件,烘干机配件,回转窑配件,球磨机小齿轮,球磨机大齿轮,钢球,钢段,球磨机衬板等等,欢迎新老客户咨询

带式压滤机_带式污泥压滤机_带式污泥脱水机_压滤机厂家就选广州绿鼎

广州绿鼎环保-压滤机厂家专业生产带式压滤机、污泥压滤机、污泥脱水机并且研发出适合市场需要的沙场、矿山、化工厂、市政污水站、河道淤泥清理等型号带式压滤机,广州绿鼎环保设备深受用户好评。

四川铁鹰机械制造有限公司_破碎机_振动分筛机_振动喂料机_制砂机系列

四川铁鹰机械制造有限公司主要产品有铁鹰牌:齿辊破碎机、欧版颚式破碎机、NPT欧版反击式破碎机、复合弹簧圆锥式破碎机系列、单缸、多缸液压圆锥式破碎机系列、立式冲击破碎机系列、冲击式制砂机系列、移动破碎站、振动喂料机系列、振动分筛机系列、高耐磨合金铸件系列等300余个品种。

液压油压机维修-液压设备维修-液压站维修-液压油缸维修-液压打包机维修-液压货梯维修

公司主营业务:液压站维修.液压油缸设计与制造;大型液压机械设计与制造;液压高压油管.液压元件销售;液压设备维修、保养、大修、现场应急产品和再制造。联系电话:19921066962

山东军高过滤材料有限公司-KOPU系列玻纤滤材-MEPU(美谱)系列玻纤滤材

山东军高过滤材料有限公司,是一家空气过滤材料专业制造商,主要产品为一般通风袋式过滤器所用滤材。产品主要有:带预过滤层、操作友好的KOPU(靠谱)系列玻纤滤材、传统玻璃纤维毡,MEPU(美谱)系列玻纤滤材、适合新国际标准ISO16890的滤材、带活性炭的滤材,等等。

全局底部横幅