大数据背景下的最佳异常检测算法 孤立森林 (大数据背景下财务会计的转型与发展)
双语原文链接： Isolation Forest is the best Anomaly Detection Algorithm for Big>"iForest" 是一个优美动人，简洁优雅的，只需少量参数就可以检测出异常点。原始论文中只包含了最基本的数学，因而对于广大群众而言是通俗易懂的。在这篇文章中，我会总结这个算法，以及其历史，并分享我实现的代码来解释为什么是现在针对而言最好的异常检测算法。
为什么iForest是现在处理大数据最好的异常检测算法
总结来说，它在同类算法中有最好的表现。在多种数据集上的表现和精确度都比大多数其他的异常检测算法要好。我从的作者们那里取得了基准数据，并在中逐行使用绿红梯度的条件格式化。用深绿色来标识那些在这个数据集上有最好的表现的算法，并用深红色来标识那些表现得最差的：
绿色表示好而红色表示差。我们看到在很多的数据集以及总体的角度上是领先的，正如平均值，中位数，标准差的颜色所表示。图源：作者。数据源：
我们看到在很多的数据集上以及总体上的表现是领先的，正如我计算出来的平均值，中位数，标准差的颜色所表示的一样。从（最重要的项指标的准确度）的表现来看也能得出同样的优秀结果。
图源:author.Data
源:
可扩展性。以它表现出来的性能为标准而言是最快的。可以预料到的是，和基于频数直方图的异常点检测算法（）在所有的数据集上都有更快的速度。
近邻算法（）则要慢得多并且随着数据量变多它会变得越来越慢。
我已经成功地在一个包含一亿个样本和三十六个特征的数据集上构建出孤立森林，在一个集群环境中这需要几分钟。而这是我认为的算法没办法做到的。
图源:author.Data
源:
要点/总结
我通过下面的综述来非常简洁地总结原来有10页内容的论文：
孤立树节点的定义：T或是一个没有子节点的叶子节点，或者是一个经过检验的内部节点，并拥有两个子节点（Tl，Tr）。我们通过递归地进行下述过程来构造一棵iTree：随机选择一项特征q和一个分割值p来划分X，直到发生下列情形之一为止：（i）树到达了限制的高度，（ii）所有样本被孤立成一个只有他们自己的外部节点，或者（iii）所有数据的所有特征都有相同的值。
路径长度：一个样本x的路径长度h（x）指的是从iTree的根节点走到叶子节点所经历的边的数量。E（h（x））是一组孤立树的h（x）的平均值。从这个路径长度的平均值，我们可以通过公式E（h（x））：s（x，n）= 2^[^[− E（h（x）） / c（n）]来得到一个异常分数s（x，n）。基本上，s和E（h（x））之间存在一个单调的关系。（想知道细节的话请查阅文末的附录，有一张图描述了他们之间的关系）。这里我不会讨论c（n），因为对于任意给定的静态数据集而言它是一个常数。
用户只需要设置两个变量：孤立树的数量和训练单棵树的子采样大小。作者通过对用高斯分布生成的数据做实验来展示了只需要少量的几棵树和少量的子采样数量就可以使平均路径长度很快地收敛。
小的子采样数量（抽样的抽样）解决了和问题。造成这两个问题的原因是输入的数据量对于异常检测这个问题来说太大了。是指由于某个正常的样本点被异常点所包围而被错误地标注为异常，则是相反的情况。也就是说，如果构建一个树的样本中有很多异常点，一个正常的数据点反而会看起来很异常。作者使用乳房线照相的数据来作为这个现象的一个例子。
小的子采样数量使得每一棵孤立树都具有独特性，因为每一次子采样都包含一组不同的异常点或者甚至没有异常点。
不依赖距离或者密度的测量来识别异常点，因此它计算成本低廉且有较快的速度。这引出了下一个议题。
线性的时间复杂度，（）。不正规地说，这意味着运行时间随着输入大小的增加最多只会线性增加。这是一个非常好的性质：
历程
见多识广的读者应该知道一个优秀的新想法出现与它的广泛应用之间可能会有数十年之久的间隔。例如，逻辑函数在年被发现，在年被重新发现（更多信息可参考）而到如今才被数据科学家频繁地用于逻辑回归。在最近几十年，一个新想法和它被广泛应用的间隔时间已经变得更短了，但这仍然需要一段相对较为漫长的时间。最先在年公开，但直到年后期才出现了可行的商业应用。 这是其时间线：
12/2008 -iForest的原始论文发布(论文)
07/2009 -iForest的作者们最后一次修改其代码实现(代码)
10/2018 -h2o小组实现了版和R版的iForest(代码)
01/2019 -PyOD在Python上发布了异常检测工具包(代码,论文)
08/2019 -Linkedln 工程小组发布了 iForest的Spark/Scala版本实现(代码,通讯稿)
代码实现
由于这篇文章是关于的，我采用了的集群环境。这里省略的大部分的脚手架（软件质量保证和测试之类的代码）的代码。如果在配置集群环境中需要帮助，可以参考我的文章：如何为搭建高效的
集群和
我发现能很轻易且快捷地处理万行，个特征的数据，只需几分钟就完成计算。
| importh2o#h2oAutomateddatacleaningwellformydatasetimportpkg_resources###################################################################printpackages+versionsfordebugging/futurereproducibility###################################################################dists=[dfordinpkg_resources.working_set]#Filteroutdistributionsyoudon'tcareaboutanduse.dists.reverse()dists###################################################################initializeh2oclusterandloaddata##################################################################h2o.init()#importpyarrow.parquetaspq#allowloadingofparquetfilesimports3fs#forworkinginAWSs3s3=s3fs.S3FileSystem()df=pq.ParquetDataset('s3a://datascience-us-east-1/anyoung/2_processedData/stack_parquetFiles',filesystem=s3).read_pandas().to_pandas()#checkinputdataloadedcorrectly;prettyprint.shapeprint('('+';'.join(map('{:,.0f}'.format,df.shape))+')')#ifyouneedtosampledatadf_samp_5M=df.sample(n=5000000,frac=None,replace=False,weights=None,random_state=123,axis=None)#convertPandasDataFrameobjecttoh2oDataFrameobjecthf=h2o.H2OFrame(df)#dropprimarykeycolumnhf=hf.drop('referenceID',axis=1)#referenceIDcauseserrorsinsubsequentcode#youcanomitrowswithnasforafirstpasshf_clean=hf.na_omit()#prettyprint.shapewiththousandscommaseparatorprint('('+';'.join(map('{:,.0f}'.format,hf.shape))+')')fromh2o.estimatorsimportH2OIsolationForestEstimatorfromh2o.estimatorsimportH2OIsolationForestEstimatorfullX=['v1','v2','v3']#splith2oDataFrameinto80/20train/testtrain_hf,valid_hf=hf.split_frame(ratios=[.8],seed=123)#specifyiForestestimatormodelsisolation_model_fullX=H2OIsolationForestEstimator(model_id="isolation_forest_fullX.hex",seed=123)isolation_model_fullX_cv=H2OIsolationForestEstimator(model_id="isolation_forest_fullX_cv.hex",seed=123)#trainiForestmodelsisolation_model_fullX.train(training_frame=hf,x=fullX)isolation_model_fullX_cv.train(training_frame=train_hf,x=fullX)#savemodels(haven'tfiguredouthowtoloadfroms3w/opermissionissuesyet)modelfile=isolation_model_fullX.download_mojo(path="~/",get_genmodel_jar=True)print("Modelsavedto"+modelfile)#predictmodelspredictions_fullX=isolation_model_fullX.predict(hf)#visualizeresultspredictions_fullX["mean_length"].hist() |
如果你使用来验证你的带标签数据，你可以通过比较数据集中的正常数据的分布，异常数据的分布，以及原来数据集的分布来进行进一步推理。例如，你可以查看原本数据集中不同的特征组合，像这样：
| N=df.count()df[['v1','v2','id']].groupby(['v1','v2']).count()/Ndf[['v1','v3','id']].groupby(['v1','v3']).count()/N... |
并与使用得出的正常异常数据集进行比较。正如下面所展示的这样：
| ###################################################################columnbindpredictionsfromiForesttotheoriginalh2oDataFrame##################################################################hf_X_y_fullX=hf.cbind(predictions_fullX)###################################################################Sliceusingabooleanmask.Theoutputdatasetwillincluderows#withcolumnvaluemeetingcondition##################################################################mask=hf_X_y_fullX["label"]==0hf_X_y_fullX_0=hf_X_y_fullX[mask,:]mask=hf_X_y_fullX["label"]==1hf_X_y_fullX_1=hf_X_y_fullX[mask,:]###################################################################Filtertoonlyincluderecordsthatareclearlynormal##################################################################hf_X_y_fullX_ml7=hf_X_y_fullX[hf_X_y_fullX['mean_length']>=7]hf_X_y_fullX_0_ml7=hf_X_y_fullX_1[hf_X_y_fullX_0['mean_length']>=7]hf_X_y_fullX_1_ml7=hf_X_y_fullX_3[hf_X_y_fullX_1['mean_length']>=7]###################################################################ConverttoPandasDataFrameforeasiercounting/familiarity##################################################################hf_X_y_fullX_ml7_df=h2o.as_list(hf_X_y_fullX_ml7,use_pandas=True)hf_X_y_fullX_0_ml7_df=h2o.as_list(hf_X_y_fullX_0_ml7,use_pandas=True)hf_X_y_fullX_1_ml7_df=h2o.as_list(hf_X_y_fullX_1_ml7,use_pandas=True)###################################################################LookatcountsbycombinationsofvariablelevelsforInference##################################################################hf_X_y_fullX_ml7_df[['v1','v2','id']].groupby(['v1','v2']).count()hf_X_y_fullX_0_ml7_df=h2o.as_list(hf_X_y_fullX_0_ml7,use_pandas=True)...#Repeataboveforanomalousrecords:###################################################################Filtertoonlyincluderecordsthatareclearlyanomalous##################################################################hf_X_y_fullX_ml3=hf_X_y_fullX[hf_X_y_fullX['mean_length']<3]hf_X_y_fullX_0_ml3=hf_X_y_fullX_1[hf_X_y_fullX_0['mean_length']<3]hf_X_y_fullX_1_ml3=hf_X_y_fullX_3[hf_X_y_fullX_1['mean_length']<3]###################################################################ConverttoPandasDataFrameforeasiercounting/familiarity##################################################################hf_X_y_fullX_ml3_df=h2o.as_list(hf_X_y_fullX_ml3,use_pandas=True)hf_X_y_fullX_0_ml3_df=h2o.as_list(hf_X_y_fullX_0_ml3,use_pandas=True)hf_X_y_fullX_1_ml3_df=h2o.as_list(hf_X_y_fullX_1_ml3,use_pandas=True) |
我完整地实现了上面的代码并把我的数据输出到中，很快就可以得到如下的一些累积分布函数：
图源：作者自己的作品。绿线表示标识为的数据，即正常样本红线
代表的是标识为的样本，被认为有可能是异常的。
参考文献
AI研习社是AI学术青年和AI开发者技术交流的在线社区。我们与高校、学术机构和产业界合作，通过提供学习、实战和求职服务，为AI学术青年和开发者的交流互助和职业发展打造一站式平台，致力成为中国最大的科技创新人才聚集地。
如果，你也是位热爱分享的AI爱好者。欢迎与译站一起，学习新知，分享成长。
版权文章，未经授权禁止转载。详情见 转载须知 。
本文地址： /article/a425dc76926f0446d6f0.html
唐山铭丰家具厂,唐山家具厂,唐山家具公司,
最好用的第四方支付系统
工具导航地图。
app下载、手游排行榜--iu9软件商店：app大全免费下载大全网站
理想作文网_专业提供各种优质教学文档,学习文档,优秀作文,经典美文,毕业论文,职场文档,古诗文,实用文,个人工作总结范文等优质文章内容资源文档。
合肥辰泰机电设备有限公司主要从事国内进口安全阀,液压安全阀,弹簧安全阀,安全阀厂家,气动电磁阀,液压电磁阀,高压电磁阀,液压泵,气动液压泵,电动液压泵,进口液压泵,轶诺硬度测量仪,齿涡轮减速机产品服务；作为一家提供工业用品的MRO服务商，我们追求成为具有创意及活力的企业，具有社会责任感的企业公民，并在所服务的市场中成为倍受推崇的供应商。
隆华企业是由北京隆华时代文化发展有限公司、山东隆华文化发展有限公司所组成，是集科研开发、生产、工程设计及安装、调试、产品销售和代理经销国际知名品牌为一体的综合性企业。为了更好的服务运营山东市场，2011年公司开设山东隆华文化发展有限公司和北京隆华时代文化发展有限公司烟台分公司。
深圳市天翼恒科技有限公司专业从事关于电极片,电极贴片,理疗电极片等相关产品的生产与制造，是知名的电极线厂家，电极片厂家。我们在理疗电极片制作方面拥有较高的生产经验,欢迎广大客户前来参观咨询，电话：18820915234
马可波罗（www.makepolo.com）是全球最大、最专业、最精确的采购搜索引擎，是一家以采购需求为导向，通过深度数据挖掘匹配、人工智能干预筛选，使采购人员能在最短的时间内找到他们所需要的有价值信息。从而较大地提高了工作效率，使采购人员在最短的时间内以最低的成本，采购最好的产品及服务。
尚泰装饰公司是深圳专注办公室装修前十的装修公司,可以为客户提供办公装修,写字楼装修,办公空间设计,并且可以提供装修公司报价明细表和装修效果图片大全供客户参考.报价合理,风格多样,并且累积了大量豪华有创意的风格装饰效果图,办公室装修推荐尚泰装饰集团!
佛山艺卡涂装科技有限公司专注于艺术涂料研发、生产和销售。总部设立在国家历史文化名城的佛山。三十多年专业经验，强势推出“菲尼斯”品牌，构建直营、加盟、工厂和海外大宗业务四大体系。巨资引进德国、意大利设备开启智造时代。
龙迅会员管理系统2009年推向市场，包括美业管理，会员管理，马场预约管理，微商城，小程序商城，大闸蟹提货系统，自助提货系统，提货系统，提货软件，微信公众号提货系统，二维码提货系统，卡券提货系统，另外还提供免费设计提货卡，二维码提货券设计印刷。
今天要为大家带来的是模拟农场手游大全有哪些2024，以其宁静的乡村风光和深度的策略玩法吸引着广大玩家群体，玩家在这个虚拟的农业世界里扮演农场主，从基础的土地耕作开始，逐步扩展自己的农田，种植各式作物，养殖动物，甚至进行产品加工和贸易，游戏中的季节更替和天气变化增添了运营的复杂性，同时也丰富了玩家的体验，通过精心规划农场布局，玩家能够优...。
雷锋网按，2020年8月7日，8月9日，2020第五届全球人工智能与机器人峰会，CCF，GAIR2020，于深圳正式召开，峰会由中国计算机学会，CCF，主办，雷锋网、香港中文大学，深圳，联合承办，鹏城实验室、深圳市人工智能与机器人研究院协办，得到了深圳市政府的大力指导，旨在打造国内人工智能领域极具实力的跨界交流合作平台，是国内人工智能...。
9月14日，第三届中国仿真技术应用大会暨中关村数字化创新国际论坛在北京市石景山区顺利开幕，工信部、科技部、教育部、北京市、中关村发展集团、石景山区有关领导及来自国内外数字经济、运载装备、智能制造、工业软件、工业互联网等相关领域企业、高校、科研院所的近400名领导、专家、科技工作者出席，中国工程院院士谭建荣，中国工程院院士李伯虎，中国企...。
过去几十年间，英特尔凭借摩尔定律和先进半导体制程持续引领行业的发展，但摩尔定律的放缓以及在10纳米制程上的一再延期让许多人对英特尔的领导力失去了信心，英特尔新任CEOPatGelsinger也说，英特尔需要加速创新的节奏，不过，英特尔在先进制程上不被看好还有一个关键原因就是节点命名，因此，继今年三月宣布IDM2.0计划之后，英特尔今天...。
创维Q53L电视安装第三方软件最新通用教程分享，下面为大家分享创维Q53L电视最新安装第三方软件通用教程具体方法如下，方法一，01、下载安装当贝市场到U盘，下载安装地址，点击这里安装打开创维Q53L电视，在电视主页，用遥控器往上移，找到设置03、在，设置，里面找到本机，进入找到本机信息，打开更多信息04、在下图界面中，用遥控器依次点击...。
距离商家最新回复曾经30团体造日，时期用户未做进一步操作，系统已智能变卦为，已实现，形态，如对企业处置结果有异议，可从新动员揭发，已暗藏内容一个个别水龙头，家里刚装修，有徒弟在，基本不会想太多说须要咨询店家上来装置，由于上来装置都是须要收取上门服务费的，卫生间先实体店买的九牧产品，装置经常使用后感觉不错，刚好网上有优惠才想网上换个厨房...。
中国海警局资讯发言人甘羽示意，7月7日，依据菲律宾无关方面恳求，中方基于人道主义思考，准许菲从合法，坐滩，军舰后送一名生病人员，中国海警依法对菲方执行全程启动监视查证，菲无关方面罔顾理想、恶意炒作，蓄意误导国际认知，中国对包含仁爱礁在内的南沙群岛及其左远海域领有无可辩论的主权，中国海警将依法在中国管辖海域继续展开维权执法优惠，波动保养...。
车标是两个星星的车型是国产汽车赛豹，哈飞赛豹，哈飞汽车股份有限公司是我国大型汽车企业之一，附属于中国长安汽车团体，这款车的标记设计精巧，驳回了环球驰名汽车设计公司意大利宾尼法瑞那公司的设计，车身上动感流利，内饰则以跑车式的彩色基调为主，十分粗劣好看，赛豹V系搭载了三菱技术的1.8升4G93发起机，具有双顶置凸轮轴，是一款性能出色的车...。
夏季汽车防自燃的适用战略1.关注易燃部件的保养在炎炎夏日，奇瑞A1汽车的车内橡胶件和塑料件因高温易老化开裂，或者引发短路，对行车安保造成要挟，因此，活期审核并及时改换磨损的部件至关关键，这有助于缩小自燃危险，确保车辆反常运转，2.注重驱动油的保养高温下，驱动油易挥发，加剧整机磨损，电路疑问频发，自燃危险也随之升高，活期审核驱动油的形态...。
很多网友想知道女生说自己dcb是什么意思？dcb是什么身材呢？今天小编就给大家分享一下女生说自己dcb含义出处分享，感兴趣的小伙伴一起看看吧。
藏宝专题,提供藏宝的相关文章和相关资讯,在本栏目你可以看到藏宝这个内容的相关各类文章很多篇,如有不足请提供给我们更多藏宝的文章供大家查阅.
腾讯软件中心提供2022年最新0.0.3.57官方正式版QQ三国高速下载，本正式版QQ三国软件安全认证，免费无插件。
2020年重庆分类目录网增加提交内容自动过滤、收录网址状态自动判断功能等功能。同时也增加判断对方网址主页是否含有违规内容！
重庆分类目录网站收录教育培训相关的优秀网站大全分类检索，为上网用户提供教育培训网站排行榜与您分享、收藏！
腾讯软件中心提供2022年最新0.0.3.57官方正式版QQ三国高速下载，本正式版QQ三国软件安全认证，免费无插件。
2021年，暗黑不朽手游将正式上线，这款游戏由知名游戏开发商BlizzardEntertainment开发，属于经典的动作RPG类游戏，玩家将在游戏中体验到激烈的战斗，令人惊叹的场景，以及丰富的游戏内
藏宝专题,提供藏宝的相关文章和相关资讯,在本栏目你可以看到藏宝这个内容的相关各类文章很多篇,如有不足请提供给我们更多藏宝的文章供大家查阅.
