Kaggle 面向 解决特征工程与验证两大难题 nyaggle 附代码 和离线比赛实用工具库 (kaggle官网)

在大多数机器学习竞赛中,特诊工程的质量通常决定着整个作品的得分与排名,也是参赛者们非常看重的一部分。在 GitHub 上,作者 Nomi(专注于计算机视觉与嵌入式技术,也是 Tiny-dnn 的原作者)向我们介绍了一个面向 kaggle 数据科学和离线竞赛的实用工具库 nyaggle,可供开发者专用于特征工程与验证。

面向 Kaggle 和离线比赛实用工具库 nyaggle,解决特征工程与验证两大难题(附代码)

在机器学习和模式识别中,特征工程的好坏将会影响整个模型的预测性能。其中特征是在观测现象中的一种独立、可测量的属性。选择信息量大、有差别性、独立的特征是模式识别、分类和回归问题的关键一步,可以帮助开发者最大限度地从原始数据中提取特征以供算法和模型使用。

面向 Kaggle 和离线比赛实用工具库 nyaggle,解决特征工程与验证两大难题(附代码)

而 nyaggle 就是一个特定于 Kaggle 和离线比赛的实用工具库,它主要作用于四个部分,即:特征工程、模型验证、模型实验以及模型融合,尤其在特征工程和模型验证方面有较强的性能。

其中,在特征工程方面,nyaggle 包含了 K 个特征目标编码和 BERT 句子向量化。目标编码使用的是目标变量的均值编码类别变量,为训练集中的每个分组计算目标变量的统计量,之后会合并验证集、测试集以捕捉分组和目标之间的关系。BERT 句子向量化则是对 Bert 模型的输入做一个向量化,提取词句的三维信息。

面向 Kaggle 和离线比赛实用工具库 nyaggle,解决特征工程与验证两大难题(附代码)

API 详情说明: nyaggle.experiment 类,实现模型实验的各个功能

在典型的表格数据竞赛中,开发者可能会通过交叉验证重复进行评估,并记录参数和结果以跟踪实验。

其中,run_experiment()正是用于此类交叉验证实验的高级 API,它在指定目录下输出参数、指标、异常预测、测试预测、功能重要性和 Submitting.csv。

它可以与 mlflow 跟踪结合使用,如果使用 LightGBM 作为模型,则代码将非常简单如下所示:

值得注意的是,默认的验证策略是包含了 5 个特征的计算机视觉,开发者可以通过传递 cv 参数来更改此行为(可参阅 API 参考,)。

之后,run_experiment API 执行交叉验证后,会将工件存储到日志目录。输出文件存储如下:

而如果要使用 XGBoost、CatBoost 或其他 sklearn 估计器,则需要在代码开头指定算法类型,其中的参数将传递给 sklearn API 的构造函数(例如 LGBMClassifier)。

如果想让 GUI 仪表板管理实验,开发者则可以通过只设置 with_mlfow = True 来将 run_experiment 与 mlflow 一起使用(需要预先安装 mlflow)。然后在与执行脚本相同的目录中,运行即可。

然后在与执行脚本相同的目录中,运行即可,相关结果(带有 CV 得分和参数的实验列表)可在 http:// localhost:5000 页面上查看。

面向 Kaggle 和离线比赛实用工具库 nyaggle,解决特征工程与验证两大难题(附代码)

注意:如果要自定义日志记录的行为,可以在 mlflow run 上下文中调用 run_experiment;如果正在运行,则 run_experiment 将使用当前正在运行的运行,而不是创建新的运行。

nyaggle.feature 类——以特征格式管理运行系列功能

nyaggle.validation 类——对抗性验证,其中的验证拆分器与 sklearn 兼容

nyaggle.hyper_parameters 类——从以往的解决方案中选取 Hypara 相关参数

面向 Kaggle 和离线比赛实用工具库 nyaggle,解决特征工程与验证两大难题(附代码)

雷锋网 AI 开发者

原创文章,未经授权禁止转载。详情见 转载须知 。

面向 Kaggle 和离线比赛实用工具库 nyaggle,解决特征工程与验证两大难题(附代码)


本文地址: /article/fa767c157032572d4e34.html
全局中部横幅
全局中部横幅
“tianqi.com”的百度权重查询结果 - 站长工具

查询百度权重和百度的关键字排名,查询360权重和360的关键字排名

头条权重查询 - 站长工具

查询头条移动权重和头条移动的关键字排名

吃东西小游戏,吃东西小游戏大全,4399吃东西小游戏全集,4399小游戏

4399吃东西小游戏大全收录国内外吃东西类小游戏,包括吃东西闯关小游戏,吃东西冒险小游戏等。游戏虽好,也不要忽视身边的人哦,拉他们一起来!

白菜的功效_白菜图片_食材百科_豆果美食

白菜是一种常见的食材,豆果美食食材百科为您整理了白菜的别名,基本信息,适宜人群,不宜人群,搭配禁忌,白菜的功效与作用,白菜的烹饪技巧等信息,让您做出美味的白菜。

恒港仪器-色差仪|分光测色仪|光泽度仪|清晰度透光率雾度仪|分光密度仪-安孛纳仪器|艾司坦丁仪器代理-恒港仪器-氙灯老化耐候试验箱|紫外老化耐候试验箱|盐雾腐蚀试验箱|干燥箱烘箱|恒温恒湿试验箱|高低温交变湿热试验箱-ANBUBNA安孛纳仪器|ASTM-DIN艾司坦丁|Binder宾德

恒港仪器-电话:18662696958,主营:色差仪,分光测色仪,清晰度透光率雾度计,透过率雾影仪,光泽度仪,分光密度仪,iColorKey色彩解码配色软件,Colorimeter,Spectrophotometer,Hazemeter,Glossmeter,Densitometer,反射率,透射率,遮盖力,色牢度,白度WI,黄度YI,黑度,力份,强度,Lab,Lch,Luv,Yxy,βxy,XYZ,CMC,HSB,RGB,CMYK,铂钴指数APHAPt-CoHazen,加德纳指数Gardner,塞伯特指数Saybolt;研发生产代理销售安孛纳仪器ANBUBNA,艾司坦丁仪器ASTM-DIN,柯尼卡美能达KonicaMinolta,爱色丽X-Rite,BYK,德塔DataColor,亨特立HunterLab,罗伯特Rhopoint,杰恩尔Zehntner,宾德Binder,Q-Lab,亚太拉斯Atlas,爱斯佩克ESPEC,伟思富奇WeissTechnik,Voetsch,美墨尔特Memmert,SUGA

仪表仪器_深圳市亿杰仪表有限公司 —— 专营高品质的仪表仪器及良好的售后服务保障

仪器仪表深圳市亿杰仪表有限公司专营高品质的仪表仪器并保障良好的售后服务。仪器仪表种类齐全,欢迎咨询订购。

腾讯企业邮箱-QQ企业邮箱-腾讯企业邮吉林-黑龙江-海南-内蒙古服务商-常州迅捷网络科技有限公司

常州迅捷网络科技有限公司是腾讯企业邮吉林-黑龙江-海南-内蒙古区域授权服务商,授权区域:长春市、吉林市、四平市、通化市、白山市、辽源市、白城市、松原市、哈尔滨市、齐bai齐哈尔市、牡丹江市、佳木斯市、大庆市、鸡西市、双鸭山市、伊春市、七台河市、鹤岗市、黑河市、绥化市等多个城市,我们将为广大企业提供全方位的邮箱服务。

成都物流公司-整车货物运输-零担专线直达-新杰泰物流

成都新杰泰物流有限公司是一家专营成都到各省市专线物流运输公司,以及全国各地整车零担、危险品运输、大件运输,货物运输、仓储、整车返往等服务,可上门取货,可送货上门,成都新杰泰物流公司以快捷、准时、安全、优惠的服务宗旨为广大客户服务!欢迎来电咨询!

网站建设_网页设计_小程序制作_SEO优化公司-北京博域科技

北京博域科技公司是一家专业从事网站开发和计算机维护为一体的科技公司,为社会各界提供专业的网站建设、网站SEO优化推广、小程序制作,网站设计等服务。

下次一定 - 专门为白嫖怪开发的宝藏网站

下次一定是专门为白嫖怪开发的宝藏资源收集网站,为白嫖怪提供信息干货及资源,站长亲自整理收集,站内所有收集的资源都能免费下载,保证资源真实可靠,大家可放心使用。

无声胶带-无声撕膜胶带-一次无声胶带-胶带生产批发厂家-深圳亿福利

深圳亿福利是专业生产无声胶带,无声撕膜胶带,一次无声胶带,胶带胶纸的工厂,是集研发,生产,销售一体的包装胶粘材料配套生产供应商,可定制化加工,厂家直销,手机13723459292

ZPAY支付 - 个人支付接口|微信支付接口|个人免签支付平台

ZPAY支付作为支付宝微信系统服务商ISV,专业为个人可用的支付宝微信支付接口,支持当面付等支付方式,资金由官方D+1结算自动下发个人银行卡

全局底部横幅