GPT-4终结人工标注！AI标注比人类标注效率高100倍，成本仅1/7|ai|示例|置信度|gpt-4|软件安装包
用微信扫码二维码
分享至好友和朋友圈
【新智元导读】
这个开源工具，居然能用GPT-4代替人类去标注数据，效率比人类高了100倍，但成本只有1/7。
大模型满天飞的时代，AI行业最缺的是什么？毫无疑问一定是算（xian）力（ka）。
老黄作为AI掘金者唯一的「铲子供应商」，早已赚得盆满钵满。
除了GPU，还有什么是训练一个高效的大模型必不可少且同样难以获取的资源？
高质量的数据。OpenAI正是借助基于人类标注的数据，才一举从众多大模型企业中脱颖而出，让chatgpt成为了大模型竞争中阶段性的胜利者。
但同时，OpenAI也因为使用非洲廉价的人工进行数据标注，被各种媒体口诛笔伐。
时代周刊报道OpenAI雇佣肯尼亚廉价劳动力标注
而那些参与数据标注的工人们，也因为长期暴露在有毒内容中，受到了不可逆的心理创伤。
卫报报道肯尼亚劳工指责数据标注工作给自己带来了不可逆的心理创伤
总之，对于数据标注，一定需要找到一个新的方法，才能避免大量使用人工标注带来的包括道德风险在内的其他潜在麻烦。
所以，包括谷歌，Anthropic在内的AI巨头和大型独角兽，都在进行数据标注自动化的探索。
谷歌最近的研究，开发了一个和人类标注能力相近的AI标注工具
Anthropic采用了ConstitutionalAI来处理数据，也获得了很好的对齐效果
除了巨头们的尝试之外，最近，一家初创公司refuel，也上线了一个AI标注数据的开源处理工具：Autolabel。
Autolabel：用AI标注数据，效率最高提升100倍
这个工具可以让有数据处理需求的用户，使用市面上主流的LLM（ChatGPT，Claude等）来对自己的数据集进行标注。
refuel称，用自动化的方式标注数据，相比于人工标注，效率最高可以提高100倍，而成本只有人工成本的1/7！
就算按照使用成本最高的GPT-4来算，采用Autolabel标注的成本只有使用人工标注的1/7，而如果使用其他更便宜的模型，成本还能进一步降低
采用AutolabelLLM的标注方式之后，标注效率更是大幅提升
对于LLM标注质量的评估，Autolabel的开发者创立了一个基准测试，通过将不同的LLM的标注结果和基准测试中不同数据集中收纳的标准答案向比对，就能评估各个模型标注数据的质量。
当Autolabel采用GPT-4进行标注时，获得了最高的准确率——88.4%，超过了人类标注结果的准确率86.2%。
而且其他比GPT-4便宜得多的模型的标注准确率，相比GPT-4来说也不算低。
开发者称，在比较简单的标注任务中采用便宜的模型，在困难的任务中采用GPT-4，将可以大大节省标注成本，同时几乎不影响标注的准确率。
Autolabel支持对自然语言处理项目进行分类，命名实体识别，实体匹配和问答。
支持主流的所有LLM提供商：OpenAI、Anthropic和GooglePalm等，并通过HuggingFace为开源和私有模型提供支持。
Autolabel免除了编写复杂的指南，无尽地等待外部团队来提供数据支持的麻烦，用户能够在几分钟内开始标注数据。
可以支持使用本地部署的私有模型在本地处理数据，所以对于数据隐私敏感度很高的用户来说，Autolabel提供了成本和门槛都很低的数据标注途径。
所以，不论是律所想要通过GPT-4来对法律文档进行分类，还是保险公司想要用私有模型对敏感的客户医疗数据进行分类或者筛查，都可以使用Autolabel进行高效地处理。
如果没有Autolabel，用户需要首先收集几千个示例，并由一组人工注释者对它们进行标注，可能需要几周的时间——熟悉标注方针，从小数据集到大数据集进行几次迭代，等等。
而如果使用Autolabe可以在分钟内就对这个数据集进行标注。
首先安装所有必要的库：
现在，将OpenAI密钥设置为环境变量。
下载和查看数据集
将使用一个名为CivilComments的数据集，该数据集可通过Autolabel获得。你可以在本地下载它，只需运行:
接下来，通过运行agent.plan，使用config中指定的LLM对的数据集进行一次标注
定义下面的配置文件:
如果要创建自定义配置，可以使用CLI或编写自己的配置。
最后，进行数据标注:
输出结果为54%的准确率不是很好，进一步改进的具体方法可以访问以下链接查看：
技术细节：标注质量Benchmark介绍
在对Autolabel的基准测试中，包含了以下数据集：
表1：Autolabel标注的数据集列表
表2：用于评估的LLM提供者与模型列表
本研究在三个标准上对LLM和人工标注进行评估：
对于每个数据集，研究人员都将其拆分为种子集和测试集两部分。
种子集包含200个示例，是从训练分区中随机采样构建的，用于置信度校准和一些少量的提示任务中。
测试集包含2000个示例，采用了与种子集相同的构建方法，用于运行评估和报告所有基准测试的结果。
在人工标注方面，研究团队从常用的数据标注第三方平台聘请了数据标注员，每个数据集都配有多个数据标注员。
此过程分为三个阶段：
研究人员为数据标注员提供了标注指南，要求他们对种子集进行标注。
然后对标注过的种子集进行评估，为数据标注员提供该数据集的基准真相作为参考，并要求他们检查自己的错误。
可以看到，与熟练的人工数据标注员相比，最先进的LLM已经可以在相同甚至更好的水平上标注文本数据集，并且做到开箱即用，大大简化了繁琐的数据标注流程。
但由于LLM是在大量数据集上训练出来的，所以在评估LLM的过程中存在着数据泄露的可能。
研究人员对此进行了例如集合的额外改进，可以将表现最好的的LLM（GPT-4、PaLM-2）与基准真相的一致性从89%提高到95%以上。
对于提供对数概率的LLM（text-davinci-003），研究人员使用这些概率来估计置信度。
对于其他LLM，则使用FLANT5XXL模型进行置信度估计。
例如，上图显示，在95%的质量阈值下，我们可以使用GPT-4标注约77%的数据集。
添加这一步的原因是token级日志概率在校准方面的效果不佳，如GPT-4技术报告中所强调的那样：
GPT-4模型的校准图：比较预训练和后RLHF版本的置信度和准确性
95%与基准真相一致的完成率
相比之下，人类标注者与基准真相的一致性为86.6%。
从上图可以看到在所有数据集中，GPT-4的平均完成率最高，在8个数据集中，有3个数据集的标注质量超过了这一质量阈值。
而其他多个模型（如text-bison@001、gpt-3.5-turbo、claude-v1和flan-t5-xxl）也实现了很好的性能：
平均至少成功自动标注了50%的数据，但价格却只有GPT-4API成本的1/10以下。
在接下来的几个月中，开发者承诺将向Autolabel添加大量新功能：
支持更多LLM进行数据标注。
支持更多标注任务，例如总结等。
支持更多的输入数据类型和更高的LLM输出稳健性。
让用户能够试验多个LLM和不同提示的工作流程。
我是一万米高的搞笑女2023-09-1719:21:36
本文地址： https://www.gpxz.com/article/923deb9785f5d084d7cc.html
斗球直播免费提供高清NBA直播,CBA直播,中超直播,欧洲五大联赛直播,以及排球、网球、乒乓球、斯诺克、电竞等全球赛事直播,高清直播无广告,会员场次免费看!
阿明工具专业电商数据统计分析工具，电商人手一个，服务于淘宝、拼多多、京东、1688电商平台商家，支持生意参谋一键转化,准确率高达99.99%、竞品销量实时监控、宝贝详情图片下载等，为商家提供全方位市场和竞争数据分析。
极跑科技创立于2013年4月，是一家专注于为商家提供数字化技术服务的公司。
数坤科技是行业领先的智慧医疗健康科技平台，坚持用原创、先进的技术为医疗健康行业提供智慧解决方案及产品。
通查达是提供车辆信息查询和个人信息验证的综合信息查询平台。产品包含：手机号机主姓名验证、身份证真伪核验、法院判决书查询、被执行人查询、身份证后4位查询、车牌号查询车辆信息、车牌号查询车架号、车牌号车主姓名验证等多种产品
www.niulinmen.com
上海上荣硅胶制品加工生产厂家提供硅胶礼品、硅胶厨具、硅胶餐具、硅胶蒸笼垫、硅胶腕带、硅胶手环、硅胶奶瓶、硅胶模具、硅胶套等硅胶制品OEM定制批发，上荣硅胶产品生产厂家按需定做，开模打样。
法制法律网fazhi.net一个专业的法律资讯网站，能够为各类法律业务提供专业的法律知识及免费的法律在线咨询服务，致力于成为便捷、专业的法律咨询服务网站。
河南润农实业有限公司提供老鼠药批发,追踪膏批发,苍蝇药批发,战猫老鼠药批发等,我司是一家集批发,零售于一体的生产厂家.以质量求生存,以服务谋发展,欢迎新老朋友来电咨询。
射阳宏旭探伤机制造有限公司专业生产探伤机,磁粉探伤机,探伤仪,磁粉探伤仪,退磁机，产品均通过:ISO9001:2000认证,符合JB/T8290-2011标准。咨询热线:0515-82354499
产品广泛应用于石油钻井固控系统、页岩气粒子冲击回收系统，泥浆循环净化系统，非开挖泥浆循环系统、煤气层勘探泥浆循环系统、水平定向穿越泥浆净化系统，盾构泥浆循环系统、河道清淤净化系统、废弃泥浆回收系统，建筑打桩固液分离系统、环保行业等固体与液体分离行业。
银川市兴庆区华中新贸起重机配件经销部，咨询热销：18169580373！主营业务%2
随着中秋国庆小长假的临近，国庆节上映的电影成为近期大家关注的焦点，据猫眼专业版上映日历显示，截至目前已经有十部国庆档电影定档，届时将上演一波火热的票房大战！那么，今年2023国庆节期间具体都有哪些电影值得看呢，下面一起来看看国庆档电影片单盘点，一、，坚如磐石，上映时间，9月28日导演，张艺谋主演，雷佳音、张国立、于和伟、周冬雨、孙艺洲...。
拼多多的跨境电商平台Temu已经在9月1日上线了，而且可以申请入驻了，一般来说，新出的平台都有一定新机会，但对你是不是个机会呢?请看本文，Temu的网站和APP的功能设计几乎没有差别，和SheIn相似的是，Temu网站首页，20%，的折扣标识非常明显，入驻要求，优先招募有北美市场供应商经验、有跨境电商平台和独立站运营经验的卖家，能够保...。
人们生活中对便利店的需求很大，便利店可以提供各种各样的商品可以满足大家购物需求，为了方便生活，很多小区周边都出现便利店，便利店的品牌店也越来越多，成都便利店有很多，成都便利店加盟店10大品牌，如果了解以后，相信在选择品牌方面会更加容易，下面就给大家介绍一下，1、七天便利店，加盟店能够以连锁店的形式存在，能够满足大家购物需求，是便利店中...。
今日头条雷军称小米14越级对标iPhone15Pro，小米汽车明年上半年正式上市10月25日晚间，雷军在个人微博上回答网友对于小米14发布会的提问，在被问及，小米14Pro是否还对标iPhone，，雷军回答，不仅坚定对标iPhone，这次小米14更是越级对标iPhone15Pro，并且，雷军在同一条微博中称，小米汽车目前进展非常顺...。
父母将孩子惯成公主病，我觉得这是一个很严重的问题，可能在孩子小的时候，你这样做可能觉得没什么，可能觉得父母对他特别好，你也觉得孩子特别过的幸福，生活的特别快乐，但是当孩子长大之后，他可能会对于别人或者做事处事的方式可能会特别的倔强，可能不会去考虑到别人的一些感受，不会顾及到一些别人的地方，所以有时候很容易在做事，或者和别人相处的时候很...。
发表在站务处理2020，5，2013，20距离当贝投影第一代产品F1发布已有16个月，目前当贝硬件销售规模已逾2亿，成功跻身2019中国智能投影新品第一品牌，是最近几年来最具成长力和增速最快的产品，在这优异成绩的背后，究竟我们经历了什么，做对了什么，下面由我细细道来，回想起2016年，那是一个炎热的下午，我无意中看到某品牌的投影，我承...。
折扣店，DiscountStore，以销售自有品牌和周转快的商品为主，限定销售品种，并以有限的经营面积、店铺装修简单、有限的服务和低廉的经营成本，向消费者提供，物有所值，的商品为主要目的的零售业态，它是由综合大型超市，GMS，所经营的商品中挑选出更大众化、更实用的商品进行集中经营的大型自选店；是运用超级市场开发出来的销售技术、管理理论...。
电视怎么看电视直播方法，具体方法如下，01、安装网络优化大师在自带的应用市场里搜索，WLYH，，下载网络优化大师安装好后，打开网络优化大师，遥控器按，左右左右下，，会自动下载当贝市场等待下载完成会自动弹出下一步，此时会提示禁止安装未知应用，点击设置，选择允许在当贝市场首次下载应用也会提示禁止安装未知应用，点击设置，选择允许，之后就不会...。
国产汽车车标有奇瑞汽车西北汽车比亚迪一汽汽车凯翼等一奇瑞汽车标记的全体是英文字母CAC一种艺术化变形CAC即英文CheryAutomobileCorporation的缩写，中文意思是奇瑞汽车股份有限公司标记两边A为一变体的，人，；9西北汽车工业有限公司是一个比拟特意的合资企业，由福建省汽车工业个人与台湾裕隆个人和三菱个人协作的自主品牌...。
1.5升147马力四缸涡轮增压发起机，婚配六档手动变速箱版本，工信部百公里综合油耗7升，1.5升147马力四缸涡轮增压发起机婚配cvt无级变速箱，模拟八个挡位，版本，工信部百公里综合油耗7.9升，五菱凯捷厂商指点价车型厂商指点多少钱元到元，车辆定位是一台紧凑级别的MPV，如今开售的是2020款车型，一共有四款车型性能在售，新款车型是在...。
凌渡是上汽公众旗下的一款紧凑型车，以凌渡2021款改款280TSIDSG温馨版为例，其搭载1.4T直列四缸发起机，最大功率为150千瓦，最大扭矩为250牛米，装备7挡双离合变速箱，这款车型的车身结构为4门5座三厢车，最高车速可达每小时200千米，车身尺寸方面，长宽高区分为4615mm、1826mm、1425mm，轴距为2656mm，油...。
这款wordpress支付宝插件是针对wordpress程序、支付宝付款接口而开发的，此插件可以在无任何人工干预的情况下完成付款、自动下载，并有邮件通知，作为一款支付类的插件，...WordPress支付宝插件,源码屋论坛
按摩是以中医的脏腑、经络学说为理论基础，并结合西医的解剖和病理诊断，而用手法作用于人体体表的特定部位以调节机体生理、病理状况，达到理疗目的方法，从性质上来说，它是一种物理的医治方法，按摩指经过身体接触，对皮肤下的肌肉进行积压或拉伸的行为，以疏通经络，滑利关节，促使气血运行，调整脏腑功能，增强人体抗病能力，从而达到医治病痛的目的，...。
IEEExATEC科技思享会是由专业技术学会IEEE与前沿科技探索社区ATEC联合主办的技术沙龙，邀请行业专家学者分享前沿探索和技术实践，助力数字化发展，随AI技术的不断深入发展，医学人工智能应用如雨后春笋般迅速涌现，在医疗领域遍地开花，AI具有智能化、自动化的特点，能够通过强大算力解锁复杂数据、处理海量数据，在医学变革过程中发挥着无...。
火锅行业内诞生了丰富的品牌，每个火锅品牌都有属于自己的优势，不仅消费者爱吃火锅，很多创业者也关注到这个餐饮项目，想要知道火锅加盟店排行榜前十有哪些，小编这就来进行一番介绍，来解答大家心目中的疑问，餐饮行业内较受较受欢迎的十大火锅加盟店分别是渝味楠老火锅、有拈头成都市井火锅、朝天门火锅、小龙串烧、巴蜀大当家火锅、重庆解放碑洞子老火锅、肴...。
地址位于东北哈尔滨市南岗区宣化街477号，檀印檀印品牌隶属于北京檀源木业有限公司，由胡晓鹏先生于2005年创立，注册资金100万元人民币，上头在水里，下头在天空，要问家在哪，老家在东北鲁上面是鱼下面是日鲁，是山东的简称，为华北大地，我现在在上海，可是我老家在东北，我在这混得很好，我妈妈却叫我回去怎么办，我认为首先你应该弄清楚你妈妈让你...。
第一款，莫西干发型莫西干发型，这款发型是很多男孩子选择一款，莫西干发型主要时髦还非常的好打理，两边是剪短发一点的发型，看起来会比较干净，就不会和长发那样不洗头的话就非常的邋邋遢遢的，莫西干发型第二款，三七分发型张一山最近演的，十里春风不如你，可谓是大火，不过里面的造型还是不敢恭维，还是这个发型比较迷人啊！他的这款发型是三七分的，小背头...。
