GPT-4终结人工标注！AI标注比人类标注效率高100倍，成本仅1/7|ai|示例|置信度|gpt-4|软件安装包
用微信扫码二维码
分享至好友和朋友圈
【新智元导读】
这个开源工具，居然能用GPT-4代替人类去标注数据，效率比人类高了100倍，但成本只有1/7。
大模型满天飞的时代，AI行业最缺的是什么？毫无疑问一定是算（xian）力（ka）。
老黄作为AI掘金者唯一的「铲子供应商」，早已赚得盆满钵满。
除了GPU，还有什么是训练一个高效的大模型必不可少且同样难以获取的资源？
高质量的数据。OpenAI正是借助基于人类标注的数据，才一举从众多大模型企业中脱颖而出，让ChatGPT成为了大模型竞争中阶段性的胜利者。
但同时，OpenAI也因为使用非洲廉价的人工进行数据标注，被各种媒体口诛笔伐。
时代周刊报道OpenAI雇佣肯尼亚廉价劳动力标注
而那些参与数据标注的工人们，也因为长期暴露在有毒内容中，受到了不可逆的心理创伤。
卫报报道肯尼亚劳工指责数据标注工作给自己带来了不可逆的心理创伤
总之，对于数据标注，一定需要找到一个新的方法，才能避免大量使用人工标注带来的包括道德风险在内的其他潜在麻烦。
所以，包括谷歌，Anthropic在内的AI巨头和大型独角兽，都在进行数据标注自动化的探索。
谷歌最近的研究，开发了一个和人类标注能力相近的AI标注工具
Anthropic采用了ConstitutionalAI来处理数据，也获得了很好的对齐效果
除了巨头们的尝试之外，最近，一家初创公司refuel，也上线了一个AI标注数据的开源处理工具：Autolabel。
Autolabel：用AI标注数据，效率最高提升100倍
这个工具可以让有数据处理需求的用户，使用市面上主流的LLM（ChatGPT，Claude等）来对自己的数据集进行标注。
refuel称，用自动化的方式标注数据，相比于人工标注，效率最高可以提高100倍，而成本只有人工成本的1/7！
就算按照使用成本最高的GPT-4来算，采用Autolabel标注的成本只有使用人工标注的1/7，而如果使用其他更便宜的模型，成本还能进一步降低
采用AutolabelLLM的标注方式之后，标注效率更是大幅提升
对于LLM标注质量的评估，Autolabel的开发者创立了一个基准测试，通过将不同的LLM的标注结果和基准测试中不同数据集中收纳的标准答案向比对，就能评估各个模型标注数据的质量。
当Autolabel采用GPT-4进行标注时，获得了最高的准确率——88.4%，超过了人类标注结果的准确率86.2%。
而且其他比GPT-4便宜得多的模型的标注准确率，相比GPT-4来说也不算低。
开发者称，在比较简单的标注任务中采用便宜的模型，在困难的任务中采用GPT-4，将可以大大节省标注成本，同时几乎不影响标注的准确率。
Autolabel支持对自然语言处理项目进行分类，命名实体识别，实体匹配和问答。
支持主流的所有LLM提供商：OpenAI、Anthropic和GooglePalm等，并通过HuggingFace为开源和私有模型提供支持。
Autolabel免除了编写复杂的指南，无尽地等待外部团队来提供数据支持的麻烦，用户能够在几分钟内开始标注数据。
可以支持使用本地部署的私有模型在本地处理数据，所以对于数据隐私敏感度很高的用户来说，Autolabel提供了成本和门槛都很低的数据标注途径。
所以，不论是律所想要通过GPT-4来对法律文档进行分类，还是保险公司想要用私有模型对敏感的客户医疗数据进行分类或者筛查，都可以使用Autolabel进行高效地处理。
如果没有Autolabel，用户需要首先收集几千个示例，并由一组人工注释者对它们进行标注，可能需要几周的时间——熟悉标注方针，从小数据集到大数据集进行几次迭代，等等。
而如果使用Autolabe可以在分钟内就对这个数据集进行标注。
首先安装所有必要的库：
现在，将OpenAI密钥设置为环境变量。
下载和查看数据集
将使用一个名为CivilComments的数据集，该数据集可通过Autolabel获得。你可以在本地下载它，只需运行:
接下来，通过运行agent.plan，使用config中指定的LLM对的数据集进行一次标注
定义下面的配置文件:
如果要创建自定义配置，可以使用CLI或编写自己的配置。
最后，进行数据标注:
输出结果为54%的准确率不是很好，进一步改进的具体方法可以访问以下链接查看：
技术细节：标注质量Benchmark介绍
在对Autolabel的基准测试中，包含了以下数据集：
表1：Autolabel标注的数据集列表
表2：用于评估的LLM提供者与模型列表
本研究在三个标准上对LLM和人工标注进行评估：
对于每个数据集，研究人员都将其拆分为种子集和测试集两部分。
种子集包含200个示例，是从训练分区中随机采样构建的，用于置信度校准和一些少量的提示任务中。
测试集包含2000个示例，采用了与种子集相同的构建方法，用于运行评估和报告所有基准测试的结果。
在人工标注方面，研究团队从常用的数据标注第三方平台聘请了数据标注员，每个数据集都配有多个数据标注员。
此过程分为三个阶段：
研究人员为数据标注员提供了标注指南，要求他们对种子集进行标注。
然后对标注过的种子集进行评估，为数据标注员提供该数据集的基准真相作为参考，并要求他们检查自己的错误。
可以看到，与熟练的人工数据标注员相比，最先进的LLM已经可以在相同甚至更好的水平上标注文本数据集，并且做到开箱即用，大大简化了繁琐的数据标注流程。
但由于LLM是在大量数据集上训练出来的，所以在评估LLM的过程中存在着数据泄露的可能。
研究人员对此进行了例如集合的额外改进，可以将表现最好的的LLM（GPT-4、PaLM-2）与基准真相的一致性从89%提高到95%以上。
对于提供对数概率的LLM（text-davinci-003），研究人员使用这些概率来估计置信度。
对于其他LLM，则使用FLANT5XXL模型进行置信度估计。
例如，上图显示，在95%的质量阈值下，我们可以使用GPT-4标注约77%的数据集。
添加这一步的原因是token级日志概率在校准方面的效果不佳，如GPT-4技术报告中所强调的那样：
GPT-4模型的校准图：比较预训练和后RLHF版本的置信度和准确性
95%与基准真相一致的完成率
相比之下，人类标注者与基准真相的一致性为86.6%。
从上图可以看到在所有数据集中，GPT-4的平均完成率最高，在8个数据集中，有3个数据集的标注质量超过了这一质量阈值。
而其他多个模型（如text-bison@001、gpt-3.5-turbo、claude-v1和flan-t5-xxl）也实现了很好的性能：
平均至少成功自动标注了50%的数据，但价格却只有GPT-4API成本的1/10以下。
在接下来的几个月中，开发者承诺将向Autolabel添加大量新功能：
支持更多LLM进行数据标注。
支持更多标注任务，例如总结等。
支持更多的输入数据类型和更高的LLM输出稳健性。
让用户能够试验多个LLM和不同提示的工作流程。
我是一万米高的搞笑女2023-09-1719:21:36
本文地址： https://www.gpxz.com/article/923deb9785f5d084d7cc.html
数智生态发展大会&数字营销实战大赛官网
iPanda熊猫频道面向全球网民打造极具吸引力的熊猫主题新媒体集群。通过熊猫向世界传播和平、友爱理念，提升国家形象。iPanda熊猫频道对大熊猫繁育、日常起居等的情况进行24小时近距离视频直播及点播，并通过社交媒体、移动终端等用中、英进行全媒体传播。
NBE游戏攻略网、一个关注游戏工作室的资讯门户，致力于手游职业评测、玩游戏赚钱及网游项目挖掘的观察平台，游戏搬砖爱好者必看网站。
亳州市华佗中医院，网站首页
江苏华纳环保科技有限公司主要是从事玻璃钢复合材料、环保设备的设计、开发、制造、销售于一体的高科技企业，公司实施多元化发展，目前已形成风电复合产品、轨道交通复合产品、农村污水净化设备、污水池复合盖板、布袋除尘产品、高精过滤器、VOCs废气治理设备等7大系列产品
嘉人MarieClaire女性时尚网站,丰富的时尚时装,美妆,美容,明星生活信息,ThinkSmartLookAmazing
专注于智能安防和应急救援领域的技术研发及应用,为其提供整体解决方案和专业服务.
苏州智特斯自动化设备有限公司成立于2015年，是集研发、设计、制造、销售和服务为一体的技术密集型企业。主要从事生产非标类机械自动化设备，专用性较强的各类专用设备以及各种工装治具的设计及制作，公司以人才优势，为客户设计开发各种非标设备、专用生产线、特种工艺、自动控制系统及进口设备维修，对生产流水线设备、检测设备、组装设备、自动传输设备、振动盘、自动上下料设备、机械手、相关设备等有较丰富的设计和制造经验，致力于为客户解决各种工艺设备问题。
福建省安溪第一中学为福建省首批示范性普通高中、福建省第一批命名的省重点中学，1924年建校，2000年通过省一级达标学校验收，学校坐落于福建省安溪县。
KDS宽带山2025年3月全新改版上线，欢迎各位老F新朋友懂的入！在这里・看上海，这里没有熟人、更没有老板，谈天说地畅所欲言无负担。KDS起源于1996年3月成立的PChome电脑之家论坛板块，经过数十年的发展运营，成为拥有千万注册用户的华东地区知名本地生活社区。新版KDS为用户提供基于本地生活圈的交流平台，让你随时随地上传身边趣事，与TF分享你的喜怒哀乐，更有八卦搞笑吃瓜日常等你来聊。KDS更多便利服务及涵盖衣食住行的多功能频道陆续上线中，并提供平台全额保障措施，让你在KDS聊的顺心，买的省心，吃的开心，住的安心，用的放心。暖心社交就在KDS，每天打卡有惊喜！
很多小伙伴喜欢在压力大的时候玩一些休闲类的手机游戏来解压，无论是工作上还是学习上的压力，随着几局游戏的近战，这些压力总能有所缓解，那么2023好玩的休闲解压游戏有哪些呢，接下来小编就给大家介绍几款好玩的休闲类的解压小游戏，满足大家的解压需求，喜欢的小伙伴快和小编一起来看看吧，1、，天天爱消除，天天爱消除是一款非常解压的三消小游戏，不大...。
开篇这里介绍一下项目和为什么要分享这个项目，其实我们做自媒体博客赚钱的方式无非也就是博客广告位，当然如果说你的网站没有很大的流量，基本上是没什么收入的，还有就是接接SEO优化和网络推广的单了，一个月也还能顾个生活费，多数的自媒体博主的收入都是靠培训教学和卖卖项目赚点钱了，像我的话培训之类的做的就比较少了，因为很简单，做培训会坏了自己的...。
下面，从十张图表中我们或许能够进一步理解微软Azure持续保持成为全球三朵云之一的重要原因，1、智能云，IntelligentCloud，成为Q2营收最高的一项业务，以64亿美元占到总营收的36%，本季度，委员在间接分销渠道方面的成功，以及更多企业客户加快了，CloudFrist，计划的实施，使得智能云业务增长迅猛，2、调研机构Syn...。
一醒悟来，以色列取得严重战果，干掉了以色列最想干掉的人——辛瓦尔依照以色列的说法，去年10月7日，正是辛瓦尔筹划袭击了以色列，打死1200多人，抓走200多人，这是以色列建国70多年来境内遭逢的最惨烈一次性袭击，间接引发了如今的加沙抗争，往年8月，哈尼亚被以色列暗杀在德黑兰后，辛瓦尔出任哈马斯最高指导人，但短短两个月后，他的第一次性地...。
有媒体报道，商业卫星图片显示，山东舰曾出如今菲律宾左远洋域，有剖析以为，中方初次派返航母前往菲律宾远洋，有威慑之意，对此国防部资讯发言人张晓刚当天示意，海军航母编队组织远洋实战训练，是年度例行布置，国防部资讯发言人张晓刚，近期，山东舰编队赴相关海域启动远洋实战训练，系年度例行布置，合乎国际法和国际通常，不针对任何特定指标，今后，中国...。
尼泊尔总统鲍德尔12日晚需要有才干在联邦议会众议院取得少数允许的政党尽快组建新政府，△尼泊尔总统鲍德尔，资料图，依据尼总统府宣布的申明，鉴于联结政府总理普拉昌达今日早些时刻未赢得众议院信赖投票，鲍德尔已需要能在众议院赢得少数允许的政党在14日下午5时前提出组建新政府的需要，尼泊尔共产党，联结马列，本月1日与最大推戴党尼泊尔大会党达成协...。
梦见穿新裤子你知道梦见穿新裤子有什么征兆吗，小时刻关于自己有新裤子穿是感到很开心的事，梦见句子有新裤子穿是什么寓意呢，上方是我精心预备的梦见穿新裤子的内容，宿愿能够对大家有所协助，梦见穿新裤子1梦见穿新裤子，预示着最近会发财，也会有坏事临门，而且最近的压力很大，须要自我调整或适当的劳动下，从投资方面来看，投资者梦见穿新裤子，预示着财运...。
车型，奇瑞旗云1.3手动奢侈版油耗，6.4L，100km，城市，多少钱，6.49万元奇瑞旗云1.3是奇瑞汽车推出的一款小型轿车，以形状大气、能源微弱而著称，车身全体线条流利，加上细节解决切当，分收回一股恬静而稳重的气质，尤其适宜年轻人和家庭经常使用，外观方面，奇瑞旗云1.3的前脸驳回了六边形进气格栅，以及两个狭长的前大灯，显得十分时兴...。
Cutter是一个多平台逆向工程工具，满足有逆向需求的用户，在软件上进行逆向操作，界面简洁，支持中文，用户不用担心看不到，使用非常简单。
Database.NET是一个免费多重数据库管理工具，提供更简单方便的可视化界面浏览数据库内容，无须另外安装整个数据库系统，即可直接本地或远程进行数据库的在线存取
上海又一古镇走红，人山人海太热闹了，免费遛娃拍照好去处！,金山,吴越,遛娃,枫泾镇,上海市,枫泾古镇
新生开学傻眼了！宿舍床板松动开裂，这样的床确定能住人？,生活,学校,床板,新生,学生宿舍
雷锋网AI科技评论按，3月29日，阿里云在云栖大会·深圳峰会上重磅亮相了阿里，NASA，首个武器——机器学习平台PAI2.0，而后阿里云首席科学家周靖人做了，ET智慧工厂，阿里云机器学习，的主题演讲，文末附雷锋网整理的阿里云人工智能科学家闵万里对于PAI平台的采访问答，阿里，NASA，首个重磅武器亮相，机器学习平台PAI2.0，3月2...。
发表在哈趣投影仪2022，7，513，29宾狗C10和哈趣H1都是性价比很高的投影仪，那么相比之下，哪款投影仪更好一些呢，下面就通过详细的参数配置进行对比分析，看看宾狗C10和哈趣H1有什么区别，究竟哪款更值得入手，一、宾狗C10和哈趣H1的区别1.光学参数宾狗C10和哈趣H1采用的都是LCD技术，标准分辨率也都是1080P，保证了画...。
1、将设备连上无线网络，然后在主界面上点击，我的应用，2、点击遥控器，OK，键进入当贝市场，3、在应用市场中找到想要下载的应用程序，可按应用程序类别搜索，或者用首字母搜索，4、点击下载，等待安装完成即可，1、将需要安装的应用程序下载到U盘或TF卡上，2、然后插入机身后方对应的接口，等待设备识别，3、进入主页的，文件管理，，选中，移动...。
12月11日，泡泡玛特，上市首日收涨79.22%，股价开盘翻倍，市值超1100亿港元，这背后得益于三个因素，年轻人、IP以及盲盒，泡泡玛特以年轻化产品以及表达方式，获得了年轻人的关注和喜爱，并成功出圈，范围扩大至新消费市场，近年来，随着消费场景及内外部环境的转变，，年轻化，成为各大品牌绕不开的话题，大家都在寻求更符合当代用户习惯的产...。
申明，1.以上内容仅代表揭发者自己，不代表黑猫揭发立场，2.未经授权，本平台案例制止任何转载，违者将被清查法律责任，3.黑猫揭发处置揭发不收取任何费用，凡以黑猫揭发名义不要钱的均为混充、诈骗行为，请及时报警并与黑猫官网反应，揭发邮箱heimaotousu@vip.sina.com，4.请大家选用官网渠道处置生产纠纷，不要轻信第三方机构...。
