百度ERNIE2.0强势发布 (百度二年级语文上册)

文章编号:51262 互联网资讯 2025-01-31 百度ERNIE2.0强势发布

2019年3月, 百度 正式发布NLP模型ERNIE,其在中文任务中全面超越BERT一度引发业界广泛关注和探讨。

今天,经过短短几个月时间,百度ERNIE再升级。发布持续学习的语义理解框架ERNIE2.0,及基于此框架的ERNIE2.0预训练模型。继1.0后,ERNIE英文任务方面取得全新突破,在共计16个中英文任务上超越了BERT和XLNet,取得了SOTA效果。

目前,百度ERNIE2.0的Fine-tuning代码和英文预训练模型已开源。(GitHub 项目 地址:)

近两年,以BERT、XLNet为代表的无监督预训练技术在语言推断、语义相似度、命名实体识别、情感分析等多个自然语言处理任务上取得了技术突破。基于大规模数据的无监督预训练技术在自然语言处理领域变得至关重要。

百度发现,之前的工作主要通过词或句子的共现信号,构建语言模型任务进行模型预训练。例如,BERT通过掩码语言模型和下一句预测任务进行预训练。XLNet构建了全排列的语言模型,并通过自回归的方式进行预训练。

然而,除了语言共现信息之外,语料中还包含词法、语法、语义等更多有价值的信息。例如,人名、地名、机构名等词语概念知识,句子间顺序和距离关系等结构知识,文本语义相似度和语言逻辑关系等语义知识。设想如果能持续地学习各类任务,模型的效果能否进一步提升?

百度ERNIE2.0强势发布 移动互联网 第1张

▲ERNIE2.0:可持续学习语义理解框架

基于此,百度提出可持续学习语义理解框架ERNIE2.0。该框架支持增量引入词汇(lexical)、语法(syntactic)、语义(semantic)等3个层次的自定义预训练任务,能够全面捕捉训练语料中的词法、语法、语义等潜在信息。

这些任务通过多任务学习对模型进行训练更新,每当引入新任务时,该框架可在学习该任务的同时,不遗忘之前学到过的信息。这也意味着,该框架可以通过持续构建训练包含词法、句法、语义等预训练任务,持续提升模型效果。

百度ERNIE2.0强势发布 移动互联网 第2张

▲新发布的ERNIE2.0模型结构

依托该框架,百度充分借助飞桨PaddlePaddle多机分布式训练优势,利用79亿tokens训练数据(约1/4的XLNet数据)和64张V100(约1/8的XLNet硬件算力)训练的ERNIE2.0预训练模型不仅实现了SOTA效果,而且为开发人员定制自己的NLP模型提供了方案。目前,百度开源了ERNIE2.0的Fine-tuning代码和英文预训练模型。

百度研究团队分别比较了中英文环境上的模型效果。英文上,ERNIE2.0在自然语言理解数据集GLUE的7个任务上击败了BERT和XLNet。中文上,在包括阅读理解、情感分析、问答等不同类型的9个数据集上超越了BERT并刷新了SOTA。

百度ERNIE2.0强势发布 移动互联网 第3张

ERNIE的工作表明,在预训练过程中,通过构建各层面的无监督预训练任务,模型效果也会显著提升。未来,研究者们可沿着该思路构建更多的任务提升效果。

自2018年预训练语言模型BERT提出之后,预训练语言模型将自然语言处理的大部分任务水平提高了一个等级,这个领域的研究也掀起了热潮。如今可持续学习的特点亦将成为NLP领域发展里程中的关键。

来源:百度AI

来源: 松松科技 QQ/微信:lusongsong7

网站VIP充值卡80元发1000篇 软文发布每条仅需几分钱随时随地想发就发发软文专用卡太实在了

本文地址: /article/bf340dfa3b3497b3c9ff.html
全局中部横幅
全局中部横幅
【顺企网】企业黄页和供求信息发布平台

顺企网(www.11467.com)是免费的电子商务平台和在线114黄页网站,是为企业提B2B免费供求信息发布、采购商机、免费建站、114黄页查询服务的B2B平台。顺企网,助企业在商海一路顺风

电子课本-电子课本网

电子课本网是教材更新快、教科书齐全的电子课本导航网站,提供人教版、北师大、苏教版、教科版、浙教版、鲁科版、仁爱版英语等电子课本在线阅读及下载导航。

合肥收银机、合肥车牌识别、合肥考勤门禁打卡机、合肥建筑实名制系统、合肥平安智慧小区建设、合肥智慧社区、AI识别终端、高空抛物检测系统、智慧工地、小区广告平移门、AI红外智能人脸识别测温设备、智慧校园、智慧安防、合肥二道门系统、医院无线呼叫系统、合肥翼闸摆闸三辊闸、合肥财务进销存软件、协同OA系统、合肥加密软件、合肥会员软件、合肥网络管理软件、软件开发-软服(合肥)有限公司

合肥软服信息科技有限公司是一家计算机软硬件及系统集成商,主要产品有合肥收银机、合肥车牌识别、合肥考勤门禁打卡机、合肥建筑实名制系统、合肥平安智慧小区建设、合肥智慧社区、AI识别终端、高空抛物检测系统、智慧工地、小区广告平移门、AI红外智能人脸识别测温设备、智慧校园、智慧安防、合肥二道门系统、医院无线呼叫系统、合肥翼闸摆闸三辊闸、合肥财务进销存软件、协同OA系统、合肥加密软件、合肥会员软件、合肥网络管理软件、软件开发

WordPress主题模板_WP中文社区论坛商城主题_zibll主题_子比主题官网

zibll主题子比主题专为个人、企业的WordPress主题美化设计开发,wp主题采用简约优雅的设计风格搭配强大的商城功能以及易用的模块化配置,成为更加适合中文wordpress商城主题模板、wordpress企业主题模板、wordpress博客主题模板。

森林冰火人,森林冰火人小游戏大全,4399森林冰火人小游戏,4399小游戏

4399森林冰火人小游戏大全收录国内外森林冰火人,森林冰火人无敌版,森林冰火人单人版,森林冰火人2,森林冰火人中文版,森林冰火人3。好玩就拉朋友们一起来玩吧!

电影频道|最新电影_网易娱乐

电影频道提供最新的国内外电影资讯和电影海报,强大的电影资料库,最新电影大片,国内外电影票房榜,最新电影评论,电影每日花絮,及电影午夜场,经典电影等。

重庆分类目录网_收录网站提交

重庆分类目录网站是专注收录各行业优秀的网站!提供网站分类信息检索、整理目录分类排序、按目录行业分类或关键词搜索查询;同时也是网站推广、网站排名、发布外链及提高网站权重等的分类目录平台。

开源软件_网站源码_技术资料查询-爱站技术频道

爱站技术频道精心整理国内外开源软件分享,免费网站源码、网站模板下载,实用技术教程学习资料查找,为技术开发者做更好的源码查询工具平台

武汉田鼠科技有限公司 - 餐饮零售数字化解决方案

武汉田鼠科技专注于餐饮零售数字化解决方案,提供扫码点餐、外卖系统等产品,助力企业数字化转型。

佛山广告公司,佛山画册设计,佛山网站建设,标志设计,产品摄影-★-佛山市迅月广告策划有限公司

★佛山市迅月广告策划有限公司专业高端画册设计,标志设计,产品摄影,网站建设等.摄影设备齐全,为客户提供优秀的设计服务;免费咨询电话:400-0757-191.

广州市皓萱堂珠宝首饰有限公司--水晶手链,天然水晶,手链,水晶,首饰,珠宝

广州市皓萱堂珠宝首饰有限公司新注册于2018年4月。公司的前身是美国一家大型首饰公司驻广州的采购办公室。

全局底部横幅