2019展现领域新突破 深度学习浪潮下的自然语言处理 百度NeurIPS (2019年展览)

文章编号:46590 最新资讯 2024-12-10 NeurIPS 自然语言处理 2019 百度
2019展现领域新突破深度浪潮下的自然语言处

语音播放文章内容

由深声科技提供技术支持

雷锋网 AI 科技评论按:2019 年 12 月8 日-14 日,机器学习领域国际顶级会议 NeurIPS 2019于加拿大温哥华拉开帷幕。此次大会共吸引了全球1万余名专家学者共赴盛会。本年度,自然语言处理领域在深度学习浪潮下取得了显著成就,成为大会重要议题之一。

深度浪潮下的自然语言,百度NeurIPS 2019展现领域新突破

百度举办了自然语言处理专题研讨会,百度技术委员会主席、自然语言处理首席科学家吴华博士以及多名研究员和工程师,向现场参会者全面介绍了百度在这一领域的长期积累与全新突破。基于具有完全自主知识产权的飞桨平台,百度自然语言处理在语义计算、阅读理解、多轮对话、机器翻译、开放平台与数据等方向均取得了突破性进展,并进行了大规模产业化应用。雷锋网。

深度浪潮下的自然语言,百度NeurIPS 2019展现领域新突破

百度技术委员会主席、自然语言处理首席科学家吴华

预训练方面,百度提出知识增强的语义表示模型 ERNIE及持续学习语义理解框架 ERNIE 2.0,在共计 16 个中英文任务上超越 BERT、XLNET,取得了 SOTA 的效果。11月,百度发布基于ERNIE的语义理解开发套件。从原理、应用到开源及平台化,百度在NLP预训练领域进行了极具价值的创新及实践。

机器阅读理解,已成为评估机器语言理解能力的重要方式,也是搜索引擎和对话系统等行业应用中的关键技术。百度建设及发布了最大规模的中文阅读理解数据集DuReader;在泛化方面提出训练框架D-NET,从多模型融合、多任务学习的角度提升模型的泛化能力;

对于对抗样本的攻击,提出了一种面向阅读理解的对抗训练方法;提出文本表示和知识表示的融合模型KT-NET,以解决需要外部知识和常识的问题。其中具有高鲁棒性和迁移能力的阅读理解模型在今年MRQA 阅读理解评测中夺得冠军。

对话方面,提出了基于深度注意网络的多轮响应选择匹配模型 DAM(Deep Attention Matching Network),显著提高了口语理解能力。 在对话系统框架中,百度一方面提供了可编程的对话管理框架,并内置了多个常用标准对话范式,为在云端开发灵活可变的业务对话逻辑提供了便利。另一方面,提供了需求分发和全局记忆机制,支持多个对话任务的集成与联动,提高了对话技能的可复用性,降低了新业务的重复开发成本。 百度可定制对话技术依托百度大脑 UNIT 3.0 平台,支持 5 万多个对话技能,广泛应用于行业客户。

深度浪潮下的自然语言,百度NeurIPS 2019展现领域新突破

机器翻译领域,百度相继提出了多任务学习、多智能体联合训练等前沿方法,并在2019年国际权威WMT评测中取得中英翻译第一。机器同声传译方面百度走在领域前沿,提出了首个具有预测和可控时延的同传模型,首个语义单元驱动的上下文同传模型,并研发了业内首个语音到语音的同传系统,为用户提供高质量、低时延的同传体验。值得一提的是,基于在此领域取得的进步,由百度主导,联合google、facebook、Upenn、清华等海内外顶尖企业及高校共同组织首届机器同传研讨会,将在本领域顶级会议ACL 2020召开,并将举办国际首届同传评测,以进一步促进技术发展。此外,百度还将在领域权威会议EMNLP 2020中举办机器同传tutorial,就机器同传的原理、方法、前沿进展进行讲座。

深度浪潮下的自然语言,百度NeurIPS 2019展现领域新突破

百度自然语言处理领域产出的卓越成果背后所运用的底层框架,是自研的开源深度学习平台百度飞桨。近两年来,飞桨围绕深度学习框架的基本功能、性能、芯片支持的完备性等技术指标进行了一系列的易用性开发和性能迭代,为开发者提供了优于其他深度学习框架的使用体验。在开发能力方面,飞桨除了支持对常用API的调用之外,还在编程范式上同时支持声明式编程和命令式编程,兼具很好的灵活性和稳定性,可满足不同开发者的开发习惯,更易上手。在训练方面,飞桨平台突破了超大规模深度学习模型训练技术,研制了千亿特征、万亿参数、数百节点的开源大规模训练平台,实现了万亿规模参数深度学习模型的实时更新。在自然语言处理领域,PADDLE-NLP提供了面向6类任务下的30+算法模型,包括上述工作中ERNIE、D-NET等多个国际竞赛的冠军模型。

深度浪潮下的自然语言,百度NeurIPS 2019展现领域新突破

竞赛方面,在NeurIPS 2019: Learn to Move 强化学习赛事中百度再度蝉联冠军,并受邀在Deep RL workshop中进行专题报告。本次比赛的难度非常大,在参赛的近 300 支队伍中,仅有 3 支队伍完成了最后挑战。百度基于飞桨的强化学习框架 PARL 不仅成功完成挑战,还大幅领先第二名(1490 vs 1346)。除了在Best Performance Track获得了第一,相关技术论文也在该赛事的Machine Learning Track中获得了Best Paper Reward.

这些无不显示着百度在NLP领域的技术积累与国际影响力。除了密集的学术交流讨论、报告之外,NeurIPS 2019的百度展台,也吸引了世界各地的参会者。深度学习平台飞桨获得广泛关注,众多参会者到展台咨询使用及合作事宜;百度AI同传吸引了来自美国、俄罗斯、日本、加拿大等世界各国的参与者们纷纷体验。

深度浪潮下的自然语言,百度NeurIPS 2019展现领域新突破

从专题研讨、论文分享、竞赛报告到多样的现场系统展示,百度在今年的NeurIPS 2019上深度参与,全面展现了百度的前沿技术进展。以百度为代表的中国AI企业的频频身影,已成为国际人工智能学术顶会中的“新常态”。

雷锋网报道。

原创文章,未经授权禁止转载。详情见 转载须知 。

深度浪潮下的自然语言,百度NeurIPS 2019展现领域新突破


本文地址: /article/f66d845b20377f03c392.html
全局中部横幅
全局中部横幅
范文先生网_读后感_工作总结计划范文_心得体会_论文范文网

范文先生网站为您提供个人工作总结计划,观读后感,心得体会范文,个人简历模板,演讲稿,作文教案大全,实习实践报告等各类范文范例以供参考。

华润现代服务(深圳)有限公司

华润现代服务公司是华润集团新组建成立的直属机构,承担着现代服务业发展探索者的重要使命,目前已形成涵盖供应链服务、企业综合服务、科创服务在内的多元业务组合。下设华润守正招标有限公司、华润知识产权管理有限公司、华润知识产权有限公司(香港)及华润秘书服务有限公司(香港)等四家公司;同时公司还承担集团业务单元外部董事的服务保障职能。 公司将立足企业专业服务领域,整合华润集团内外部优势资源,坚持专业化、市场化、创新化发展方向,充分发挥所处粤港澳大湾区和香港国际市场的区位优势,汇聚高端才智资源,以完善提升现有各项专业服务为基础,洞察集团内外部企业客户需求,不断拓展企业专业服务市场。

专业生产内外墙涂料_真石漆_仿石漆-佛山市高轩环保建材有限公司

佛山市高轩环保建材有限公司是一家专注建筑工程涂料(外墙涂料、内墙涂料、质感外墙涂料、花岗石多彩漆、水包砂仿石漆、真石漆、岩片漆)和工业地坪涂料的生产、销售、施工为一体的涂料企业,是国内专业建筑工程涂料生产商之一。

巴小图-为你解答情感婚姻、职场、家庭关系和心理困惑

巴小图是一个分享情感婚姻和心理知识的平台。为您提供情感挽回、恋爱知识、相亲约会技巧和心理需求、心理压力、家庭关系、职场社交等心理指导解惑。

拨测-测速网-网站测速-网速测试-宽带测速-Ping检测-DNS查询-IPv6测试-ICP备案查询-Whios查询-站长工具

拨测(boce.com)是专业的一站式网络拨测与站长工具平台,提供测速、测网速、网速测试等全维度测速服务,覆盖网站测速、网站速度测试、宽带测速、IPv6测试及DNS查询、Ping检测等核心检测功能,同时支持ICP备案查询、Whois查询等实用工具,输入域名/IP即可一键检测,精准获取网络性能、解析配置、备案信息、域名详情等数据,助力站长与运维人员快速排查网络问题、优化站点运营,是高效便捷的全能型站长必备工具。

nak80模具钢,日本大同nak80,nak80塑胶模具钢‌-苏州浩凯金属材料有限公司

NAK80一般指NAK80模具钢。NAK80模具钢是一种预硬塑胶模具钢,是日本大同制钢株式会社钢。广泛应用于注塑模具制造。它以优异的耐磨性、耐腐蚀性和良好的热稳定性而著称。被广泛应用于多种模具制造领域。

水质检测仪器_cod氨氮在线分析仪_生物毒性检测仪-霍尔德电子

山东霍尔德电子科技有限公司致力于水质检测仪器,cod氨氮在线分析仪,生物毒性检测仪研发生产,提供各类实验室水质检测仪器综合方案,厂家直销,价格实惠,采购仪器来霍尔德电子

Cash Register Manufacturers,fiscal cash register,fiscal printer___��FISCAT��

FISCAT,fiscalcashregister,fiscalprinter,XIAMENFISCATELECTRICALCO.,LTDisayoungcompanyspecializedinsolutionsforfiscalECR,fiscalprinter,andpointofsales.Wedesign,researchandmanufacturetheproductsinChina.OurproductrangeincludesfiscalECR,fiscalprinter,POSprinter,mobileprinter,POSterminal,CashDrawer,externaldisplaysandcardreader.

吨包袋-厂家-江苏贞善道包装新材料有限公司

江苏贞善道包装新材料有限公司是吨包袋,集装袋,集装箱内衬袋的生产厂家。公司拥有全套优良的吨包袋,集装袋生产流水线,年产量300万条。

全局底部横幅