ACL 3篇来自一个意大利科研团队 2022 共收录4篇词义消歧论文 (acl三部曲)

文章编号:40672 资讯动态 2024-12-03 意大利科研团队 ACL 2022 词义消歧

ACL 2022 共收录4篇词义消歧论文,3篇来自一个意大利科研团队

acl 2022已经于近期正式在官网上刊登了录取的文章,其中涉及到词义消歧(Word Sense Disambiguation, WSD)的文章共有4篇,参考下图的查询。

WSD是指识别出有多个义项的目标词汇在上下文中的含义,是NLP中一个重要并且具有NP-hard复杂度的任务,不仅可以帮助机器更好地识别词汇语义,还对机器翻译、文本理解等下游任务起到辅助作用。

本文简要整理并介绍其中已经公布了论文全文的前三篇,值得注意的是,这三篇都出自同一个课题组,即来自意大利罗马一大的Sapienza NLP,导师为Roberto Navigli。

ACL 2022 共收录4篇词义消歧论文,3篇来自一个意大利科研团队



WSD真的超过了人类性能了吗?
ACL 2022 共收录4篇词义消歧论文,3篇来自一个意大利科研团队

本文是一篇评测以往的WSD方法的 分析型 论文,并根据对于当前方法的不足,提出了更加富有挑战性的数据集和评测指标。具体而言:

1、文章从定性和定量两个方面,仔细分析了7个当前最SOTA的模型都会存在的一些错误和偏差。这些模型都是经典模型,并且在当时达到过最佳性能。它们分别是基于判别式的ARES,BEM,ESCHER(当前SOTA),EWISER, GlossBERT;基于生成式的Generationary;和无监督训练的SyntaGrank模型。值得注意的是, 这7个模型中有5个模型是属于Roberto课题组
考虑到理想的模型应该表现得和人类类似的假设,现有模型在WSD上犯得很多错误是低级和违背常识的。例如下面的例子:

ACL 2022 共收录4篇词义消歧论文,3篇来自一个意大利科研团队

ESCHER是当前SOTA模型,在上述对于母语者看来wind一定不会是空气的含义,但模型却判断错误。
从定量的角度,文章重点分析了WSD中非常常见的不平衡问题——最频繁释义偏差(MFS)和训练数据偏差,即测试集中存在训练集中从未见过的释义。这两个问题都由知识不确定性(epistemic uncertainty)导致的。从定性角度,文章则分析了标注者偏差,这属于固有的随机不确定性(aleatoric uncertainty),一个语言学专家标注了测试集出现的6类偏差,并做了详细分析。
2、出于上述偏差的分析,文章也提出了一系列更硬核的评测测试集合,即42D,42个语言domain,并且对于那些不常出现的释义目标也做了很好的评估。
同时研究者们提出了修正了原有的micro-averaged的F1得分,而变成了macro-average的F1得分。
最后,文章收集了在上述模型中都难以分对的那些实例,命名为“hardEN”。换句话说这个所有的模型对于这个测试集的F1得分都为0。这样对于之后模型评估设计了一个很难的试金石。




用来衡量机器翻译中的WSD的测试基准
ACL 2022 共收录4篇词义消歧论文,3篇来自一个意大利科研团队

一词多义现象在机器翻译中显得尤为突出,这也是机器翻译中常常出现的偏差的原因。文章研究了机器翻译中的多义性偏差现象,并且提出了一个全新的测试基准,包含针对多种语言的测试集以及评价指标。具体来看,文章的贡献有:

1、文章针对英语作为源语言,五种语言(中文、德文、意大利语、俄罗斯语和西班牙语)作为目标语言,标注了常见的WSD中出现的带有歧义词的正负样例,如下图展示了一个样例,显示了英文中shot在不同语言中的正误翻译:

ACL 2022 共收录4篇词义消歧论文,3篇来自一个意大利科研团队

文章详细描述了句子的收集过程,包括语言库选择、句子清洗和过滤、数据集标注等。下图展示了数据集的标注统计量:

ACL 2022 共收录4篇词义消歧论文,3篇来自一个意大利科研团队

其中数据集主要收集了名词和动词。之后由于数据集是从BabelNet中收集的,文中则定义了好的和坏的释义集,并且统计了多大比例的释义被标注者添加(OG);多大比例被移除(RG)和两句例句使用同一释义的比例(SL),统计量如下:

ACL 2022 共收录4篇词义消歧论文,3篇来自一个意大利科研团队

2、除了准确率,文章定义了四种全新的评价指标,用来衡量频率和词义的关系,它们分别是:Sense Frequency Index Influence (SFII),Sense Polysemy Degree Importance (SPDI),Most and More Frequent Senses相关的两个MFS和MFS+。
3、文章比较了5类SOTA的机器翻译系统,包含两类商业系统:DeepL Translator,Google Translator和三类非商业模型,包含:OPUS,MBart50和M2M100。它们在五类语言上的分类结果参考下图:

ACL 2022 共收录4篇词义消歧论文,3篇来自一个意大利科研团队

从准确率上可以看出,DeepL的性能要显著得比其它方法更好。

在细粒度分析歧义的新指标上,也有类似的趋势:

ACL 2022 共收录4篇词义消歧论文,3篇来自一个意大利科研团队

之后,文章还探讨了很多有意思的语言学分析,比如,是否动词要比名词更难翻译?编码器是否真的可以去歧义等等?有兴趣的读者可以找来文章细细阅读。

代码和评测平台之后会放出:




实体去歧义任务的新定义
ACL 2022 共收录4篇词义消歧论文,3篇来自一个意大利科研团队

文章对WSD内的一个更加细粒度的实体去歧义的任务进行了新的方式去定义,即把它当作一个文本抽取的任务,并且采用两个Transformer模型架构实现(命名为EXTEND)。EXTEND在6个评价数据库中有4个在F1 score上都达到了SOTA水平。

实体是指关系网络中的节点,相比WSD中更加宽泛的词汇,实体名词往往更具有实际意义,并且更有多义性的可能性,下面展示了一个例子,选出Metropolis可能指的是哪个场景下的。

ACL 2022 共收录4篇词义消歧论文,3篇来自一个意大利科研团队

具体而言,如下图,EXTEND架构首先将输入的上下文和所有的候选项拼接在一起,模型的输出则是目标选项的起始和终止的单词索引。其中,提取特征的部分是Longformer,之后的head采用简单的FC输出每一个词汇可能成为起始和终止的概率。

ACL 2022 共收录4篇词义消歧论文,3篇来自一个意大利科研团队

事实上,将WSD定义为这种文本提取的方式在之前的方法ESC和ESCHER中被两次用到(都是同一位作者),其中的ESCHER方法是当前WSD的SOTA方法,这启发我们这种截取式方式的有效性。

以下是模型在6个数据集上的表现,它在其中的4个上面达到了最优的水平。

ACL 2022 共收录4篇词义消歧论文,3篇来自一个意大利科研团队




关于课题组
ACL 2022 共收录4篇词义消歧论文,3篇来自一个意大利科研团队
如前述所示,这三项工作都是由Roberto Navigli领导的课题组完成的。在WSD领域内,该课题组就承包了大半工作,包含模型的提出、新任务的定义、数据集语料库的建设、富有启发的分析等等。而Roberto本人也一直专注于这一领域,其博士毕业论文就是关于WSD的;而实验室成员的很多研究方向也都几乎包含这个领域,这是从不同的角度去挖掘,例如多语等。
这种几十年如一日的专注确实很令人敬佩,这可能也是课题组不断可以产出高质量的WSD文章的重要原因。实验室主页()就有详细的文章介绍,对这一领域感兴趣的同学一定要随时关注。
ACL 2022 共收录4篇词义消歧论文,3篇来自一个意大利科研团队

原创文章,未经授权禁止转载。详情见 转载须知 。

ACL 2022 共收录4篇词义消歧论文,3篇来自一个意大利科研团队


本文地址: https://www.gpxz.com/article/d410c076140dbc70f2cf.html
全局中部横幅
全局中部横幅
上海防火门厂家

上海鎏铖科技有限公司主要从事防火门,金属门框,矿物门芯,防火纤维水泥板,膨胀密封条,阻燃防潮密度板等产品销售,帮助了众多客户通过了国内国际防火测试.产品质量优异,防火性能好,价格合理,产品型号规格全,厂家直发,欢迎来电详谈18616658007.

执业医师

白文涛医考,为医考生提供执业医师,助理医师资格考试,真题模拟试题,教学视频,医师报名,报考时间,复习指导,成绩查询,临床助理医师,执业医师,助理医师辅导班和面授辅导培训

上海申安医疗器械厂

上海申安医疗器械厂专业生产蒸馏水器、手提式灭菌器、立式灭菌器、卧式灭菌器,优越的性能,完美的售后服务,一定会成为你合格和合作伙伴。

湖北省希铭科技有限公司

产品包括:汽车电瓶,汽车配件,汽车音响。公司的研发人员在吸收世界先进技术的基础上将科学技术知识应用的实际设计中,生产出了极具竞争力的产品。公司秉承顾客至上,锐意进取的经营理念,坚持客户第一的原则为广大客户提供优质的服务。在经济全球化的今天,将不断提升自我,打造完美诚信企业。 公司始终坚持科技领先,

汇能工业技术(西安)有限公司

汇能工业技术(西安)有限公司位于西安市高新区发展大道25号,公司积极从事减少污染、消除污染、美化环境的技术研发和应用。致力于提供生态环境综合治理系统解决方案,业务涵盖大气污染治理、水污染及环境处理、固危废处置、土壤及场地修复、生态修复及保护等。公司致力于环保产业,深度参与蓝天、碧水、净土、清废行动,立志成为高端环保装备业的引领者,成为受人尊敬的一流综合环境服务商。

图特榜开区网

图特榜开区网每天为您提供全球最新的各种传奇私服版本包括复古传奇,轻变传奇,中变传奇等,隆重推出新开传奇sf表和传奇发布网让您惊喜不断。

复合面料

昆山市英杰纺织品进出口有限公司是一家专业生产专业户外运动面料,复合面料,阻燃面料,防紫外线面料为一体的公司,您身边的功能性面料及布料专家,公司主要生产功能性面料,复合面料,TPU复合面料,阻燃面料,防紫外线面料,吸湿排汗面料,防水透气面料,箱包面料,滑雪服面料,羽绒服面料为主的企业。

杰琛云系统

杰琛美容美发软件,飞天美容美发软件,美容美发美甲系统软件,集会员管理、收银管理、提成核算、APP预约、微信拓客等为一体的美业运营管理系统,用于美发连锁店、美容院、美甲店、养生馆、足疗城等。10万+门店已选的会员管理系统,系统功能全操作易,会员管理优选!百元就能买到的会员管理系统,简单操作,稳定!会员管理,管理系统,会员系统,美发系统,美容系统,美容美发,美甲系统,销售系统,仓库管理系统,一卡通

厦门谦帆展具

谦帆(厦门)工贸有限公司是展示架厂家,专业生产人造石展示架,瓷砖展示架,木地板展示架,石材样品册,石材样品盒,石材展示板。

欧畅云

欧畅云-以音视频互动技术为核心驱动,大数据与人工智能为支撑,帮助企业快速部署直播系统,加速完成数字化、智能化转型。多年行业积累,值得信赖。

带你飞游戏站:手机游戏

带你飞游戏站致力于为用户提供免费手机游戏软件下载,内含各类精品的手机游戏,安卓软件,实用的游戏辅助,还有热门手游排行推荐,为您打造2021最新最全面的游戏软件平台!


全局底部横幅