近日,南华大学计算机学院硕士研究生任林、杨震在EMNLP2023上分别发表两篇Findings论文。EMNLP(Conference on Empirical Methods in Natural Language Processing)是自然语言处理领域的知名国际会议,由国际计算语言学会(ACL)主办,是CCF-B类推荐会议。EMNLP于12月6日至10日在新加坡举行。
任林录用的论文标题为“CoVariance-based Causal Debiasing for Entity and Relation Extraction”。此论文致力于解决关系抽取任务中遇到的长尾分布(long-tail distribution)和分布外泛化(out of distribution)问题。作者提出了一种新颖的协方差和方差优化框架(OVO)。在训练过程中,该框架通过增加特征各维度之间的独立性(利用协方差)和增强少样本标签在训练中的影响及标签间可区分性(利用分组后方差),有效降低了前述问题的影响,并显著提高了模型的整体性能。
OVO模型图
杨震录用的论文标题为“Causal Intervention-based Few-Shot Named Entity Recognition Zhen Yang,Yongbin Liu,Chunping Ouyang”。少样本命名实体识别(NER)任务旨在有限标注样本的情况下识别新类的实体。然而,与具有丰富样本的任务相比,这些任务面临过拟合的显著挑战。这种过拟合主要是由于选择少数样本时产生的伪相关。论文提出了一种基于因果干预的少样本NER方法。方法基于原型网络,对上下文进行干预,以阻断上下文与标签之间的后门路径。对于没有额外上下文的one-shot场景,论文采用增量学习对原型进行干预,有助于减轻灾难性遗忘。在各种基准测试上的实验结果表明,提出的方法取得了最优表现。
因果干预结构图
责任编辑 李洪骞