基于知识增强的图主题Transformer在可解释生物医学文本摘要中的应用 研究背景 由于生物医学文献发表量持续增加，自动生物医学文本摘要任务变得愈加重要。2021年，仅在PubMed数据库中就发表了1,767,637篇文章。现有的基于预训练语言模型（Pre-trained Language Models，简称PLMs）的摘要方法虽然提升了摘要性能，但在捕捉领域特定知识和结果可解释性方面存在显著局限。这可能导致生成的摘要缺乏连贯性，包括冗余句子或重要领域知识的遗漏。此外，变压器模型的黑箱特性使得用户难以理解摘要生成的原因和方式，因此在生物医学文本摘要中，包含领域特定知识和可解释性对提高准确性和透明度至关重要。 研究来源 本文的论文由Qianqian Xie、Prayag Tiwari（IEE...

InA: 在预训练语言模型上的抑制自适应方法 预训练语言模型（Language Models, LMs）已经在自然语言处理（Natural Language Processing, NLP）任务中取得了显著的效果。然而，传统的微调方法存在冗余参数的问题，影响了效率和效果。为了应对这一挑战，本文提出了一种称为抑制自适应（Inhibition Adaptation, INA）的微调方法，用以减少添加的可调权重，并适当地再权重来自预训练语言模型的知识。 研究背景和问题 当前，微调预训练语言模型是一种常见的解决NLP下游任务的方法。然而，经典的微调方法需要更新所有的模型参数，这会导致冗余参数问题，尤其是当应用于新的下游任务时。冗余参数不仅影响模型的效率，还会阻碍模型性能的提升。为了解决这一问题，已有...

引言: 当前,预训练语言模型(PLM)在自然语言处理领域获得了广泛应用,但它们存在继承并放大训练语料中的社会偏见的问题。社会偏见可能导致PLM在现实应用中产生不可预测的风险,如自动求职筛选系统会由于性别偏见而将需要逻辑能力的工作(如医生、程序员等)倾向于分配给男性,将需要照顾能力的工作(如护士、保姆等)分配给女性;医疗系统则可能存在种族偏见,计算显示在相同风险水平下,黑人病人比白人病人更”虚弱”。因此,消除PLM编码中的社会偏见成为一个富有意义且具有挑战性的研究领域。 论文来源: 该论文发表于2024年的权威期刊《人工智能》(Artificial Intelligence)第332期,第作者为李颖吉,第二作者为Mengnan Du,其余作者分别来自吉林大学计算机科学与技术学院、新泽西理工学院...