EHR-HGCN：一种用于电子健康记录文本分类的新型混合异构图卷积网络方法 学术背景介绍 随着自然语言处理（NLP）的迅速发展，文本分类已经成为该领域一个重要的研究方向。文本分类不仅帮助我们理解文献背后的知识，还在生物医学文本，包括电子健康记录（Electronic Health Records, EHR）等领域有着广泛的应用。现有的研究主要集中在基于双向变压器的编码表示方法（如BERT）和卷积神经网络（CNN）的深度学习方法。然而，这些方法在处理医学长文本时往往面临输入长度的限制和高计算资源的需求。与此同时，针对文本分类的代表性CNN方法往往只提取了附近上下文特征，忽略了文本中更长范围的关系。 为了解决这些问题，近年来异构图卷积网络（Heterogeneous Graph Convolut...

InA: 在预训练语言模型上的抑制自适应方法 预训练语言模型（Language Models, LMs）已经在自然语言处理（Natural Language Processing, NLP）任务中取得了显著的效果。然而，传统的微调方法存在冗余参数的问题，影响了效率和效果。为了应对这一挑战，本文提出了一种称为抑制自适应（Inhibition Adaptation, INA）的微调方法，用以减少添加的可调权重，并适当地再权重来自预训练语言模型的知识。 研究背景和问题 当前，微调预训练语言模型是一种常见的解决NLP下游任务的方法。然而，经典的微调方法需要更新所有的模型参数，这会导致冗余参数问题，尤其是当应用于新的下游任务时。冗余参数不仅影响模型的效率，还会阻碍模型性能的提升。为了解决这一问题，已有...