阶段感知分层注意力关系网络用于诊断预测

分层注意力关系网络在诊断预测中的应用 近年来,电子健康记录(Electronic Health Records,简称EHR)在提高医疗决策、在线疾病检测和监测方面变得极为有价值。同时,基于深度学习的方法在利用EHR进行健康风险预测和诊断预测方面也取得了巨大的成功。然而,深度学习模型通常需要大量的数据,由于参数的庞大数量。此外,EHR数据中存在大量罕见的医学代码,这对临床应用带来了巨大的挑战。因此,一些研究提出采用医学本体来增强预测性能并提供可解释的预测结果。然而,这些医学本体通常规模较小且粒度较粗,缺乏许多诊断和医学概念,更不用说这些概念之间的各种关系了。 为了克服这一限制,本文提出将现有的大规模医学知识图谱(Knowledge Graph,简称KG)结合到诊断预测中,并设计了一种名为HAR...

时间聚合与传播图神经网络用于动态表示

动态图表示的时间聚合和传播图神经网络 背景介绍 动态图(temporal graph)是一种在连续时间内节点间具有动态交互的图结构,图的拓扑结构随时间的推移不断演变。这种动态变化让节点在不同时刻展现出变化的偏好,这对捕捉用户偏好和检测异常行为非常关键。然而,现有的研究通常采用有限邻居生成动态表示,这不仅降低了性能,还引发了高延迟的在线推断问题。为了应对这些挑战,本文提出了一种全新的时间图卷积方法,即时间聚合和传播图神经网络(Temporal Aggregation and Propagation Graph Neural Networks,简称TAP-GNN)。该方法通过展开时间图以消息传递的姿态分析了动态表示问题的计算复杂度,并设计了一个聚合和传播模块(AP block),有效减少了历史邻...

AutoAlign: 由大型语言模型驱动的全自动知识图谱对齐

AutoAlign:由大规模语言模型驱动的全自动、高效知识图谱对齐方法 知识图谱(Knowledge Graph,简称KG)已经被广泛应用于问答系统、对话系统和推荐系统等多个领域。然而,不同的知识图谱中可能存在同一现实实体以不同形式存储的问题,这导致知识共同体和信息互补非常困难,尤其在实际应用中,这些知识图谱的合并是一项核心任务。这涉及实体对齐(Entity Alignment),即识别不同知识图谱中代表相同实体的实体对。然而,现有方法通常需要手工制作的种子对齐(Seed Alignments),其获取成本高、可移植性差,并且人工干预可能引入偏差,影响对齐效果。 为了应对上述挑战,来自Tsinghua University、University of Melbourne、Universita...

基于知识图谱的社交增强可解释推荐

基于知识图谱的社交增强可解释推荐系统 引言 随着互联网世界信息量的不断增加,用户和商品的相关信息也迅速扩展,导致信息过载问题日益严重。推荐系统通过为用户推荐少量符合其偏好的商品,能够有效缓解这一问题,不仅能帮助用户迅速获取感兴趣的内容,还能帮助企业实现精准营销,提升客户忠诚度。在电子商务、社交媒体和搜索引擎等多种平台上,推荐系统扮演着越来越重要的角色。 推荐系统的性能高度依赖于推荐技术。早期的协同过滤(Collaborative Filtering, CF)方法通过推荐与用户曾经互动过的物品相似的其他物品来实现推荐。然而,当用户与物品之间的互动稀疏时,CF方法效果不佳。为了解决这一限制,各种辅助信息如物品属性、用户信息和上下文被整合到模型中。尤其是,当侧信息被转化为特征向量并与用户和物品ID...

知识增强图神经网络用于可解释性推荐

知识增强图神经网络用于可解释性推荐

知识增强图神经网络用于可解释推荐 导言 随着线上信息爆炸式的增长,推荐系统在解决信息超载问题方面发挥着重要作用。传统推荐系统通常依赖协同过滤(Collaborative Filtering,简称CF)方法,这些方法依据用户的历史记录生成推荐。CF方法主要分为记忆型和模型型技术。记忆型方法包括基于用户和基于项目的CF,而模型型方法通过学习模型,例如矩阵分解来进行推荐。近年来,深度学习技术在信息检索和推荐系统研究中展现出了极高的有效性。许多基于深度学习的推荐方法取得了高推荐性能。然而,尽管这些方法在推荐准确性上表现出色,它们缺乏决策过程的可解释性和透明性。为了提升推荐系统的透明性和用户满意度,解释性推荐的研究逐渐受到关注。解释性推荐不仅使推荐更加透明和可解释,还提升了系统的可信度和用户满意度。 ...

面向遗忘-鲁棒知识追踪的深度图记忆网络

面向遗忘-鲁棒知识追踪的深度图记忆网络

面向遗忘-鲁棒知识追踪的深度图记忆网络 近年来,知识追踪(KT)作为个性化学习的重要方法吸引了广泛关注。知识追踪旨在预测学生回答新问题时的正确率,利用他们过往问题的回答历史来估计其知识状态。然而,当前的知识追踪方法仍面临一些挑战,包括对遗忘行为的建模和潜在概念之间关系的识别。为了解决这些问题,本文提出了一种全新的知识追踪模型,即深度图记忆网络(Deep Graph Memory Network, DGMN)。本文具体概述了DGMN模型的设计、实验过程及其在各类数据集上的表现。 研究背景 知识追踪问题自提出以来,一直是教育领域的一个重要研究方向。其核心目标是通过学生的历史回答数据,预测其未来回答问题的正确概率。早期的知识追踪方法主要包括基于贝叶斯方法和状态空间模型的方法,例如隐马尔可夫模型(H...

基于多重关系图注意网络的知识图谱实体类型连接嵌入

连接嵌入基于多重关系图注意力网络用于知识图谱实体类型识别 研究背景 当今,知识图谱(Knowledge Graphs, KGs)在各种基于KG驱动的AI相关领域中引起了越来越多的研究兴趣。大规模的知识图谱提供了丰富而有效的结构化信息,是多个智能应用的核心数据资源,如问答系统和网页搜索。通常,知识图谱中包含大量实体类型(Entity Typing)实例,以元组 ((e, t)) 的形式存在,其中 (e) 是实体,(t) 是其层次型类型。尽管现代知识图谱(如Freebase, YAGO和Google Knowledge Graph)取得了很大成功,但它们的覆盖范围仍远未完全和全面。例如,在FB15k数据集中,10%的具有/music/artist类型的实体没有/people/person类型。 ...

将大型语言模型和知识图谱统一起来

统一大语言模型与知识图谱 背景 近年来,自然语言处理和人工智能领域涌现了大量研究成果,其中,大语言模型(Large Language Models, LLMS)如 ChatGPT 和 GPT-4 表现出色。然而,尽管这些模型具有出色的泛化能力,常常因其黑箱性质无法有效捕捉和访问事实知识而受到批评。另一方面,知识图谱(Knowledge Graphs, KGs)如 Wikipedia 和 Huapu 通过结构化形式存储了大量事实知识,但构建和演化知识图谱的过程却非常复杂。因此,研究人员提出将大语言模型与知识图谱相结合,利用两者的优势以实现互补。 来源 本文发表在《IEEE Transactions on Knowledge and Data Engineering》2024年7月第36卷第7期...

基于图的非抽样策略增强知识图谱推荐系统

基于图的非抽样策略增强知识图谱推荐系统

基于图的无采样知识图谱增强推荐 近年来,知识图谱(Knowledge Graph, KG)增强推荐系统,旨在解决冷启动问题和推荐系统的可解释性,已经吸引了大量的研究兴趣。现有的推荐系统通常侧重于隐式反馈,如购买历史记录,但缺乏负反馈。大多数系统采用负采样策略处理隐式反馈数据,这可能忽略了潜在的正用户-项目交互。而其他一些工作则采用无采样策略,将所有未观察到的交互视为负样本,并为每个负样本分配权重,以表示该样本为正样本的概率。然而,这些方法使用简单直观的权重分配策略,不能捕捉所有交互数据中的潜在关系。 研究背景与动机 随着互联网的快速发展,信息超载的问题日益严重。为了提高用户的搜索体验并增加产品供应商的收入,推荐系统应运而生,并在电子商务、社交网络等多个应用中取得了巨大成功。近年来,作为内容信...

推荐系统中基于知识图谱的上下文图注意力网络

基于知识图谱的推荐系统:Contextualized Graph Attention Network 近年来,随着在线信息和内容的爆炸式增长,推荐系统在电子商务网站和社交媒体平台等各种场景中变得越来越重要。这些系统通常旨在为用户提供她可能感兴趣的项目列表。然而,传统的基于用户行为数据的方法(例如协同过滤、深度学习)面临着数据稀疏性和冷启动问题。为了解决这些问题,研究者尝试将各种辅助信息 (side information) 融入到推荐系统中,其中包含用户的社交网络、评论文本等。 研究背景 在这些辅助信息中,项目知识图谱(Knowledge Graph, KG)包含丰富的项目间关系,并已被证明可以显著提高推荐系统的性能。知识图谱本质上是一个异构网络,其中节点代表实体,边代表关系。然而,如何将这...