可扩展的多模态表示学习网络

学术背景 在人工智能领域,多模态表示学习(Multi-modal Representation Learning, MMRL)是一种强大的范式,旨在将来自不同模态的输入映射到一个共享的表示空间中。例如,在社交网络中,用户通常会同时分享图像和文本信息。通过多模态表示学习,模型可以更好地理解文本中的某些词汇或概念与图像中的视觉模式之间的关系。这种范式在医疗保健、情感识别等多个领域得到了广泛应用,因为数据通常以多种形式存在,而多模态信息的融合可以增强系统的整体理解和决策能力。 然而,现有的多模态表示学习方法面临两个主要挑战:高阶信息保留和样本外数据泛化。首先,现有的方法主要考虑成对的标准图结构,忽略了高阶关系可能带来的潜在洞察。其次,大多数现有的图基于多模态表示学习框架假设在推理阶段已经收集了完整...

MMNC——一种多模态可解释的非编码RNA分类方法

非编码RNA(ncRNA)在细胞过程和疾病发展中扮演着关键角色。尽管基因组测序项目揭示了大量非编码基因的存在,但ncRNA的功能和分类仍然是一个复杂且具有挑战性的问题。ncRNA的多样性、复杂性和功能性使其成为生物医学研究的重要对象,尤其是在生物标志物和治疗靶点的发现中。然而,现有的ncRNA分类工具大多仅依赖于单一或两种数据类型(如序列或二级结构),忽略了其他可能提供重要信息的数据源。此外,现有方法通常缺乏可解释性,难以揭示不同ncRNA类别的特征。 为了解决这些问题,来自Université Paris-Saclay和Institut Curie的研究团队提出了一种名为MMNC(Multi-Modal Interpretable Representation for Non-Coding...

多模态学习用于基因型-表型动态映射

多模态学习揭示基因型-表型动态关系 背景介绍 基因型与表型之间的复杂关系一直是生物学领域的核心问题之一。基因型(genotype)指生物体的遗传信息,而表型(phenotype)则是这些遗传信息在特定环境下的表现。尽管早在1909年,Wilhelm Johannsen就提出了这两个术语,并试图量化它们之间的关系,但一个多世纪以来,我们仍然无法精确地描述基因型如何通过复杂的基因表达模式塑造表型。近年来,单细胞RNA测序(single-cell RNA sequencing, scRNA-seq)等技术的发展使得我们能够在细胞分辨率下观察基因表达的复杂动态,然而这些技术仍然无法全面映射基因型组合如何导致表型的产生。 当前的研究方法,如正向遗传学(forward genetics)和反向遗传学(r...

鲁棒的序列深度伪造检测

鲁棒的序列深度伪造检测 学术背景 随着深度生成模型(如GANs)的快速发展,生成逼真的人脸图像已经变得非常容易。然而,这种技术的滥用也引发了严重的安全问题,尤其是深度伪造(Deepfake)技术的滥用。深度伪造技术可以生成与真实图像几乎无法区分的伪造图像,这些图像可能被用于传播虚假信息、制造假新闻等恶意用途。为了应对这一问题,研究者们提出了多种深度伪造检测方法。然而,现有的方法主要集中在检测单步的人脸篡改操作,而随着易于使用的面部编辑应用程序的普及,人们可以通过多步操作对人脸进行序列化的篡改。这种新的威胁要求我们能够检测出一系列的面部篡改操作,这对于检测深度伪造媒体以及后续恢复原始人脸图像至关重要。 基于这一观察,本文提出了一个新的研究问题——序列深度伪造检测(Sequential Deep...