卷积神经网络中归因图可靠性的扰动评估方法

深度学习解释性研究:基于扰动的归因图评估方法 背景和研究动机 随着深度学习模型在各种任务中取得显著成功,人们越来越关注这些模型的解释性和透明性。然而,尽管模型在准确性上表现卓越,其决策过程的可解释性仍然存在很大不足。这种不足限制了模型在实际应用中的推广,因为许多场景需要模型不仅能提供准确的预测,还需具备鲁棒性、不确定性估计以及对决策过程的直观解释能力。 在计算机视觉领域,归因方法(Attribution Methods)被广泛应用于神经网络的解释性研究。这些方法通过生成归因图(Attribution Maps,AMs),显示输入图像中哪些区域对模型的决策贡献最大。然而,由于归因图的定性特性,如何定量评估这些图的有效性仍是一个未解决的问题。本研究旨在解决归因图评估中面临的可靠性和一致性问题,为...

NAF和SynthStab:基于RAFT的网络和合成数据集的数字视频稳定方法

基于深度学习的视频稳定方法改进与合成数据集SynthStab的研究 背景介绍 数字视频稳定技术通过软件去除不必要的振动和相机运动痕迹,是现代视频处理中的关键技术,尤其在业余视频拍摄中应用广泛。然而,现有基于深度学习的直接变形(Direct Warping Stabilization,简称DWS)方法虽然在低质量视频中表现良好,但在应对剧烈不稳定性时效果有限,且难以达到传统方法的稳定水平。这主要源于以下原因:现有数据集的稳定视频定义不够明确、模型结构简单、对未来帧的预测信息利用不足等。 为此,本文提出一种新型的基于RAFT(Recurrent All-Pairs Field Transforms)的半在线直接变形方法——NAFT,以及一个新的合成数据集SynthStab,用以解决上述问题。这些...

多视角变换网络(MVTN):3D理解的最新方法

多视角变换网络(MVTN):3D理解的最新方法

多视角变换网络(MVTN)推动3D理解研究的新进展 背景与研究动机 在计算机视觉领域,三维(3D)数据的深度学习研究近年来取得了显著进展,尤其是在分类、分割和检索任务中。然而,如何有效利用三维形状信息仍然是一个重要的挑战。常用的三维数据表示方法包括点云(Point Clouds)、网格(Meshes)和体素(Voxels)。此外,另一种流行的策略是通过多视角投影技术,将3D对象或场景渲染成多个二维(2D)视图。这种方法与人类视觉系统接收的图像流更为相似,并且可以充分利用2D深度学习的先进成果。 多视角方法如MVCNN(Su et al., 2015)通过渲染固定视点的2D图像,显著提升了3D形状分类的性能。然而,这些方法普遍依赖固定的视角配置(如随机采样或预定义视点),难以根据具体任务动态调...

跨尺度共生局部二值模式用于图像分类

基于跨尺度共现局部二值模式的图像分类方法研究 图像分类技术在计算机视觉领域中占据重要地位,而图像特征提取是该领域的核心研究方向。近年来,局部二值模式(Local Binary Pattern, LBP)由于其高效性和描述能力被广泛应用于纹理分类、人脸识别等视觉任务中。然而,传统的LBP方法在处理几何变换(如旋转、缩放)和图像噪声时表现出明显的局限性。针对这些问题,重庆邮电大学的肖斌等研究团队在《International Journal of Computer Vision》期刊上发表了题为“CS-COLBP: Cross-Scale Co-Occurrence Local Binary Pattern for Image Classification”的研究论文,提出了一种新的图像特征提取...

通过StyleGAN实现图像编辑

GAN反演与图像编辑新方法:Warping the Residuals for Image Editing with StyleGAN 背景与研究问题 生成对抗网络(Generative Adversarial Networks, GANs)在图像生成领域取得了显著的进展,为高质量图像的合成和编辑提供了可能性。StyleGAN模型以其语义可解释的潜在空间组织,展现了超越传统图像翻译方法的编辑能力。然而,GAN的实际应用面临一个核心挑战:在真实图像编辑中,需要将图像逆向投影到GAN的潜在空间(即GAN反演),实现对原始图像的高保真重建以及高质量的编辑。 现有方法中,低比特率潜在空间(如StyleGAN的$W^+$空间)在编辑上表现较佳,但由于信息瓶颈问题,往往丢失图像细节;而高比特率潜在空间虽...

基于Transformer的对象再识别综述

Transformer for Object Re-Identification: A Survey 背景与研究意义 对象重新识别(Object Re-Identification,简称Re-ID)是一项重要的计算机视觉任务,旨在跨时间和场景识别特定对象。这一领域在深度学习技术的推动下取得了显著进展,尤其是基于卷积神经网络(Convolutional Neural Networks,简称CNNs)的研究。然而,随着视觉Transformer的出现,Re-ID研究开启了新的篇章。本文综述了基于Transformer的Re-ID技术,分析其在图像/视频、少数据/少标注、多模态及特殊应用场景中的优势与挑战。 研究团队与发表信息 本文由来自武汉大学、Sun Yat-Sen University和In...

中风后的癌症风险与表观遗传年龄加速的关系

脑卒中后长期癌症风险与表观遗传年龄的关联研究 研究背景与意义 癌症与卒中是全球范围内主要的致病与致死原因,二者之间的关联性已受到广泛关注。据统计,约6%的癌症患者在其生命周期内会经历卒中,而卒中患者罹患癌症的风险则是普通人群的两倍。此外,有研究表明,卒中(无论是缺血性还是出血性)可能会先于癌症的诊断。这种复杂的病理关系凸显了理解其潜在机制的必要性。 DNA甲基化(DNA methylation, DNAm)作为表观遗传研究的核心领域,通过对特定CpG位点的甲基化状态评估,可以构建表观遗传时钟(epigenetic clocks),从而准确预测个体的生物年龄(biological age, B-age)。研究显示,加速的生物年龄与癌症和卒中等疾病的发生风险显著相关。然而,关于卒中后癌症风险与生...

可切除肢端黑色素瘤的新辅助溶瘤病毒OrienX010与托瑞帕利单抗联合治疗的Ib期研究

新辅助溶瘤病毒OrienX010联合抗PD-1抑制剂特瑞普利单抗治疗可切除肢端黑色素瘤:I期b临床试验 背景 肢端黑色素瘤(Acral Melanoma, AM)是一种侵袭性较强的黑色素瘤亚型,在中国人群中发病率较高,占黑色素瘤病例的约40%。尽管近年来黑色素瘤的治疗取得了一定进展,但现有的免疫疗法对AM的疗效有限,且缺乏有效的新辅助治疗方案。AM独特的低肿瘤突变负荷(TMB)和免疫抑制状态使其对单一抗PD-1治疗反应率低,生存期较短。 近年来,新辅助免疫治疗被认为比单纯术后辅助治疗更能诱导强大的免疫应答,改善患者的无病生存期(DFS)和总生存期(OS)。溶瘤病毒治疗则通过改造“免疫冷”肿瘤微环境为“免疫热”状态,为免疫检查点抑制剂(ICI)的协同治疗提供可能性。然而,AM对目前溶瘤病毒单药...

整合多组学数据揭示凋亡小体清除作用在肺腺癌预后和免疫治疗中的意义

肺腺癌中凋亡小体清除特性及其预后与免疫治疗的关联研究 背景与研究动机 肺癌是全球癌症相关死亡的主要原因,其中肺腺癌(Lung Adenocarcinoma,LUAD)是最常见的组织学亚型。由于疾病的隐匿性和缺乏特异性,大多数肺癌患者确诊时已处于晚期,传统治疗方式(如手术、放疗和化疗)的疗效有限,患者总体生存率较低。近年来,免疫治疗尤其是免疫检查点抑制剂(Immune Checkpoint Inhibitors,ICIs)为非小细胞肺癌(NSCLC)患者带来了希望,但其疗效仍受限于肿瘤微环境(Tumor Microenvironment,TME)的免疫抑制作用。 凋亡小体清除(Efferocytosis,ER)是由吞噬细胞清除凋亡细胞的生物过程,在肿瘤进展中起关键作用。研究表明,ER促进肿瘤免...

BRCA携带者肿瘤分析揭示不同时间点的基因组相似性

BRCA1/2 基因携带者肿瘤分析:在不同时间点显现基因组相似性 乳腺癌(Breast Cancer, BC)是全球女性中最常见的恶性肿瘤,其发病机制多为散发性,而家族性遗传病例仅占5%到10%。在众多致病分子中,BRCA1/2 基因突变(Pathogenic Gene, PG)因其高渗透性成为遗传性乳腺/卵巢癌综合征研究的重点。这些基因突变显著提高了女性罹患乳腺癌和卵巢癌的终生风险,分别高达38%至87%和16.5%至73%。此外,BRCA1/2 突变还与其他癌症类型相关,包括胰腺癌、胃癌和前列腺癌。 本文作者团队包括 Tal Falick Michaeli、Avital Granit Mizrahi 等,他们隶属于以色列 Hebrew University 和 Hadassah Medi...