基于启发式可逆网络的水下感知增强方法

学术背景与问题提出 水下图像在海洋探测、水下机器人、海洋生物识别等领域具有重要应用价值。然而,由于水对光的折射和吸收作用,水下图像通常存在对比度低、颜色失真等问题,严重影响了后续的感知任务(如目标检测、语义分割等)的准确性。现有的水下图像增强方法主要关注视觉质量的提升,而忽略了增强图像在后续任务中的实际应用效果。因此,如何在视觉质量提升和实际应用之间找到平衡,成为了当前研究的一个重要挑战。 为了解决这一问题,本文提出了一种基于启发式可逆网络的水下感知增强方法(HUPE)。该方法不仅能够提升水下图像的视觉质量,还能通过语义协作学习模块提取任务导向的语义特征,从而更好地服务于后续的感知任务。 论文来源与作者信息 本文由Zengxi Zhang、Zhiying Jiang、Long Ma、Jiny...

基于质量对抗学习的盲图像质量评估:探索内容保真度感知

基于质量对抗学习的无参考图像质量评估方法研究 学术背景 图像质量评估(Image Quality Assessment, IQA)是计算机视觉领域中的一个基础问题,旨在评估图像在视觉内容上的保真度。IQA在图像压缩、恢复等领域具有重要的应用价值。传统的IQA方法主要分为全参考(Full-Reference, FR-IQA)和无参考(No-Reference, NR-IQA)两类。FR-IQA通过比较失真图像与参考图像之间的差异来评估图像质量,而NR-IQA则在没有参考图像的情况下,仅通过失真图像本身来评估其质量。由于NR-IQA缺乏参考图像,其在评估图像内容保真度(Content Fidelity)方面存在较大挑战,难以区分原始内容与失真之间的差异。 近年来,基于深度学习的NR-IQA方法取...

基于边界回归和结构重参数化的细胞核实例分割模型RepsNet

基于边界回归和结构重参数化的细胞核实例分割模型RepsNet

基于边界回归与结构重参数化的细胞核实例分割模型RepsNet 学术背景 病理诊断是肿瘤诊断的金标准,而细胞核实例分割是数字病理分析和病理诊断中的关键步骤。然而,模型的计算效率和处理重叠目标的能力是当前研究中的主要挑战。为了解决这些问题,本文提出了一种基于细胞核边界回归和结构重参数化的神经网络模型RepsNet,用于在H&E染色的组织病理学图像中进行细胞核的分割和分类。 细胞核的分布和形态特征(如密度、核质比、平均大小和多形性)不仅对评估癌症分级有用,还能预测治疗效果。然而,病理图像通常具有细胞核广泛粘连、种类多样、形状多变以及细胞质背景与细胞核前景对比度低等特点,这些特征使得细胞核实例分割变得极为困难。 论文来源 本文由Shengchun Xiong、Xiangru Li、Yunpeng Z...

基于服装状态感知的长期行人重识别特征正则化网络

在计算机视觉领域,行人重识别(Person Re-Identification, Re-ID)是一项重要的任务,旨在通过不同时间和地点的非重叠摄像头捕捉的图像或视频,匹配同一个人的身份。随着监控系统在公共安全中的广泛应用,Re-ID技术成为了视觉监控中的关键环节。然而,Re-ID任务面临着诸多挑战,尤其是在长期行人重识别(Long-Term Person Re-Identification, LT-ReID)中,由于时间跨度较长,行人的服装可能会发生完全、部分或不变的变化,这给传统的Re-ID方法带来了极大的困难。 传统的LT-ReID方法主要分为两类:基于生物特征的方法和基于数据适应的方法。前者依赖于生物特征(如步态、体型、面部特征等)来应对服装变化,但在复杂背景或数据不完整的情况下表现不...

PPlaneSDF:基于伪平面正则化符号距离场的神经室内场景重建

基于伪平面正则化符号距离场的神经室内场景重建 学术背景 室内场景的三维重建是计算机视觉领域中的一个重要任务,具有广泛的应用前景,如计算机图形学、虚拟现实等。传统的三维重建方法通常依赖于昂贵的三维地面真值数据,而近年来,基于神经辐射场(NeRF)的隐式神经表示方法在仅使用多张图像的情况下,展示了强大的三维表面重建能力。然而,由于NeRF主要基于颜色的体渲染进行优化,其在低纹理区域(如地板、墙壁等)的重建效果通常较差。这些低纹理区域在室内场景中普遍存在,且通常对应于平面结构。因此,如何在不引入额外监督信号或对房间布局做出额外假设的情况下,提升低纹理区域的重建质量,成为了一个亟待解决的问题。 本文提出了一种基于伪平面正则化符号距离场(PPlaneSDF)的室内场景重建方法。该方法通过将颜色相似的相...

AutoStory:以最少人力生成多样化故事图像

AutoStory:以最少人力生成多样化故事图像

学术背景与问题提出 故事可视化(Story Visualization)是一项旨在从文本描述的故事中生成一系列视觉上一致的图像的任务。这项任务要求生成的图像不仅要高质量,还要与文本描述保持一致,并且在不同图像中角色的身份和场景也要保持一致。尽管故事可视化在艺术创作、儿童教育和文化传承等领域具有广泛的应用前景,但由于其复杂性,现有的方法往往通过简化问题来处理,例如仅考虑特定的角色和场景,或要求用户提供每张图像的控制条件(如草图)。这些简化使得现有方法在实际应用中表现不佳。 为了解决这些问题,本文提出了一种自动化故事可视化系统,能够以最少的人工交互生成多样化、高质量且一致的故事图像。具体来说,作者利用大语言模型(LLM)的理解和规划能力进行布局规划,然后基于布局利用大规模文本到图像模型生成复杂的...

利用通用代理模型进行样本选择来应对标签噪声

学术背景与问题提出 随着深度神经网络(Deep Neural Networks, DNNs)的快速发展,视觉智能系统在图像分类、目标检测、视频理解等任务中取得了显著进展。然而,这些突破依赖于高质量标注数据的收集,而标注过程通常耗时且昂贵。为了应对这一问题,研究人员开始利用大规模的网络数据进行训练,但这些数据往往带有噪声标签(label noise),这会影响深度神经网络的性能。噪声标签的存在会导致训练数据和测试数据分布不一致,从而影响模型在干净测试数据上的泛化能力。 为了解决这一问题,样本选择(sample selection)成为一种有效的方法。其核心思想是通过某种标准从所有训练样本中分离出干净的样本。以往的方法主要依赖于“小损失准则”(small loss criterion),即认为损...

探索同质和异质一致性标签关联的无监督可见光-红外行人重识别

探索同质与异质一致性标签关联的无监督可见光-红外行人重识别 背景介绍 可见光-红外行人重识别(Visible-Infrared Person Re-Identification, VI-ReID)是计算机视觉领域的一个重要研究方向,旨在从不同模态(可见光和红外)的图像中检索出同一行人的图像。这一任务在智能监控系统中具有广泛的应用前景,尤其是在夜间或低光照条件下,红外图像能够提供额外的信息。然而,现有的VI-ReID方法大多依赖于标注数据,而标注数据的获取既耗时又费力。因此,无监督的VI-ReID方法成为了一个重要的研究方向。 现有的无监督VI-ReID方法主要关注如何建立跨模态的伪标签关联,以弥合模态间的差异。然而,这些方法往往忽略了特征空间与伪标签空间之间的同质和异质一致性,导致生成的伪标...

Aniclipart:基于文本到视频先验的剪贴画动画生成

学术背景与问题提出 Clipart(剪贴画)作为一种预制的图形艺术形式,广泛应用于文档、演示文稿和网站中,能够快速提升视觉内容的吸引力。然而,将静态的剪贴画转换为动态序列的传统工作流程非常繁琐且耗时,通常涉及复杂的步骤,如骨骼绑定(rigging)、关键帧动画(keyframing)和中间帧生成(inbetweening)。近年来,文本到视频生成(text-to-video generation)技术的进步为解决这一问题提供了新的可能性。然而,直接应用现有的文本到视频生成模型往往难以保留剪贴画的视觉特征或生成卡通风格的运动,导致动画效果不尽如人意。 本文提出了一种名为AniClipart的系统,旨在通过文本到视频的先验知识,将静态剪贴画转换为高质量的运动序列。该系统通过定义关键点的贝塞尔曲线...

基于级联潜在扩散模型的高质量视频生成框架LaVie

基于级联潜在扩散模型的高质量视频生成框架LaVie

基于级联潜在扩散模型的高质量视频生成:LaVie 学术背景 近年来,随着扩散模型(Diffusion Models, DMs)在图像生成领域的突破性进展,文本到图像(Text-to-Image, T2I)生成技术已经取得了显著的成功。然而,将这一技术扩展到文本到视频(Text-to-Video, T2V)生成领域仍然面临诸多挑战。视频生成不仅需要生成视觉上逼真的图像,还需要确保时间上的连贯性,同时保留预训练T2I模型的创造性生成能力。现有的T2V生成方法通常依赖于从零开始训练整个系统,这不仅需要大量的计算资源,还难以在视频质量、训练成本和模型可组合性之间找到平衡。 为了解决这些问题,本文提出了LaVie,一个基于级联视频潜在扩散模型(Cascaded Video Latent Diffusi...