StyleAdapter:一种统一风格化的图像生成模型

StyleAdapter:一种统一风格化的图像生成模型 近年来,文本到图像(Text-to-Image, T2I)生成技术和深度学习模型的快速发展,显著推动了人工智能在图像生成领域的研究进展。然而,将参考图像的特定风格融入文本生成的高质量图像中仍然是一个挑战。为了解决这一问题,Zhouxia Wang等人提出了一种名为StyleAdapter的统一风格化图像生成模型。这篇论文发表于International Journal of Computer Vision,由香港大学、腾讯ARC Lab、澳门大学以及上海人工智能实验室的研究人员共同完成。 研究背景与意义 目前主流的风格化图像生成方法包括DreamBooth和LoRA。这些方法通过对原始扩散模型进行微调,或增加额外的小型网络来适应特定风格...

利用基于扩散模型的深度学习算法增强超结构成像与体积电子显微镜

利用基于扩散模型的深度学习算法增强超结构成像与体积电子显微镜

利用基于扩散模型的深度学习算法增强超结构成像与体积电子显微镜 背景介绍 电子显微镜(Electron Microscopy,简称EM)作为一种高分辨率成像工具,对细胞生物学取得了重大突破。传统的EM技术主要用于二维成像,尽管已经揭示了复杂的纳米级别细胞结构,但在研究三维(3D)结构时存在一定局限性。体积电子显微镜(Volume Electron Microscopy,简称VEM)作为一种更为先进的技术,通过串联切片和断层扫描技术(如透射电子显微镜TEM和扫描电子显微镜SEM)实现了细胞和组织的3D成像,可以提取细胞、组织甚至小模型生物体的纳米级3D结构。 尽管VEM技术突破了传统二维EM的局限性,但其成像速度和质量之间存在固有的权衡关系,导致成像区域和体积的限制。此外,生成各向同性(isot...

Dimond: 通过深度学习优化扩散模型的研究

Dimond: 通过深度学习优化扩散模型的研究

Dimond: 通过深度学习优化扩散模型的研究 学术背景 在脑科学和临床应用中,扩散磁共振成像(Diffusion Magnetic Resonance Imaging, dMRI)是一种用于非侵入性绘制脑组织微观结构和神经联通性的重要工具。然而,准确估算扩散信号模型参数的计算成本较高,同时易受到图像噪声的影响。现有的多种基于深度学习的有监督估算方法展示了其在提高效率和性能上的潜力,但这些方法通常需要额外的训练数据,并存在泛化性不足的问题。 论文来源 此研究由Zihan Li、Ziyu Li、Berkin Bilgic、Hong-Hsi Lee、Kui Ying、Susie Y. Huang、Hongen Liao和Qiyuan Tian(通讯作者)合作完成,论文发表在《Advanced S...

利用生成扩散模型合成拉格朗日湍流

当前,对于湍流中被流体所携带微粒的统计和几何学性质的研究存在重大挑战。尽管过去30年来在理论、数值模拟和实验方面做出了卓越的努力,但目前仍然缺乏能够真实再现湍流微粒轨迹统计和拓扑特性的模型。本研究提出了一种基于最新扩散模型(diffusion model)的机器学习方法,可以生成三维高雷诺数湍流中单个微粒轨迹,从而绕过直接数值模拟或实验获取可靠拉格朗日数据的需求。 论文信息: 本文作者来自罗马大学等机构,发表于2024年4月的《自然机器智能》(Nature Machine Intelligence)期刊。 研究方法: (a) 研究流程 该研究首先利用直接数值模拟(DNS)生成三维纳维-斯托克斯方程组的高雷诺数湍流场,并追踪大量(327,680条)拉格朗日微粒轨迹,构建高质量的训练数据集。然后...