TGFuse:基于Transformer和生成对抗网络的红外与可见光图像融合方法

TGFuse:基于Transformer和生成对抗网络的红外与可见光图像融合方法

TGFuse:基于Transformer和生成对抗网络的红外与可见光图像融合方法 背景介绍 随着成像设备和分析方法的发展,多模态视觉数据迅速涌现,具有许多实际应用。在这些应用中,图像融合在帮助人眼感知多模态数据的信息关联中起到了重要作用。尤其是红外和可见光图像的融合,在军事、安全和视觉追踪等领域具有重要应用,成为图像融合任务的重要一环。设计一个自然且高效的图像融合算法,能够提升整图级别的感知,从而适应复杂场景的融合需求。然而,现有基于卷积神经网络(CNN)的融合方法直接忽略了远程依赖性,这妨碍了对整幅图像的平衡感知。 传统的多尺度变换基础上的融合算法,通过提取源图像的多尺度表示并进行融合和还原,获得了初步的研究成果。然而,这些方法在复杂场景的融合方面能力有限,且容易引入噪声,操作效率低。随着...

CLASH:基于互补学习与神经架构搜索的步态识别框架

CLASH:基于互补学习与神经架构搜索的步态识别框架

CLASH:基于互补学习与神经架构搜索的步态识别框架 研究背景 步态识别是一种通过个体的行走模式进行身份识别的生物识别技术。这种技术由于可以在远距离无须个体合作的条件下进行,因此在安全检查、视频检索和身份识别等领域有着广泛的应用。然而,基于人影轮廓的识别方法存在一些问题:二值化的稀疏边界表示缺乏丰富的时空信息,使得轮廓大部分像素对步态模式不敏感。为了提高对步态模式的敏感性,同时保持识别的鲁棒性,本文引入了一种基于神经架构搜索的互补学习(Complementary Learning with Neural Architecture Search, CLASH)框架,旨在解决上述问题。 论文来源 本文由Huanzhang Dou、Pengyi Zhang、Yuhan Zhao、Lu Jin和Xi...

基于信息感知的Transformer展开网络促进高光谱和多光谱图像融合

基于信息感知的Transformer展开网络促进高光谱和多光谱图像融合

基于信息感知的Transformer展开网络促进高光谱和多光谱图像融合 背景介绍 高光谱图像(Hyperspectral Image, HSI)由于其包含多个波段的光谱信息,在材料识别、图像分类、目标检测和环境监测等遥感应用中发挥着重要作用。然而,由于传感器硬件的限制,实际的成像过程中存在空间分辨率和光谱分辨率之间的权衡问题。具体来说,成像传感器只能提供丰富光谱信息的图像(低分辨率的HSI,LR-HSI),或者是高空间分辨率但光谱信息较少的图像(高分辨率的多光谱图像,HR-MSI)。为了获得高分辨率的HSI(HR-HSI),研究者们提出了将LR-HSI和HR-MSI融合的方法,称为MSI-HSI融合。MSI-HSI融合在遥感图像处理中引起了广泛关注。 论文来源 这篇论文《Advancing ...

靶向病毒样颗粒的树突状细胞作为强效mRNA疫苗载体

树突状细胞靶向病毒样颗粒作为强效mRNA疫苗载体 引言 在疫苗开发方面,尤其是mRNA疫苗近年来取得了显著的成就。Moderna 和 Pfizer/BioNTech 针对 COVID-19 的 mRNA 疫苗成为了成功的典范,极大地推动了mRNA疫苗的发展。然而,现有的mRNA疫苗缺乏对特定细胞类型的专一性,尤其是树突状细胞(DCs),这在抗原呈递方面非常关键。树突状细胞是主要的抗原呈递细胞,能有效启动 T 细胞的免疫反应和抗体反应,但现有的mRNA疫苗,如LNPs(脂质纳米粒)等,无法特异性地传递mRNA到这些细胞。此外,还有一些病毒感染,如HIV和HSV,甚至包括一些非传染性疾病如癌症,至今尚无有效预防或治疗疫苗。 论文来源 本文由Nature Biomedical Engineerin...

由大脑皮质发音表征驱动的双语语音神经假体

由大脑皮质发音表征驱动的双语语音神经假体 背景 在神经假体的发展过程中,从大脑活动解码语言的研究一直集中在单一语言的解码上。因此,双语言语产生依赖于不同语言的独特或共享皮层活动的程度仍不清楚。当前研究通过电皮层图(electrocorticography, ECoG)结合深度学习和统计自然语言模型来记录和解码一名西班牙语-英语双语患者的言语运动皮层活动,并将其转化为两种语言的句子。该研究旨在解决双语解码的实际应用问题,尤其是在不需要手动指定目标语言的情况下,实现言语解码。 言语丧失症(anarthria),即失去清晰发音的能力,是中风和肌萎缩侧索硬化症等神经疾病的严重症状之一。目前,侵入性言语脑-计算机接口(BCI)正在被开发,以通过解码皮层活动恢复患者的自然沟通能力。然而,现有的言语BCI...

能够显示细胞外囊泡的抗体,有助于靶向癌症治疗

能够显示细胞外囊泡的抗体,有助于靶向癌症治疗

能够显示细胞外囊泡的抗体在靶向癌症治疗中的应用 外泌体(Extracellular Vesicles, EVs)作为天然的递送载体和生物信号的介导体在各类组织中的应用已有广泛研究。在本篇研究中,研究者借助EVs的这些特性,展示了一种装饰有特定抗体结合域(Fragment crystallizable,Fc)的EVs,其作为癌症靶向治疗的模块化递送系统。本文发表于《Nature Biomedical Engineering》,由一支国际合作团队完成,包括Oscar P. B. Wiklander, Doste R. Mamand, Dara K. Mohammad等人,他们分别来自Karolinska Institutet、Salahaddin University-Erbil以及Univer...

通过检测光敏血管的局部血流动力学来实现生物荧光成像

通过检测光敏血管的局部血流动力学来实现生物荧光成像

学术新闻报道:新的MRI技术通过检测光敏血管的局部血流动力学来实现生物荧光成像 学术背景介绍 生物发光探针广泛应用于监测活体动物中生物医学相关的过程和细胞目标。然而,组织对可见光的吸收和散射极大地限制了生物发光检测的深度和分辨率。特别是在大脑中,由于颅骨对光子的阻挡,短波长光的传播受到限制,导致生物发光成像(Bioluminescence Imaging, BLI)的数据通常限制于浅层来源,并且大多是二维投影,缺乏深度信息。 为了克服这些限制,研究人员开发了光声层析成像和其他基于光散射重建的方法,但这些方法需先验知识和独立成像模式的解剖信息的注册。另一种方法是将生物发光输出局部转换为不同类型的信号,以便使用X射线层析成像、超声波或磁共振成像(MRI)等深度组织成像方式进行检测。尽管已经有一些...

亚细胞分辨率的空间多组学高通量原位成对测序

亚细胞分辨率的空间多组学高通量原位成对测序

亚细胞分辨率的空间多组学高通量原位成对测序 研究背景和目的 随着生物医学研究的不断发展,多组学技术在细胞功能和疾病机制方面的应用越来越受到关注。然而,目前,许多原位测序方法仅限于解读一种生物分子类型的空间信息,同时多种生物分子(如DNA、RNA、蛋白质和小分子)原位共检测仍然面临挑战。此外,由于4n(4代表四种荧光染料,n代表测序或杂交轮数)解码能力的限制,高通量空间组学在成本和检测效率方面仍需改进。为了解决这些问题,本文报道了一种新型的高通量靶向原位测序方法——多组学原位配对测序(MIP-Seq),该方法能够高效检测大脑组织中多种生物分子,在分子和功能图谱的多维分析上提供了新的可能性。 论文来源 该研究由来自华中农业大学的Xiaofeng Wu, Weize Xu, Lulu Deng等人...

StrokeClassifier:使用电子健康记录的集合共识模型进行缺血性脑卒中病因分类

StrokeClassifier:人工智能工具基于电子健康记录对缺血性卒中进行病因分类 项目背景及研究动机 脑卒中(尤其是急性缺血性卒中,AIS)的病因识别工作对二次预防至关重要,但诊断起来往往非常困难。在美国,每年的缺血性卒中新发病例近67.6万,其中四分之一的患者曾有过卒中史。这种病症的再发率较高,甚至可能导致死亡或进一步的残疾。缺血性卒中的病因可以多种多样,包括大动脉粥样硬化、心源栓塞、小血管病以及其他罕见病因。然而,美国大约20-30%的缺血性卒中患者在经过评估后,病因依然无法确定,被归类为隐源性卒中。这部分患者的再发卒中风险特别高。因此,能够准确识别隐源性卒中的病因,对于优化治疗方案、提高患者预后具有重要意义。然而,做出准确诊断需要整合大量的数据,包括临床史、体检结果、实验室数据、...

自监督学习加速度计数据揭示睡眠与死亡率关联的新见解

自监督学习加速度计数据揭示睡眠与死亡率关联的新见解

自监督学习手腕加速度计数据揭示睡眠与死亡率关联的新见解 在现代社会中,睡眠作为生命必需的基础活动,其重要性不言而喻。通过准确测量和分类睡眠/清醒状态以及不同的睡眠阶段,在临床研究中对睡眠障碍的诊断以及解读消费者设备所提供的运动和心理健康数据都是至关重要的。然而现有的非多导睡眠图(Polysomnography, PSG)睡眠分类技术主要依赖于启发式方法,这些方法常常是在相对较小的样本人群中开发的,存在一定的局限性。因此,本研究的目标是通过腕戴加速度计确定睡眠阶段分类的准确性,并探讨睡眠时长和效率与死亡率之间的关联。 研究背景 由Hang Yuan及其团队(包括Tatiana Plekhanova, Rosemary Walmsley, Amy C. Reynolds, Kathleen J....