本文档属于类型a，即报告了一项原创研究。以下是对该研究的学术报告：
主要作者与机构
本研究由Shuying Xu和Hongyan Quan共同完成，两位作者均来自华东师范大学计算机科学与技术学院。研究发表于Springer Nature Switzerland AG出版的会议论文集ISBRA 2021中，具体章节为LNBI 13064，出版时间为2021年。
学术背景
本研究的主要科学领域为医学图像分割（medical image segmentation）。随着精准医疗和智能医疗的发展，提高医学图像分割的准确性成为迫切需求。卷积神经网络（CNN, Convolutional Neural Networks）在医学图像分割中取得了显著成果，但在处理复杂且低对比度的解剖结构时，仍难以达到极高的分割精度。近年来，Transformer模型在计算机视觉领域表现出色，但其直接应用于图像分割时，计算量急剧增加，限制了其在实际中的应用。因此，本研究旨在结合CNN和Transformer的优势，提出一种轻量化的医学图像分割框架，称为LiteTrans，以在较低计算量的情况下实现更精确的分割。
研究流程
本研究的主要流程包括以下几个步骤：
1. 问题定义与模型设计
针对医学图像分割中复杂解剖结构的低对比度问题，研究团队提出了LiteTrans框架。该框架基于U形编码器-解码器-跳跃连接（encoder-decoder-skip-connection）架构，深度整合了CNN和Transformer的优势。具体而言，LiteTrans引入了一种新的多分支模块，结合卷积操作和局部-全局自注意力机制（LGSA, Local-Global Self-Attention），以统一局部和非局部特征交互。LGSA是一种计算复杂度较低的全局自注意力近似方案。
局部-全局自注意力机制（LGSA）的设计
LGSA的核心思想是通过局部和全局自注意力的结合来近似全局注意力。具体实现包括两个部分：局部注意力操作符和全局注意力操作符。局部注意力操作符在局部区域内计算自注意力，并选择局部区域的代表点参与全局注意力计算。全局注意力操作符则对这些代表点进行全局自注意力计算，并通过上采样将结果恢复到原始分辨率。为了进一步降低计算复杂度，LGSA使用深度可分离卷积（Depth-Wise Separable Convolutions）替代传统的线性投影。
多分支模块的构建
基于LGSA，研究团队设计了一个由卷积和自注意力操作组成的多分支模块。该模块的一个分支执行轻量化的注意力计算，另一个分支执行卷积操作，然后将两者的权重动态结合，生成一组模拟动态卷积的权重值。这种设计能够同时利用卷积的静态权重和注意力的动态权重，从而提高特征提取的灵活性。
LiteTrans网络的构建与训练
LiteTrans网络基于上述多分支模块重新构建了Transformer块，并应用于医学图像分割任务。网络结构包括卷积缩放层（convolutional scaling layer）作为编码器，以及卷积扩展层（convolutional expanding layer）作为解码器。多层次的卷积特征被输入到Transformer中进行全局交互学习。在训练过程中，研究团队使用了二元交叉熵损失函数（Binary Cross-Entropy Loss）和Dice-Sørensen损失函数来优化模型。
实验与评估
研究团队在Synapse多器官分割数据集和ACDC（Automated Cardiac Diagnosis Challenge）数据集上进行了广泛的实验。实验结果表明，LiteTrans在分割精度上达到了最先进的水平，同时在参数量和计算量上显著低于其他方法。具体而言，在Synapse数据集上，LiteTrans的Dice相似系数（DSC）为77.91%，Hausdorff距离（HD）为29.01 mm；在ACDC数据集上，DSC为89.66%。
主要结果
1. LiteTrans的分割性能
在Synapse多器官分割数据集上，LiteTrans在多个器官的分割任务中表现优异，尤其是在胰腺分割任务中达到了57.60%的DSC，远高于其他方法。在ACDC数据集中，LiteTrans在左心室（LV）、右心室（RV）和心肌（Myo）的分割任务中也表现出了较高的精度。
计算效率
LiteTrans在保持高分割精度的同时，显著降低了参数量和计算量。与TransUNet相比，LiteTrans的参数量仅为后者的一半，但分割精度相当甚至更高。
消融实验结果
研究团队通过消融实验验证了LGSA和多分支模块的有效性。实验表明，引入LGSA和多分支模块后，模型的分割精度显著提升。此外，随着输入图像分辨率的增加，模型的分割性能也有所提高，但计算量也随之增加。
结论
本研究提出的LiteTrans框架成功地将CNN和Transformer的优势结合，提出了一种轻量化的医学图像分割方法。通过引入局部-全局自注意力机制和多分支模块，LiteTrans在保持高分割精度的同时，显著降低了计算复杂度。实验结果表明，LiteTrans在多个医学图像分割任务中达到了最先进的性能，具有重要的科学价值和应用价值。
研究亮点
1. 创新性
LiteTrans首次将局部-全局自注意力机制应用于医学图像分割任务，提出了一种计算复杂度较低的全局自注意力近似方案。
高效性
与现有方法相比，LiteTrans在保持高分割精度的同时，显著降低了参数量和计算量，适合在实际医疗场景中部署。
广泛适用性
LiteTrans在多个医学图像分割任务中表现出色，尤其是在复杂解剖结构的分割任务中具有显著优势。
其他有价值的内容
研究团队还开源了LiteTrans的实现代码，便于其他研究人员复现和改进该模型。此外，研究团队计划进一步优化LiteTrans的计算效率，并将其应用于更多医学图像分割任务中。