目的肝脏和肝肿瘤分割是肝癌放疗计划设计的重要步骤,本文提出新型自动分割模型,以实现肝脏和肝肿瘤的精确分割.方法在3D UNet深度神经网络中加入了残差模块和Swim Transformer模块,提出一个新型的卷积和Transformer结合的Res-Swim-UNet模型.在LiTS公共数据集上对比了所提出方法与先前方法的性能,并在本地数据集上验证了Res-...
为此,本文提出了一种新的网络VT-UNet用于医学图像分割,其基于Transformer进行网络构建,并采用大名鼎鼎的UNet(Encoder-Decoder)作为网络的整体架构:其中Encoder借助强大的自注意力机制可以高效的捕获局部与全局上下文信息,而Decoder则采用一种并行的自注意力和交叉注意力机制来捕获细节,并进行边界细化。借鉴SWin Transformer窗口...
VT-UNet结构如上图所示,模型的输入是大小为D×H×W×C的3D体积,输出是一个D×H×W×K的3D体积,表示体素级类标签。 VT编码器。VT编码器由 3D补丁分区层和线性嵌入层组成,3D补丁合并层后跟着两个连续的VT编码器块。 a、3D补丁分区。基于Transformer的模型使用一系列标记。VT-UNet的第一个块接受D × H × ...
VT-UNet的灵感来自Transformer网络，相较于CNN网络，Transformer网络在扩展性和鲁棒性方面表现更优，其内在的注意力机制能够灵活捕获局部和全局上下文信息，对于3D图像分割的精度至关重要。过去已有将Transformer应用于3D医学图像分割的研究，但普遍存在的问题是将三维体积划分为二维切片进行处理，这可能导致重要的...
3Transformer blocks并不一定是越多越好。这个特点在医疗影像分割任务上尤其显著,因为分割的任务的数据量比较小,所以一个更加简单的网络结构或者加入一定程度的预训练是有必要的(老生常谈了这是)。 最后鸣谢一下Swin Transformer和nnUNet的作者们,其实往小里说,nnFormer不过是基于Swin Transformer和nnUNet的经验结合,te...
PropSAM将一个基于2D卷积神经网络(CNN)的UNet架构与切片间的信息传播和提示指导融合相结合,它是一种具有2D卷积神经网络模块、Transformer模块和整体2D模型架构的高度并行推理方法。与早期模型相比,PropSAM在多个医学断层上的性能和分割目标上表现出稳定性,特别是在提示和不同参数设置的变化中表现出强大的泛化能力,尤为...
受光照前重建和三维空间稀疏性的启发,我们建立了一个两阶段框架:基于CNN的第一阶段提出了一组从图像深度到图像的稀疏体素查询,因为图像特征对应于可见和占用的体素,而不是不可见和空的体素;基于Transformer的stage-2使用类似MAE的架构,首先通过体素对图像的交叉关注来加强所提出的体素的特征化,然后通过自关注来处理全套...
图1 ST-LaneNet: 基于Swin Transformer和改进LaneNet的车道检测网络结构 具体工作步骤如下:(1)将车辆前视图作为输入,通过二值化网络对车道线边缘特征进行提取,并获得车道线边缘建议二值化的特征图;(2)将车辆前视图作为输入,通过图像编码器和图...