admin 管理员组

文章数量: 887021

CA

CA-Net：用于解释性医学图像分割的综合注意力卷积神经网络

（CNN（卷积神经网络）的可解释性较差意味着在使用这种神经网络进行深度学习任务时，很难理解网络内部的运作方式和如何做出特定的预测或决策。）

摘要：准确的医学图像分割对于疾病的诊断和治疗计划至关重要。卷积神经网络（CNNs）在医学图像自动分割方面取得了最先进的性能。然而，它们仍然受到复杂条件的挑战，在这些条件下，分割目标的位置、形状和规模变化很大，并且现有的细胞神经网络的可解释性较差，这限制了它们在临床决策中的应用。在这项工作中，我们在CNN架构中广泛使用了多个注意力，并提出了一种全面的基于注意力的CNN（CA-Net），用于更准确和可解释的医学图像分割，同时了解最重要的空间位置、通道和尺度。特别地，我们首先提出了一个联合空间注意力模块，使网络更加关注前景区域。（联合空间注意力：它的主要目标是将不同嵌入空间（embedding space）中的信息整合起来，以更好地处理复杂的关系和特征。自然语言处理中，常常存在多种类型的信息，例如文本、图像、知识图谱等，它们通常表示在不同的嵌入空间中。联合空间注意力通过考虑这些不同嵌入空间中的信息，允许模型同时关注并整合这些信息，模型可以更好地理解和处理多样性数据，从而提高了任务的性能和表现。以更好地理解文本或实现任务。）然后，提出了一种新的通道注意力模块，以自适应地重新校准通道特征响应，并突出最相关的特征通道。此外，我们提出了一个尺度注意力模块，该模块隐含地强调多个尺度中最显著的特征图，从而使CNN适应对象的大小。对ISIC 2018的皮肤病变分割和胎儿MRI的多类分割进行的广泛实验发现，与U-Net相比，我们提出的CA-Net将皮肤病变的平均分割Dice评分从87.77%显著提高到92.08%，胎盘的平均分割Dice评分从84.79%显著提高到87.08%，胎儿大脑的平均分割Dice评分从93.20%显著提高到95.88%。与最先进的DeepLabv3+相比，它将模型大小缩小了约15倍，精度接近甚至更好。此外，通过可视化注意力权重图，它比现有网络具有更高的可解释性。

1 介绍

医学图像分割对于促进定量病理学评估是重要的治疗计划和监测疾病进展[1]。然而，由于几个原因，这是一项具有挑战性的任务。首先，医学图像可以通过各种协议获取，并且通常具有低对比度和不均匀的外观，导致过度分割和细分不足[2]。其次，一些结构的尺度和形状变化很大，例如皮肤镜图像中的皮肤损伤[3]，这使得很难构建先前的形状模型。此外，一些结构在大图像背景下可能具有较大的位置和方向变化，例如磁共振成像（MRI）[2]、[4]、[5]中的胎盘和胎儿大脑。为了获得良好的分割性能，自动分割方法非常需要知道目标的规模和位置。

随着深度卷积神经网络（CNNs）的发展，许多分割任务都取得了最先进的性能[1]。与传统方法相比，细胞神经网络具有更高的表示能力，可以从大型数据集中自动学习最有用的特征。然而，大多数现有的细胞神经网络都面临着以下问题：首先，通过卷积层的设计，它们在不同的空间位置使用共享权重，这可能导致缺乏空间意识，从而在处理具有灵活形状和位置的结构时，尤其是对于小目标，性能降低。其次，它们通常使用大量的特征通道，而这些通道可能是冗余的。许多网络，如U-Net[6]，使用具有不同语义信息的低级和高级特征的级联。它们可能对分割任务具有不同的重要性，突出相关通道同时抑制一些不相关通道将有利于分割任务[7]。第三，细胞神经网络通常提取多尺度特征来处理不同尺度的物体，但缺乏对特定图像最适合分割的尺度的认识[8]。最后但并非最不重要的是，由于其嵌套的非线性结构，大多数现有细胞神经网络的决策很难解释并以黑匣子的方式使用，这限制了其在临床决策中的应用。

为了解决这些问题，注意力机制有望提高细胞神经网络的分割性能，因为它模仿了人类关注特征图中最相关信息的行为，同时抑制了不相关的部分。通常，有不同类型的注意力可以用于细胞神经网络，例如关注相关的空间区域、特征通道和尺度。作为空间注意力的一个例子，注意力门（AG）[9]隐含地生成软区域建议，并突出用于腹部器官分割的有用显著特征。挤压和激励（SE）块[7]是一种通道注意力，它重新校准与目标相关的有用通道特征图。秦[10]在脑肿瘤分割中注意处理具有不同感受野的多个平行分支，在超声图像的前列腺分割中也使用了相同的想法[11]。然而，这些工作只证明了使用单个或两个注意力机制进行分割的有效性，这可能会限制网络的性能和可解释性。我们认为，更全面地利用注意力将提高分割性能，并使人们更容易理解网络是如何工作的。

对于人工智能系统，当应用于医学诊断时，其可解释性是非常理想的[12]。细胞神经网络的可解释性有助于验证预测，其中必须保证网络对正确特征的依赖[12]。它还可以帮助人们了解模型的弱点和长处，以提高性能并发现从大型数据集中提取的新知识。在分割任务中，可解释性帮助开发人员解释和理解决策是如何获得的，并相应地修改网络以获得更好的准确性。一些早期的工作试图通过可视化不同层中的特征图或卷积核来理解细胞神经网络的决策[13]。其他方法，如类激活（CAM）[14]和引导反向传播（GBP）[15]，主要用于解释细胞神经网络在分类任务中的决策。然而，很少研究细胞神经网络在医学图像分割中的可解释性[16]，[17]。Schlenper等人[16]提出了一种注意力门，它在突出显著特征的同时，隐式地学习抑制不相关区域。此外，Roy等人[17]同时引入了空间和通道注意力，以增强有意义的特征。在这项工作中，我们利用空间、通道和尺度的关注来解释和理解我们的网络是如何获得像素级预测的。可视化我们的网络获得的注意力权重不仅有助于了解哪个图像区域被激活用于分割结果，而且还揭示了对预测贡献最大的尺度和通道。

据我们所知，这是第一项利用综合注意力来提高神经网络在医学图像分割中的性能和可解释性的工作。这项工作的贡献有三个方面。首先，我们提出了一种新的基于注意力的综合网络（即CA Net），以充分利用注意力对空间位置、渠道和尺度的影响。其次，为了实现这些注意中的每一个，我们提出了新的构建块，包括双路径多尺度空间注意模块、新的残差通道注意模块和从最合适的尺度自适应地选择特征的尺度注意模块。第三，我们使用综合注意力来获得我们的网络的良好解释性，其中分割结果可以归因于相关的空间区域、特征渠道和规模。我们提出的CA-Net在两个分割任务上得到了验证：从皮枕图像中进行的二值皮肤损伤分割和胎儿MRI（包括胎儿大脑和胎盘）的多类分割，其中对象的位置、规模和形状变化很大。大量实验表明，CA Net的性能优于不使用或仅使用部分注意力的CA Net。此外，通过可视化注意力权重图，我们实现了CA-Net如何用于分割任务的良好解释性。

2 相关工作

A  用于图像分割的卷积神经网络

DeepLab[8]等完全卷积网络（FCN）[18]框架是自然语义图像分割的成功方法。随后，提出了一种编码器-解码器网络SegNet[19]来生成密集特征图。DeepLabv3+[20]通过添加解码器模块和使用深度可分离卷积来扩展DeepLab，以获得更好的性能和效率。

在医学图像分割

本文标签： CA

版权声明：本文标题：CA 内容由网友自发贡献，该文观点仅代表作者本人， 转载请联系作者并注明出处：http://www.freenas.com.cn/jishu/1715646015h643295.html， 本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容，一经查实，本站将立刻删除。