admin 管理员组

文章数量: 887006

基于连续频率空间情景学习的医学图像分割联邦学习域泛化

文章目录

  • FedDG: Federated Domain Generalization on Medical Image Segmentation via Episodic Learning in Continuous Frequency Space
  • Background
  • Introction
  • Methods
  • Experiments

FedDG: Federated Domain Generalization on Medical Image Segmentation via Episodic Learning in Continuous Frequency Space

因组会分享文献，临时简单做了份联邦学习PPT，公众号：“python小寒”，回复“9214”获取PPT。
感谢博主的精彩分享：=0

Background

数据隐私保护：
EU: 《General Data Protection Regulation (GDPR)》
WHO : 《Ethics and Governance of Artificial lntelligence for Health: WHO Guidance 》
中国︰《数据安全法》，《个人信息保护法》

面临的Challenges：
Data privacy protection
Data silo

Introction

1、Federated Learning
深度神经网络需要大量数据参与训练才容易取得较好的性能，但由于客户隐私或商业利益问题，客观上给数据收集带来了障碍(数据孤岛)。联邦学习为多客户端数据协作提供了一种有前途的隐私保护解决方案，它通过聚合每个本地客户端的参数同时将数据保留在本地，从分散的数据集开发了一个全局模型。
2、Federated Domain Generalization
在实际场景中，由于每个客户端由于所处的环境不同、采集设备不同等问题会造成不同站点采集的数据存在一定差异（域偏移），尤其在医疗图像领域，这个问题更为突出。因此，联邦域泛化就被提出用来解决这个问题。

Federated Domain Generalization：目的是从多个分散的源域中学习联邦模型，以便可以直接推广到完全看不见的目标域。

Methods

低级分布：纹理、颜色分布，高级分布：形状、位置、边界等


动机一：考虑通过传输频域空间幅度谱来进行实现

对于传输频域空间幅度谱这个创新，我们通过使用快速傅里叶变换将数据分为频率空间相位谱和幅度谱，我们传输幅度谱到另外的客户端上计算得到新的幅度谱，然后逆傅里叶变换得到新的图像

phase:语义化的结构信息，如物体的形状、位置、边界等，可以通过分析图像的频率空间相位谱来表示
amplitude:承载了数据的特征信息，如纹理、颜色分布、图案等可以通过分析图像的频率空间幅度谱来表示

对于动机一，这张流程图上有一个详细的介绍，首先左上角是一个幅度谱的共享库，他是由每个本地客户端计算幅度谱然后上传到，我们本地的数据经过傅里叶变换后会得到幅度谱和相位谱，我们将我们本地的幅度谱和共享库的幅度谱进行一个连续频域插值算法，得到一个新的幅度谱，然后我们和原相位谱进行逆傅里叶变换，得到新的图像。然后对于这个连续频域插值算法是比较好理解的，我们主要关注这个M，M是一个中心区域是1，其他区域为0的二进制掩码，所以该公司的意图是：对于新幅度谱由共享库幅度谱的高频部分和共享库幅度谱和本地幅度谱计算过后的低频部分组成。
低频部分包含了信号或图像的低空间变化信息，如平滑区域、慢变化的亮度和颜色。高频成分通常对应于图像的细节、边缘、纹理

动机二：在联邦以外的未见域的分割结果差的原因主要来自分割边界的模糊性

创新二是要在联邦以外的未见域上也有一个优越的性能，对于这个创新，采用了边界情景介导的方法，首先是使用元学习的策略，元训练和元测试任务他们对应的数据集分别是原数据集和经过连续频域插值算法得到的新数据集，我们第一步就是在元训练上训练出一个模型，然后把这个模型拿到元测试任务上进行优化得到最终的模型，边界介导损失在下文有一个介绍

首先我们对mask进行膨胀和腐蚀操作，得到我们的背景mask和边界mask，然后我们要提取出边界mask和背景mask，我们在等式5上可以看到，分子：边界或背景区域，既通过边界mask和背景mask提取出每一层网络特征的边界或背景区域，最后除以他的mask做一个平均池化，这里的边界特征和背景特征指的就是后文的hm和hp
引入对比学习思想，使用InfoNCE loss，通过边界特征和背景特征的对比学习，拉开二者差距，让网络学习到更好的边界描绘
将(HM，HP)表示为一对特征，如果HM和HP属于同一类（边界相关或背景相关），则为正对值为0，否则为负对值为1
最后的边界损失是对比损失对所有正对的平均值，1-F用于控制正对负对，负对的话F为1，1-F=0，所以对于负对该公式为0

Experiments

datasets:

retinal fundus images：

Prostate MRl segmentation：

视网膜眼底分割的联邦域泛化结果比较，衡量指标为dice、HD:

前列腺MRI分割的联邦域泛化结果比较，衡量指标为dice、HD:

消融实验

本文进行了如下消融实验：

(1)对两个模块分别的分析，证明两个模块（连续频域插值，边界介导的情景学习）都对模型有重要贡献

(2)对插值率λ的分析，证明在[0.0,1.0]之间连续插值效果最好

(3)对边界loss的分析，证明meta test过程中Loss中边界loss的重要性

(4)对参与训练的client的数量对泛化性能的影响的分析（仅在前列腺数据集上进行实验）




本文标签： 基于连续频率空间情景学习的医学图像分割联邦学习域泛化

版权声明：本文标题：基于连续频率空间情景学习的医学图像分割联邦学习域泛化 内容由网友自发贡献，该文观点仅代表作者本人， 转载请联系作者并注明出处：http://www.freenas.com.cn/jishu/1732354875h1534146.html， 本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容，一经查实，本站将立刻删除。