admin 管理员组文章数量: 887021
READ
READ-2319 FedEraser: Enabling Efficient Client-Level Data
| 论文名称 | FedEraser: Enabling Efficient Client-Level Data |
|---|---|
| 作者 | Gaoyang Liu; Xiaoqiang Ma; Yang Yang; Chen Wang; Jiangchuan Liu |
| 来源 | IEEE IWQOS 2021 |
| 领域 | Machine Learning - Federal learning - Security - Defence – Data poisoning attack |
| 问题 | ML中通过遗忘消除投毒攻击影响的方法不能很好的应用在FL领域 |
| 方法 | 利用客户端的历史参数更新来重建非学习模型，并进一步开发了一种校准保留更新的方法，用中央服务器的存储换取未学习模型的构建时间 |
| 创新 | 遗忘恶意客户端的数据 |
阅读记录
一、总框架
- 标准FL过程：服务器每隔几轮就保留一次客户端模型，以及其对应的轮次
- 矫正训练：Calibration Training
- 初始的矫正全局模型：因为标准FL的初始模型未被目标客户端训练，FedEraser可以直接更新全局模型，而无需在第一个重建时期校准剩余客户端的参数
- 方法
①让矫正客户端在前一轮校正后的全局模型上进行矫正训练
②在矫正训练后，每个矫正客户端计算当前的更新，并发送给服务器进行矫正
- 更新矫正：Update Calibrating
- 方法
①服务器获得每个客户端关于校准的全局模型的当前更新
②使用当前更新计算矫正值 - 矫正
U：服务器保留的客户端更新
^：客户端在前一轮矫正全局模型上训练得到的更新
~：保留的客户端更新需要矫正的值
绝对值：表示需要矫正的全局模型参数的值
范数：需要矫正的全局模型的方向
- 矫正更新聚合：Calibrated Update Aggregating
聚合矫正值
w：由数据量占比计算的客户端权重 - 未学习的模型更新：Unlearned Model Updating
矫正全局模型
M：当前的全局模型
U：聚合的矫正更新 - 伪代码
二、时间损耗分析
1.服务器保留了几轮更新就需要重训练几轮
2.矫正客户端只需要训练少量epoch
总结
FedEraser通过在标准FL之后，附加矫正训练，消除某一个客户端在训练过程中对全局模型的影响。在标准FL中，服务器每隔一段时间就保留一次客户端更新。在矫正训练中，良性客户端重新训练，根据重训练更新确定方向，根据收集的更新确定更新值，最终服务器聚合矫正值，获得矫正模型。
在这个过程中存在一些问题：
- 若攻击者执行的攻击是one-shot攻击，这将损失一部分性能
- 需要与恶意检测的算法结合
- 是否可以在训练过程中就进行消除，从而减少附加通信量
- 在查看实验结果的时候发现，FedEraser虽然可以加快重建模型的速度，但是不能完全去除攻击产生的影响
本文标签： READ
版权声明：本文标题：READ 内容由网友自发贡献，该文观点仅代表作者本人， 转载请联系作者并注明出处：http://www.freenas.com.cn/free/1698541132h307601.html， 本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容，一经查实，本站将立刻删除。
发表评论