ICLR 2024 | 联邦学习后门攻击的模型关键层
联邦学习使用多个参与方可以在数据隐私得到保护的情况下训练模型。但是由于服务器无法监控参与者在本地进行的训练过程，参与者可以篡改本地训练模型，从而对联邦学习的整体模型构成安全隐患，如后门攻击。本文重点关注如何在有防御保护的训练框架下，对联邦学习发起后门攻击。本文发现后门攻击的植入与部分神经网络层的相关性更高，并将这些层称为后门攻击关键层。在联邦学习中，参与训练的客户端分布在不同的设备上，它们各自训练自己的模型，然后将更新的模型参数上传至服务器进行聚合。由于参与训练的客户端不可信，存在一定风险，因此服务器基于
联邦学习使用多个参与方可以在数据隐私得到保护的情况下训练模型。但是由于服务器无法监控参与者在本地进行的训练过程，参与者可以篡改本地训练模型，从而对联邦学习的整体模型构成安全隐患，如后门攻击。
本文重点关注如何在有防御保护的训练框架下，对联邦学习发起后门攻击。本文发现后门攻击的植入与部分神经网络层的相关性更高，并将这些层称为后门攻击关键层。 在联邦学习中，参与训练的客户端分布在不同的设备上，它们各自训练自己的模型，然后将更新的模型参数上传至服务器进行聚合。由于参与训练的客户端不可信，存在一定风险，因此服务器
基于后门关键层的发现，本文提出通过攻击后门关键层绕过防御算法检测，从而可以控制少量的参与者进行高效的后门攻击。
论文题目：Backdoor Federated Learning By Poisoning Backdoor-Critical Layers
论文链接：https://openreview.net/pdf?id=AJBGSVSTT2
代码链接：https://github.com/zhmzm/Poisoning_Backdoor-critical_Layers_Attack
方法
本文提出层替换方法识别后门关键层。具体方法如下：
第一步，先将模型在干净数据集上训练至收敛，并保存模型参数记为良性模型
。再将良性模型的复制在含有后门的数据集上训练，收敛后保存模型参数并记为恶意模型
。第二步，取良性模型中一层参数替换到包含后门的恶意模型中，并计算所得到的模型的后门攻击成功率
。将得到的后门攻击成功率与恶意模型的后门攻击成功率 BSR 做差得到 △BSR，可得到该层对后门攻击的影响程度。对神经网络中每一层使用相同的方法，可得到一个记录所有层对后门攻击影响程度的列表。第三步，对所有层按照对后门攻击的影响程度进行排序。将列表中影响程度最大的一层取出并加入后门攻击关键层集合
，并将恶意模型中的后门攻击关键层（在集合 
中的层）参数植入良性模型。计算所得到模型的后门攻击成功率
。如果后门攻击成功率大于所设阈值 τ 乘以恶意模型后门攻击成功率
，则停止算法。若不满足，则继续将列表所剩层中最大的一层加入后门攻击关键层
直到满足条件。
中的层）参数植入良性模型。计算所得到模型的后门攻击成功率在得到后门攻击关键层的集合之后，本文提出通过攻击后门关键层的方法来绕过防御方法的检测。除此之外，本文引入模拟聚合和良性模型中心进一步减小与其他良性模型的距离。
实验结果
本文对多个防御方法在 CIFAR-10 和 MNIST 数据集上验证了基于后门关键层攻击的有效性。实验将分别使用后门攻击成功率 BSR 和恶意模型接收率 MAR（良性模型接收率 BAR）作为衡量攻击有效性的指标。
首先，基于层的攻击 LP Attack 可以让恶意客户端获得很高的选取率。如下表所示，LP Attack 在 CIFAR-10 数据集上得到了 90% 的接收率，远高于良性用户的 34%。
然后，LP Attack 可以取得很高的后门攻击成功率，即使在只有 10% 恶意客户端的设定下。如下表所示，LP Attack 在不同的数据集和不同的防御方法保护下，均能取得很高的后门攻击成功率 BSR。
在消融实验中，本文分别对后门关键层和非后门关键层进行投毒并测量两种实验的后门攻击成功率。如下图所示，攻击相同层数的情况下，对非后门关键层进行投毒的成功率远低于对后门关键层进行投毒，这表明本文的算法可以选择出有效的后门攻击关键层。
除此之外，我们对模型聚合模块 Model Averaging 和自适应控制模块 Adaptive Control 进行消融实验。如下表所示，这两个模块均对提升选取率和后门攻击成功率，证明了这两个模块的有效性。
总结
本文发现后门攻击与部分层紧密相关，并提出了一种算法搜寻后门攻击关键层。本文利用后门攻击关键层提出了针对联邦学习中保护算法的基于层的 layer-wise 攻击。所提出的攻击揭示了目前三类防御方法的漏洞，表明未来将需要更加精细的防御算法对联邦学习安全进行保护。
作者介绍
Zhuang Haomin，本科毕业于华南理工大学，曾于路易斯安那州立大学 IntelliSys 实验室担任研究助理，现于圣母大学就读博士。主要研究方向为后门攻击和对抗样本攻击。
伴随大模型迭代速度越来越快，训练集群规模越来越大，高频率的软硬件故障已经成为阻碍训练效率进一步提高的痛点，检查点（Checkpoint）系统在训练过程中负责状态的存储和恢复，已经成为克服训练故障、保障训练进度和提高训练效率的关键。近日，字节跳动豆包大模型团队与香港大学联合提出了ByteCheckpoint。这是一个PyTorch原生，兼容多个训练框架，支持Checkpoint的高效读写和自动重新切分的大模型Checkpointing系统，相比现有方法有显著性能提升和易用性优势。本文介绍了大模型训练提效中C
AIxiv专栏是本站发布学术、技术内容的栏目。过去数年，本站AIxiv专栏接收报道了2000多篇内容，覆盖全球各大高校与企业的顶级实验室，有效促进了学术交流与传播。如果您有优秀的工作想要分享，欢迎投稿或者联系报道。投稿邮箱：liyazhou@jiqizhixin.com；zhaoyunfeng@jiqizhixin.com本论文第一作者杜超群是清华大学自动化系2020级直博生。导师为黄高副教授。此前于清华大学物理系获理学学士学位。研究兴趣为不同数据分布上的模型泛化和鲁棒性研究，如长尾学习，半监督学习，迁移
AIxiv专栏是本站发布学术、技术内容的栏目。过去数年，本站AIxiv专栏接收报道了2000多篇内容，覆盖全球各大高校与企业的顶级实验室，有效促进了学术交流与传播。如果您有优秀的工作想要分享，欢迎投稿或者联系报道。投稿邮箱：liyazhou@jiqizhixin.com；zhaoyunfeng@jiqizhixin.com本文作者是来自OpenSearch中国研发团队的机器学习负责人杨扬博士以及机器学习工程师耿志超和管聪。OpenSearch是一个由亚马逊云科技发起的纯开源搜索和实时分析引擎项目。目前软件
AIxiv专栏是本站发布学术、技术内容的栏目。过去数年，本站AIxiv专栏接收报道了2000多篇内容，覆盖全球各大高校与企业的顶级实验室，有效促进了学术交流与传播。如果您有优秀的工作想要分享，欢迎投稿或者联系报道。投稿邮箱：liyazhou@jiqizhixin.com；zhaoyunfeng@jiqizhixin.com皮仁杰：香港科技大学博士三年级学生，师从张潼教授和周晓方教授。于2024年获得苹果奖学金。目前主要研究方向是多模态大语言模型和数据为中心的AI。张鉴殊：武汉大学本科三年级学生，目前在张潼
仅需一个任务描述，即可一键分割所有图片！SegmentationAnythingModel(SAM)的提出在图像分割领域引起了巨大的关注，其卓越的泛化性能引发了广泛的兴趣。然而，尽管如此，SAM仍面临一个无法回避的问题：为了使SAM能够准确地分割出目标物体的位置，每张图片都需要手动提供一个独特的视觉提示。如下图所示，即使点击的是同一物体（图(b)-(d)），微小位置变化都会导致分割结果的显著差异。这是因为视觉提示语义信息的缺乏，即使提供了想要分割的目标物体上，仍然可能引发歧义。框提示和涂鸦提示（图(e)(
第一个针对「SegmentAnything」大模型的域适应策略来了！相关论文已被CVPR2024接收。引言大语言模型（LLMs）的成功激发了计算机视觉领域探索分割基础模型的兴趣。这些基础分割模型通常通过PromptEngineer来进行zero/few图像分割。其中，SegmentAnythingModel（SAM）是最先进的图像分割基础模型。图SAM在多个下游任务上表现不佳但是最近的研究表明，SAM在多种下游任务中并非具有很强的鲁棒性与泛化性，例如在医学图像、伪装物体、添加干扰的自然图像等领域表现较差。
AIxiv专栏是本站发布学术、技术内容的栏目。过去数年，本站AIxiv专栏接收报道了2000多篇内容，覆盖全球各大高校与企业的顶级实验室，有效促进了学术交流与传播。如果您有优秀的工作想要分享，欢迎投稿或者联系报道。投稿邮箱：liyazhou@jiqizhixin.com；zhaoyunfeng@jiqizhixin.com本文作者来自浙江大学、上海人工智能实验室、香港中文大学、悉尼大学和牛津大学。作者列表：吴逸璇，王逸舟，唐诗翔，吴文灏，贺通，WanliOuyang，PhilipTorr，JianWu。其
颠覆过往大模型评测标准，最新、最全、最权威的测评数据集MR-Ben来了！这是继今年4月发布堪称GPT-4+DALL-E-3的王炸产品超强视觉语言模型Mini-Gemini后，港中文贾佳亚团队再次提出的极具代表性的作品。在MR-Ben的“监督”下，大模型不仅要像学生那样会答题，还要像老师那样会阅卷，真实的推理能力无所遁形。MR-Ben细致地评测了不少国内外一线的开源和闭源模型，如GPT4-Turbo、Cluade3.5-Sonnet、Mistral-Large、Zhipu-GLM4、
AIxiv专栏是本站发布学术、技术内容的栏目。过去数年，本站AIxiv专栏接收报道了2000多篇内容，覆盖全球各大高校与企业的顶级实验室，有效促进了学术交流与传播。如果您有优秀的工作想要分享，欢迎投稿或者联系报道。投稿邮箱：liyazhou@jiqizhixin.com；zhaoyunfeng@jiqizhixin.com本文共同第一作者简介：张逸骅：密歇根州立大学计算机系博士三年级学生，师从SijiaLiu教授，主要研究方向是大模型的安全、隐私和效率问题。李平治：本科毕业于中国科学技术大学，将于2024
AIxiv专栏是本站发布学术、技术内容的栏目。过去数年，本站AIxiv专栏接收报道了2000多篇内容，覆盖全球各大高校与企业的顶级实验室，有效促进了学术交流与传播。如果您有优秀的工作想要分享，欢迎投稿或者联系报道。投稿邮箱：liyazhou@jiqizhixin.com；zhaoyunfeng@jiqizhixin.com该文章的作者团队来自于哈工大社会计算与信息检索研究中心，作者团队构成：郑子豪、张梓涵、王泽鑫、付瑞吉、刘铭、王仲远、秦兵。多模态表示多模态命名实体识别，作为构建多模态知识图谱的一项基础而
火山引擎是字节跳动旗下企业级云与AI服务平台。聚焦大模型核心能力，依托字节自研豆包多模态大模型，凭借火山方舟一站式平台，提供模型精调、推理部署、智能应用搭建等全链路服务，结合高性能AI算力，助力各行业快速落地大模型数字化与智能化应用。
