Python怎么验证机器学习模型的鲁棒性_使用Foolbox生成对抗样本评估分类器防御

使用Foolbox评估模型鲁棒性，有几个关键点经常被忽略，但恰恰是成败的分水岭。先说清楚一个基础问题：你的模型返回的到底是logits还是softmax概率？这个问题你不得不知。Foolbox默认要的是logits，也就是未归一化的原始输出。如果PyTorch模型在forward里加了torch.nn.functional.softmax(..., dim=1)，直接硬上，攻击要么失准，要么根本跑不通——因为梯度在softmax压缩后变得极其微弱，难以有效传导。

记住这几点：包装模型时，确保预测函数返回的是model(x)，也就是logits，不要画蛇添足。如果是scikit-learn的分类器，比如RandomForestClassifier，用decision_function，别用predict_proba。怎么验证呢？很简单：把一个干净样本送进去，看输出shape是不是(1, num_classes)，并且各行数值之和明显不等于1。如果发现被归一化了，就得回头检查代码。

攻击算法的选择：不是所有武器都适合你的战场

攻击算法选不对，评估结果就是空中楼阁。FGSM虽然快，但容易被梯度掩码这类防御手段糊弄过去；相比之下，PGD（ProjectedGradientDescent）是多步迭代、可微的算法，能穿透大多数浅层防御，是更可靠的基准方案。具体怎么配？白盒攻击（你知道模型结构和参数）优先用PGD或CarliniWagnerL2Attack；黑盒攻击（只有API查询权限）用BoundaryAttack，不过它耗时长，建议把max_queries=5000的上限卡死。还有一个容易踩的坑：别在防御模型上用DeepFool来评估，它依赖局部线性假设，碰到防御模型时经常半途而废，低估模型的真实脆弱性。

鲁棒精度计算：预处理一致性是命门

很多声称模型鲁棒性下降的情况，其实是预处理环节出了bug。训练时用了transforms.Normalize(mean=[0.485, 0.456, 0.406], std=[0.229, 0.224, 0.225])，但Foolbox攻击时忘了做逆归一化，导致扰动被缩放错位，评估结果完全失真。解决方案有两个：要么把归一化操作直接封装进模型wrapper，让Foolbox始终在原始像素空间里干活；要么手动在攻击前做denormalize，攻击完再normalize回去。怎么验证预处理链是否走对了？打印一下攻击前后样本的torch.max(torch.abs(adversarial - original))，看这个值是不是落在你设定的ε附近——比如Linf=8/255时，它应该接近0.031。偏离太多，说明预处理一定有问题。

对抗样本评估：扰动强度和攻击成功率缺一不可

只报一个“鲁棒准确率”是远远不够的。同一个模型，在ε=0.01下可能表现不错，但ε提到0.03，准确率可能直接腰斩。不标明ε的评估，等于没有指标。操作上要注意几点：固定ε（比如用LinfNormMetric(eps=8/255)），并在报告中明确写出来；同时记录attack.success_rate()，如果低于95%，说明攻击本身就没跑通，鲁棒性数字也是假的。另外，对每个样本单独调用attack(model, inputs, labels)，不要用batch方式——Foolbox的batch支持不稳定，容易因为一个失败样本导致整批中断。

说到底，真正难的是让攻击既充分又可控。攻击太弱，测不出模型的真实漏洞；攻击太强，结果又脱离现实威胁。ε和迭代步数没有通用值，得根据数据集和任务反复调试。这才是评估鲁棒性的硬功夫所在。