ViT模型从单标签到多标签的优化指南

本文旨在指导如何将Vision Transformer（ViT）等模型从单标签多分类任务转换为多标签分类任务。核心内容包括替换原有的`CrossEntropyLoss`为适用于多标签的`BCEWithLogitsLoss`，并详细阐述了多标签分类的损失函数实现、模型输出层调整以及关键的评估指标与预测后处理方法，确保模型能有效处理具有多个并行标签的复杂场景。

在深度学习领域，图像分类任务根据其标签特性可分为单标签多分类和多标签分类。单标签多分类任务中，每个样本只属于一个类别，例如识别一张图片是“猫”还是“狗”。而多标签分类任务则允许每个样本同时拥有一个或多个标签，例如一张图片可能同时包含“猫”和“户外”这两个标签。当需要将模型从单标签多分类（如使用torch.nn.CrossEntropyLoss）迁移到多标签分类时，核心在于调整损失函数和评估策略。

1. 损失函数的选择与实现

对于单标签多分类任务，torch.nn.CrossEntropyLoss是常用的损失函数，它内部结合了LogSoftmax和NLLLoss，要求模型输出为每个类别的logit分数，并且目标标签通常是类别索引（如0, 1, 2...）。然而，对于多标签分类，这种损失函数不再适用，因为它隐含地假设了类别之间的互斥性。

多标签分类任务中，每个标签都被视为一个独立的二元分类问题。因此，最适合的损失函数是二元交叉熵损失（Binary Cross Entropy Loss）。PyTorch提供了torch.nn.BCEWithLogitsLoss，这是一个在数值上更稳定的版本，它将Sigmoid激活函数和二元交叉熵损失结合在一起。

BCEWithLogitsLoss 的优势：

• 数值稳定性： 直接作用于模型的原始输出（logits），避免了先计算Sigmoid再计算对数可能导致的数值下溢或上溢问题。
• 独立性： 能够独立地评估每个标签的预测准确性，这正是多标签分类所需要的。

代码示例：使用 BCEWithLogitsLoss

假设模型的输出pred是一个形状为 (batch_size, num_labels) 的张量，其中每个元素是对应标签的logit分数。标签labels也应是形状为 (batch_size, num_labels) 的张量，且数据类型为浮点型（float），表示每个样本是否具有某个标签（1表示有，0表示无）。

import torch
import torch.nn as nn

# 实例化BCEWithLogitsLoss
# reduction='mean' 表示对所有样本和所有标签的损失求平均
loss_function = nn.BCEWithLogitsLoss(reduction='mean')

# 模拟模型输出的logits (batch_size=2, num_labels=3)
# 这些是模型未经激活函数的原始输出
logits = torch.randn(2, 3) 
print(f"模型输出logits:\n{logits}")

# 模拟真实标签 (batch_size=2, num_labels=3)
# 注意：标签必须是浮点型 (float)
labels = torch.tensor([[1, 0, 1], [0, 1, 1]]).float()
print(f"真实标签:\n{labels}")

# 计算损失
loss = loss_function(logits, labels)
print(f"计算得到的损失: {loss.item()}")

# 实际训练中的使用方式：
# pred = model(images.to(device))  # model的最后一层输出应是 num_labels 维度
# loss = loss_function(pred, labels.to(device))
# loss.backward()
# optimizer.step()

注意事项：

• 模型的最后一层（例如全连接层nn.Linear）的输出维度必须与标签的数量（num_labels）匹配，并且不应在其后添加Sigmoid激活函数，因为BCEWithLogitsLoss会内部处理。
• 真实标签的数据类型必须是torch.float。如果你的标签是int类型，需要进行类型转换，例如labels.float()。

2. 模型输出层调整

对于Vision Transformer（ViT）或其他任何深度学习模型，当从单标签多分类转向多标签分类时，模型的最终分类层需要进行调整。

• 单标签多分类： 模型的最后一层通常是 nn.Linear(in_features, num_classes)，输出 num_classes 个logit，然后通过Softmax（或CrossEntropyLoss内部）得到概率分布。
• 多标签分类： 模型的最后一层应为 nn.Linear(in_features, num_labels)，输出 num_labels 个logit。每个logit独立地表示对应标签存在的可能性。如前所述，不应在这一层之后直接应用Sigmoid。

3. 评估策略与指标

在多标签分类任务中，传统的准确率（Accuracy）可能无法充分反映模型的性能，因为模型可能正确预测了部分标签，但遗漏了其他标签。因此，需要采用更适合多标签任务的评估指标。

预测后处理： 由于BCEWithLogitsLoss直接作用于logits，在进行评估时，我们需要将模型的输出转换为二元预测。这通常通过对logits应用Sigmoid激活函数，然后设置一个阈值（例如0.5）来实现。

# 假设我们有模型的logits输出
model_output_logits = torch.randn(2, 3) # 示例logits

# 1. 应用Sigmoid激活函数，将logits转换为概率
probabilities = torch.sigmoid(model_output_logits)
print(f"预测概率:\n{probabilities}")

# 2. 设置阈值进行二值化
threshold = 0.5
predictions = (probabilities > threshold).int()
print(f"二值化预测:\n{predictions}")

常用评估指标：

• 精确率（Precision）、召回率（Recall）、F1分数（F1-score）： 这些是衡量分类器性能的基石。在多标签场景下，它们可以从不同的粒度进行计算：
  • Micro-averaged（微平均）： 聚合所有标签的TP、FP、FN，然后计算整体的Precision、Recall、F1。它平等对待每个样本-标签对。
  • Macro-averaged（宏平均）： 为每个标签独立计算Precision、Recall、F1，然后取它们的平均值。它平等对待每个标签。
  • Weighted-averaged（加权平均）： 类似于宏平均，但在计算平均值时考虑了每个标签的样本数量。
• Jaccard相似系数（Jaccard Index / IoU）： 衡量预测标签集合与真实标签集合的重叠程度。 Jaccard = |预测集合 ∩ 真实集合| / |预测集合 ∪ 真实集合|
• 汉明损失（Hamming Loss）： 衡量预测错误的标签占总标签数的比例。 Hamming Loss = (错误预测的标签数) / (总标签数 * 样本数)
• 子集准确率（Subset Accuracy）： 这是最严格的指标，要求模型对一个样本的所有标签都预测正确才算作一次正确预测。

使用 scikit-learn 进行评估： Python的scikit-learn库提供了丰富的多标签评估指标。

from sklearn.metrics import precision_score, recall_score, f1_score, jaccard_score, hamming_loss
import numpy as np

# 假设真实标签和预测标签已转换为numpy数组
true_labels_np = labels.numpy() # 示例中的labels
predicted_labels_np = predictions.numpy() # 示例中的predictions

print(f"真实标签 (numpy):\n{true_labels_np}")
print(f"预测标签 (numpy):\n{predicted_labels_np}")

# 计算Micro-F1分数
micro_f1 = f1_score(true_labels_np, predicted_labels_np, average='micro')
print(f"Micro F1-score: {micro_f1:.4f}")

# 计算Macro-F1分数
macro_f1 = f1_score(true_labels_np, predicted_labels_np, average='macro')
print(f"Macro F1-score: {macro_f1:.4f}")

# 计算Jaccard相似系数
jaccard = jaccard_score(true_labels_np, predicted_labels_np, average='samples') # average='samples' 对每个样本计算Jaccard再平均
print(f"Jaccard Index (samples average): {jaccard:.4f}")

# 计算汉明损失
h_loss = hamming_loss(true_labels_np, predicted_labels_np)
print(f"Hamming Loss: {h_loss:.4f}")

# 子集准确率 (需要手动实现或使用第三方库，如torchmetrics)
# 简单实现：
subset_accuracy = np.all(true_labels_np == predicted_labels_np, axis=1).mean()
print(f"Subset Accuracy: {subset_accuracy:.4f}")

总结

将模型从单标签多分类任务迁移到多标签分类任务，关键在于理解这两种任务的本质差异并进行相应的技术调整。核心步骤包括：

1. 替换损失函数： 将torch.nn.CrossEntropyLoss替换为torch.nn.BCEWithLogitsLoss，并确保真实标签为浮点型。
2. 调整模型输出层： 确保模型最后一层输出的维度与标签数量匹配，且不带Sigmoid激活。
3. 重新设计评估策略： 在评估前对模型输出进行Sigmoid激活和阈值处理，并采用多标签分类特有的评估指标，如Micro/Macro F1分数、Jaccard指数和汉明损失，以全面衡量模型性能。

通过上述调整，Vision Transformer或其他深度学习模型能够有效地处理多标签分类任务，从而在更复杂的实际应用中发挥作用。