GroupShuffleSplit 实现嵌套交叉验证方法

本文详解如何在 scikit-learn 1.3+ 中利用元数据路由（metadata routing）机制，结合 `GroupShuffleSplit` 正确实现内外层均按组划分的嵌套交叉验证，彻底规避 `TypeError: cannot pickle 'generator' object` 等序列化问题。

在进行带组约束的模型评估时，标准的 GridSearchCV 与 cross_val_score 组合常因 GroupShuffleSplit.split() 返回不可序列化的生成器（generator）而报错。根本原因在于：旧版本 scikit-learn 无法自动将 groups 参数透传至内/外层交叉验证器，导致手动传入 cv=inner_cv.split(...) 生成的迭代器在多进程并行（如 joblib）中无法被 pickle，从而中断训练流程。

自 scikit-learn v1.3 起，官方引入了统一的 元数据路由（Metadata Routing） 机制，允许通过 params={'groups': groups} 显式声明元数据，并由框架自动将其路由至所有兼容的组件（包括 GridSearchCV 的 cv、底层 estimator 的 fit 方法等）。这使得 GroupShuffleSplit 可以被直接作为 cv 参数传入（无需调用 .split()），同时确保 groups 在嵌套各层级中被正确识别和使用。

✅ 正确用法（推荐，适用于 sklearn ≥ 1.3）：

from sklearn import set_config
from sklearn.model_selection import GroupShuffleSplit, GridSearchCV, cross_val_score
from sklearn.ensemble import RandomForestClassifier
import numpy as np

# 启用元数据路由（必须！）
set_config(enable_metadata_routing=True)

# 构造示例数据
X = np.random.rand(100, 10)
y = np.random.randint(2, size=100)
groups = np.random.randint(4, size=100)  # 每个样本所属的组ID

rf = RandomForestClassifier(random_state=42)
param_grid = {'n_estimators': [50, 100], 'max_depth': [3, 5]}

# 内层 CV：用于超参搜索（按组打乱划分）
inner_cv = GroupShuffleSplit(n_splits=3, test_size=0.2, random_state=42)
# 外层 CV：用于无偏性能评估（同样按组划分）
outer_cv = GroupShuffleSplit(n_splits=3, test_size=0.2, random_state=43)

# ✅ 关键：直接传 GroupShuffleSplit 实例，不调用 .split()
grid_search = GridSearchCV(
    estimator=rf,
    param_grid=param_grid,
    cv=inner_cv,               # ← 正确：传 splitter 对象本身
    scoring='accuracy',
    n_jobs=-1,
    verbose=0
)

# ✅ 关键：通过 params={'groups': ...} 统一注入 group 信息
nested_scores = cross_val_score(
    estimator=grid_search,
    X=X, y=y,
    cv=outer_cv,               # ← 正确：传 splitter 对象本身
    params={'groups': groups}, # ← 必须：显式提供 groups 元数据
    scoring='accuracy',
    n_jobs=-1
)

print(f"嵌套交叉验证得分: {nested_scores:.3f} ± {nested_scores.std():.3f}")

⚠️ 注意事项与最佳实践：

• 版本强制要求：务必确认 sklearn.__version__ >= '1.3.0'，否则 params 参数不被支持，会抛出 TypeError。
• 启用路由是前提：set_config(enable_metadata_routing=True) 必须在创建任何 estimator 或 CV 对象前调用，且全局生效。
• cv 参数只接受 splitter 对象：切勿传入 inner_cv.split(X, y, groups=groups) —— 这会产生 generator，破坏路由机制。
• groups 必须通过 params 传入：cross_val_score 和 GridSearchCV 均不接收 groups 位置参数，仅支持 params={'groups': ...} 形式。
• 随机种子分离：为避免内外层划分耦合，建议为 inner_cv 和 outer_cv 设置不同 random_state。
• 验证分组逻辑：可借助自定义 estimator（如答案中的 MyClassifier）打印 groups[train_idx] / groups[test_idx] 来确认分组是否符合预期（例如：外层测试集是否来自单一组、内层训练集是否排除了该组）。

? 总结：
在新版 scikit-learn 中，嵌套群组交叉验证不再是“需要手写循环”的难题。只需三步：① 启用元数据路由；② 将 GroupShuffleSplit 实例直接作为 cv 参数；③ 通过 params={'groups': groups} 注入分组信息。该方案完全兼容并行计算、支持任意嵌套深度，且语义清晰、代码简洁，是当前最健壮、最官方的实践方式。