当前位置:

首页 > 编程开发 > 如何在使用标准化数据训练模型后,为部分依赖图(PDP)正确还原原始尺度的横坐标

如何在使用标准化数据训练模型后,为部分依赖图(PDP)正确还原原始尺度的横坐标

使用标准化数据训练模型后,部分依赖图(PDP)的横坐标是标准化值,难以解释。正确做法是保持标准化输入,仅对图表横轴刻度标签进行逆变换,利用原始训练数据的均值和标准差还原实际数值,确保计算准确且图表可读。

假设你辛辛苦苦训练了一个随机森林模型,对着输出的部分依赖图(PDP)一看,横轴上一串数字:-2.5、0.0、2.0……这到底对应原始特征里的什么值?数据跑通了,业务同事却看不懂,这才是真正的“不可解释”。

问题的根源在于,很多模型在训练前都会用StandardScaler对特征做标准化处理(也就是调整为零均值、单位方差)。当你调用PartialDependenceDisplay.from_estimator()时,生成的PDP横轴默认展示的就是这些标准化后的数值。比如年龄这个特征,标准化的结果可能是-1.8或1.2,但业务上我们更关心的是“年龄每增加5岁”或“收入每提高1万元”对预测结果的影响,而不是“标准差变化0.3个单位”。

一个很自然的想法是:能不能先把测试集数据按原始尺度还原,再喂给PDP函数?答案是否定的,这么做会直接打乱内部网格采样的逻辑,反而弄巧成拙。正确的做法是:保持标准化后的输入,确保模型计算准确无误,最后只对最终图表上的横轴刻度标签(tick labels)做逆变换。

StandardScaler的标准化公式是:
X' = (X - μ) / σ
那么逆变换就很简单了:
X = X' * σ + μ

下面用一段代码来演示具体的实现。假设我们已经训练好了模型,并且X_test_final是标准化后的测试集,scaler是在原始训练集上拟合好的StandardScaler对象。

from sklearn.ensemble import RandomForestClassifier
from sklearn.inspection import PartialDependenceDisplay
from sklearn.preprocessing import StandardScaler
import matplotlib.pyplot as plt
import numpy as np

# 假设已训练好模型 best_clf,X_test_final 是标准化后的测试集,
# scaler 是拟合在训练集上的 StandardScaler 实例
# best_features = ['age']  # 示例目标特征

# 1. 生成 PDP 并获取 Axes 对象
fig, ax = plt.subplots(figsize=(6, 4))
display = PartialDependenceDisplay.from_estimator(
    best_clf, 
    X_test_final, 
    features=best_features,
    ax=ax,
    line_kw={'color': 'steelblue', 'linewidth': 2}
)

# 2. 获取该特征对应的原始训练数据(用于计算均值/标准差)
# 注意:必须使用 scaler.fit() 时的原始训练特征列,而非测试集
# 假设 X_train_orig 是原始未缩放的训练特征矩阵,且 age 列索引为 0
x_orig = X_train_orig[:, 0]  # 替换为实际列索引或列名切片
mu, sigma = x_orig.mean(), x_orig.std()

# 3. 反向变换横轴刻度标签
x_ticks = ax.get_xticks()
xt_unscaled = (x_ticks * sigma) + mu

# 格式化为易读字符串(根据数据类型调整小数位数)
xt_labels = [f'{val:.1f}' if sigma > 0.1 else f'{val:.0f}' for val in xt_unscaled]
ax.set_xticks(x_ticks)  # 保持原刻度位置
ax.set_xticklabels(xt_labels)
ax.set_xlabel(f'{best_features[0]} (original scale)')
plt.tight_layout()
plt.show()

这里有几个细节需要特别注意。
第一,均值和标准差必须来源于原始训练数据,也就是scaler.fit(X_train)所用的数据,用测试集或者其他数据集的数据都会导致逆变换失真。
第二,如果你的项目中使用了ColumnTransformer或管道(Pipeline),可以从scaler对象中显式提取scaler.mean_[i]和scaler.scale_[i](scale_就是标准差)来找到对应特征的统计量。
第三,如果PDP涉及多个特征,需要对每个子图的axes分别处理,并匹配对应的特征统计量。
第四,这个技巧只修改了视觉标签,不改变PDP内部的计算逻辑,模型始终在标准化空间里评估,保证了数学上的一致性。

通过这种方法,你可以在不牺牲模型性能和计算严谨性的前提下,让PDP图表真正“说人话”。业务沟通和模型诊断的效率,会因此提升不少。

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系bd@zhengruan.com
作者最新文章
编程开发
相关文章 更多
codex安装windows教程桌面版完整安装步骤指南
codex安装windows教程桌面版完整安装步骤指南

详解如何在 Windows 电脑上通过 Microsoft Store 安装 Codex 桌面应用,包括启动登录、切换 Codex 模式、关联本地代码项目及终端环境配置的界面操作指引。

github配置ssh key windows
github配置ssh key windows

本文详解如何在Windows环境中使用PowerShell生成SSH密钥对,配置ssh-agent自动加载私钥,并将公钥安全添加至GitHub账户,最后通过git remote set-url切换为SSH地址,解决每次操作需输入账号密码的问题。

backdrop和background区别
backdrop和background区别

深入解析backdrop与background在网页开发及视觉设计中的区别。通过CSS代码示例,展示如何正确使用background设置元素背景,以及利用backdrop-filter创建弹窗遮罩模糊效果,避免概念混用。

windsurf ide download Windows版安装教程
windsurf ide download Windows版安装教程

详解 Windsurf IDE 在 Windows 系统的下载来源、安装步骤及首次启动界面。指导用户如何导入编辑器设置、打开项目文件夹及使用终端与 AI 功能,适合初次接触该工具的开发者阅读。

ServBay安装配置详细教程与操作指南
ServBay安装配置详细教程与操作指南

新手入门 ServBay 本地开发环境,详解安装包下载、Dashboard 状态监控、Packages 组件安装、Services 服务控制及 Websites 项目配置。掌握 .servbay.config 版本管理与日志排查技巧,快速搭建稳定的 PHP、Node.js 等多语言开发环境。

codekit环境配置指南从安装到环境搭建完整教程
codekit环境配置指南从安装到环境搭建完整教程

详解 CodeKit 在 macOS 下的安装步骤、项目导入方法、Sass与JavaScript编译设置及浏览器自动刷新功能,助您快速搭建高效的前端开发环境。

codex安装windows 命令行完整操作教程
codex安装windows 命令行完整操作教程

详解Windows环境下安装OpenAI Codex CLI的步骤,包括WSL环境检查、Node.js/npm配置、npm全局安装命令及首次启动验证,适合开发者快速上手。

NativeRest环境配置要求与完整操作教程
NativeRest环境配置要求与完整操作教程

学习如何配置 NativeRest REST API 客户端。涵盖 Windows/macOS/Linux 安装后的工作区创建、环境变量管理、请求编辑及响应查看步骤,帮助开发者快速完成基础环境搭建与连通性测试。

CSS设置透明度的注意事项有哪些?opacity属性详解
CSS设置透明度的注意事项有哪些?opacity属性详解

深入解析CSS中设置透明度的核心属性opacity,剖析子元素继承、事件穿透、层叠上下文等关键注意事项,并提供与rgba、hsla的实用选型对比。

flutter页面传值到后台的方法及示例代码
flutter页面传值到后台的方法及示例代码

flutter页面传值到后台的完整实现方法及示例代码,帮助读者快速掌握相关技术要点。

查看更多
精品专题 更多
装机必备
装机必备

正软商城装机必备专区,精选办公、浏览器、安全防护、影音播放、压缩解压、设计创作和系统工具等电脑常用正版软件,帮助用户快速完成新电脑软件配置。

Windows
Windows

正软商城Windows软件专区,汇集适用于Windows电脑的办公、设计、安全防护、影音播放、开发工具和系统优化软件,提供软件介绍、系统要求、正版授权及购买下载服务。

PDF教程
PDF教程

正软商城PDF教程频道提供PDF编辑、转换、合并、拆分、压缩及格式处理方法,同时介绍常用PDF软件和工具的使用技巧。

Mac软件 更多
WPS Office macOS版
WPS Office macOS版
macOS

WPS Office是一款面向macOS用户的综合办公套件,将文字处理、电子表格、演示文稿、PDF工具、模板与云协作整合在同一应用中。它兼容常见Microsoft Office格式,支持Intel及Apple芯片Mac,基础功能可免费使用,

Shapr3D macOS版
Shapr3D macOS版
Mac

Shapr3D是一款面向工业设计、机械工程、建筑概念和三维打印工作流的CAD软件。Mac版采用Parasolid建模内核,支持草图约束、实体建模、工程图、可视化渲染及常见CAD格式交换,并可通过账户在多台设备之间同步项目。

REAPER macOS版
REAPER macOS版
Mac

REAPER是Cockos开发的数字音频工作站,提供多轨音频与MIDI录制、剪辑、处理、混音和母带制作工具。Mac版兼容Intel与Apple芯片,支持AU、VST、VST3、CLAP等插件格式,并提供高度可定制的工作流程。

WINDOWS 更多
Affinity Designer Windows版
Affinity Designer Windows版
Windows

Affinity Designer 是面向矢量图形、数字插画和界面设计的专业创作工具,可在矢量、像素与导出工作区之间快速切换。它提供曲线编辑、形状构建、画板、排版、图层和专业色彩管理,并支持常见设计文件的导入及多种印刷、网页格式输出。

Capture One Pro Windows版
Capture One Pro Windows版
Windows

Capture One Pro 是面向摄影师和影像团队的专业桌面照片处理工具,提供相机定制色彩配置、RAW转换、图层与蒙版、联机拍摄、目录及会话管理等功能。它适合棚拍、人像、商业产品、婚礼和风光摄影,

Adobe Acrobat Pro Windows版
Adobe Acrobat Pro Windows版
Windows

Adobe Acrobat Pro 是面向专业 PDF 工作的综合解决方案,可在 Windows 中创建、编辑、转换、比较、整理和保护文档,并支持表单、电子签名、扫描件文字识别及敏感信息永久遮盖。订阅还包含网页、移动服务和云端协作能力,