Scipy trim_mean 函数详解与使用技巧

本文深入探讨 Scipy 库中 `trim_mean` 函数的行为，特别是其 `proportiontocut` 参数的含义。我们揭示该参数是基于样本中观测值的比例进行修剪，而非基于数据分布的统计百分位数。通过具体示例，文章阐明了为何在样本量较小时，即使设置了修剪比例，`trim_mean` 也可能不执行任何修剪操作，以及如何正确理解和应用这一功能，避免常见的误解。

在统计分析中，截断均值（trimmed mean）是一种稳健的集中趋势度量，旨在通过剔除数据集两端的极端值来减少异常值的影响。Scipy 库通过 scipy.stats.trim_mean 函数提供了这一功能。然而，其核心参数 proportiontocut 的行为常常引起用户的混淆。

理解 trim_mean 的 proportiontocut 参数

scipy.stats.trim_mean 函数的 proportiontocut 参数定义了从数据集的每一端（即最小值和最大值方向）要截去的观测值比例。关键在于，这个比例是针对样本中的 观测值数量，而不是基于数据分布的统计百分位数（如第5百分位数或第95百分位数对应的数值）。

当 proportiontocut 乘以样本总数得到一个非整数时，trim_mean 会向下取整，这意味着它会截去更少的观测值。如果计算结果小于1，则不会有任何观测值被截去。

示例一：当 proportiontocut 不足以触发修剪时

考虑以下数据集和修剪比例：

from scipy.stats import trim_mean
import numpy as np

data = [1, 2, 2, 3, 4, 30, 4, 4, 5]
trim_percentage = 0.05  # 从每一端修剪 5%

# 对数据进行排序以更好地理解修剪过程（尽管trim_mean内部会处理）
sorted_data = sorted(data)
print(f"原始排序数据: {sorted_data}")

result = trim_mean(data, trim_percentage)
print(f"使用 trim_mean 得到的结果: {result}")

输出结果为：

原始排序数据: [1, 2, 2, 3, 4, 4, 4, 5, 30]
使用 trim_mean 得到的结果: 6.111111111111111

在这个例子中，数据集有9个观测值。proportiontocut 为 0.05。计算每一端需要截去的观测值数量为 9 * 0.05 = 0.45。由于无法截去小数个观测值，且向下取整为0，因此实际上没有任何观测值被截去。trim_mean 返回的是整个数据集的均值。

np.mean(data) # 6.111111111111111

这与 trim_mean 的结果一致，证实了在 proportiontocut 不足时，函数不会执行修剪操作。

示例二：当 proportiontocut 触发修剪时

为了触发修剪，proportiontocut 必须足够大，使得 len(data) * proportiontocut 至少为1。我们可以通过将 proportiontocut 设置为 1 / len(data) 或略大于它来验证这一点。

from scipy.stats import trim_mean

x = [1, 2, 2, 3, 4, 30, 4, 4, 5]
p_threshold = 1 / len(x)  # 1/9 ≈ 0.111

# 略小于阈值，不修剪
result_no_trim = trim_mean(x, p_threshold - 1e-15)
print(f"proportiontocut = {p_threshold - 1e-15} (不修剪): {result_no_trim}")

# 略大于阈值，触发修剪
result_trim = trim_mean(x, p_threshold + 1e-15)
print(f"proportiontocut = {p_threshold + 1e-15} (触发修剪): {result_trim}")

输出结果为：

proportiontocut = 0.1111111111111111 (不修剪): 6.111111111111111
proportiontocut = 0.11111111111111112 (触发修剪): 3.4285714285714284

当 proportiontocut 略大于 1/9 时，9 * (1/9 + epsilon) 会略大于1。此时，trim_mean 会从每端截去1个观测值。对于排序后的数据 [1, 2, 2, 3, 4, 4, 4, 5, 30]，它会截去最小值 1 和最大值 30。剩余的观测值为 [2, 2, 3, 4, 4, 4, 5]，它们的均值为 (2+2+3+4+4+4+5) / 7 = 24 / 7 ≈ 3.42857。这与 trim_mean 的结果一致。

与基于百分位数值的修剪的区别

用户有时会误以为 trim_mean 的 proportiontocut 是指基于数据分布的统计百分位数（例如，截去低于第5百分位和高于第95百分位的所有值）。然而，trim_mean 并非如此工作。如果需要基于数据值在特定百分位数范围内的修剪，则需要采用不同的方法。

以下是基于百分位数值进行修剪的示例：

import numpy as np

data = [1, 2, 2, 3, 4, 30, 4, 4, 5]

# 计算第5和第95百分位数
p5, p95 = np.percentile(data, [5, 95])
print(f"第5百分位数 = {p5}\n第95百分位数 = {p95}")

# 筛选出在百分位数范围内的值并计算均值
trimmed_data_by_percentile = [x for x in data if p5 < x < p95]
trim_average_by_percentile = np.mean(trimmed_data_by_percentile)
print(f"基于百分位数修剪后的均值 = {trim_average_by_percentile}")

输出结果为：

第5百分位数 = 1.4
第95百分位数 = 19.999999999999993
基于百分位数修剪后的均值 = 3.4285714285714284

在这个例子中，1 和 30 都被截去了，因为 1 小于 1.4，而 30 大于 19.99...。剩余数据为 [2, 2, 3, 4, 4, 4, 5]，其均值与 trim_mean 在 proportiontocut 足够大时（即截去两端各一个观测值）的结果相同。但这只是巧合，因为原始数据中的异常值恰好是最小值和最大值。在更复杂的数据集中，这两种方法可能会产生截然不同的结果。

总结与注意事项

1. trim_mean 基于观测值数量修剪： scipy.stats.trim_mean 的 proportiontocut 参数指的是从样本两端截去的 观测值比例，而不是基于数据分布的统计百分位数。
2. 向下取整行为： 当 len(data) * proportiontocut 结果为小数时，函数会向下取整，这意味着实际截去的观测值数量可能少于预期。如果结果小于1，则不会进行任何修剪。
3. 精确度与样本量： 对于小样本量，proportiontocut 可能需要设置一个相对较大的值才能触发实际的修剪。
4. 明确需求： 在使用截断均值时，务必明确你是想截去固定比例的 观测值，还是想截去 值落在特定百分位数范围之外 的数据点。
5. 自定义修剪： 如果你的需求是基于百分位数值进行修剪，scipy.stats.trim_mean 可能不适用，你可能需要编写自定义函数或探索其他统计库。

理解 trim_mean 的内部工作原理对于正确应用这一统计工具至关重要，尤其是在处理小样本数据或对异常值处理有特定要求时。