Pandas多列重塑技巧：宽转长格式方法

本文探讨了在Pandas DataFrame中将多列宽格式数据重塑为长格式的多种方法。通过示例，详细介绍了使用Pandas原生函数如`melt`与`pivot`、基于MultiIndex的高级重塑技巧，以及利用`pyjanitor`库中`pivot_longer`函数的便捷操作。旨在帮助用户高效地规整数据，使其更适合分析和可视化。

在数据分析和处理中，我们经常会遇到需要将DataFrame中的“宽格式”数据转换为“长格式”数据的情况。宽格式数据通常表现为，多个相关联的指标被分散在不同的列中，且列名中包含了这些指标的分类信息。例如，原始数据中可能包含 right_count, right_sum, left_count, left_sum 等列，我们希望将其重塑为 side, count, sum 三列，其中 side 列表示“right”或“left”，count 和 sum 列分别包含对应的值。这种转换对于后续的数据聚合、可视化和建模至关重要。

以下是一个典型的宽格式DataFrame示例：

import pandas as pd

df = pd.DataFrame({
    'date': ['2023-12-01', '2023-12-05', '2023-12-07'],
    'other_col': ['a', 'b', 'c'],
    'right_count': [4, 7, 9],
    'right_sum': [2, 3, 5],
    'left_count': [1, 8, 5],
    'left_sum': [0, 8, 4]
})

print("原始DataFrame:")
print(df)

期望的输出格式如下：

         date other_col   side  count  sum
0  2023-12-01         a  right      4    2
1  2023-12-05         b  right      7    3
2  2023-12-07         c  right      9    5
3  2023-12-01         a   left      1    0
4  2023-12-05         b   left      8    8
5  2023-12-07         c   left      5    4

接下来，我们将介绍几种实现这种数据重塑的有效方法。

方法一：使用 melt 和 pivot 进行数据重塑

pandas.melt 函数用于将DataFrame从宽格式转换为长格式，它会将指定的列“融化”成两列：一列包含原列名（通常命名为variable），另一列包含对应的值（通常命名为value）。之后，我们可以利用 str.split 分割 variable 列，并结合 pivot 函数将数据重新排列成我们需要的长格式。

# 步骤1: 使用 melt 函数将 'right_count', 'right_sum', 'left_count', 'left_sum' 列融化
# id_vars 指定不变的标识列
tmp = df.melt(id_vars=['date', 'other_col'], var_name='original_col_name')

# 步骤2: 从新的 'original_col_name' 列中分割出 'side' 和 'metric_type'
# n=1 表示只分割一次，expand=True 将结果扩展为新的DataFrame列
tmp[['side', 'metric_type']] = tmp['original_col_name'].str.split('_', n=1, expand=True)

# 步骤3: 使用 pivot 函数将 'metric_type' 重新作为列，'value' 作为值
# index 指定新的行索引，columns 指定新的列名，values 指定新的值
out_melt_pivot = (tmp.pivot(index=['date', 'other_col', 'side'],
                            columns='metric_type',
                            values='value')
                     .reset_index() # 将索引重置为列
                     .rename_axis(columns=None) # 移除列索引的名称
                 )

print("\n方法一 (melt + pivot) 结果:")
print(out_melt_pivot)

优点：

• 这是Pandas中处理宽到长格式转换的常用且直观的方法。
• 分步操作清晰，易于理解每一步的作用。

缺点：

• 需要多个步骤，代码可能稍显冗长。

方法二：基于 MultiIndex 的高级重塑

这种方法利用Pandas的MultiIndex功能在列级别创建分层索引，然后通过 stack 操作将部分索引级别转换为行数据。这是一种更为紧凑和强大的Pandas原生解决方案。

# 步骤1: 设置 'date' 和 'other_col' 为行索引
# 步骤2: 使用 pipe 函数链式操作，通过 str.split 创建列的MultiIndex
#         x.columns.str.split('_', expand=True) 会将 'right_count' 分割为 ('right', 'count')
# 步骤3: 重命名列索引的级别，使其更具可读性
# 步骤4: 对 'side' 级别进行 stack 操作，将其从列转换为行
# 步骤5: 重置索引，将所有索引级别转换为常规列
out_multiindex = (df
   .set_index(['date', 'other_col'])
   .pipe(lambda x: x.set_axis(x.columns.str.split('_', expand=True), axis=1))
   .rename_axis(columns=['side', None]) # 'None' 表示第二个级别没有名称
   .stack('side') # 对 'side' 级别进行堆叠
   .reset_index()
)

print("\n方法二 (MultiIndex) 结果:")
print(out_multiindex)

优点：

• 纯Pandas操作，无需引入外部库。
• 对于复杂的重塑任务，MultiIndex提供了强大的灵活性。

缺点：

• 概念相对复杂，对于初学者可能不易理解。
• 代码的可读性不如 melt + pivot 或 pyjanitor 直观。

方法三：借助 pyjanitor 库简化操作

pyjanitor 是一个为Pandas提供额外数据清理和转换功能的库，其中的 pivot_longer 函数专门用于简化从宽格式到长格式的转换，其灵感来源于R语言的 tidyr::pivot_longer。

首先，如果尚未安装 pyjanitor，请通过pip安装：

pip install pyjanitor

然后，可以使用以下代码进行重塑：

import janitor # 导入 janitor 库

# 使用 pivot_longer 函数
# index: 指定不变的标识列
# names_to: 指定新的列名元组，其中 '.value' 是一个特殊占位符，表示将原始列名的剩余部分作为新列名
# names_pattern: 使用正则表达式来匹配原始列名并捕获要提取的部分
out_janitor = df.pivot_longer(
    index=['date', 'other_col'],
    names_to=('side', '.value'), # 'side' 是第一个捕获组，'.value' 是第二个捕获组
    names_pattern=r'([^_]+)_([^_]+)' # 匹配 'xxx_yyy' 模式，捕获 'xxx' 和 'yyy'
)

print("\n方法三 (pyjanitor.pivot_longer) 结果:")
print(out_janitor)

优点：

• 代码极其简洁和直观，尤其是在列名有规律时。
• names_to 和 names_pattern 参数提供了强大的模式匹配能力。
• 易于理解和维护。

缺点：

• 需要安装额外的第三方库 pyjanitor。

注意事项与总结

• 选择方法：
  • 对于简单的宽到长格式转换，melt 和 pivot 组合是一个稳健的选择，因为它纯粹基于Pandas且易于理解。
  • 如果数据重塑逻辑复杂，或者希望追求更紧凑的Pandas原生代码，可以尝试MultiIndex方法，但需要对Pandas的索引操作有较深入的理解。
  • 对于追求代码简洁性和高可读性，并且不介意引入第三方库的用户，pyjanitor.pivot_longer 是一个极佳的选择，尤其适用于列名具有明确模式的情况。
• 正则表达式： 在使用 str.split 或 names_pattern 时，理解和正确使用正则表达式至关重要，它决定了如何从原始列名中提取新的分类信息。
• 数据类型： 重塑操作后，新生成的列（如 count 和 sum）的数据类型可能会变为 object。在进行数值计算前，请确保将其转换为适当的数值类型（例如 int 或 float）。
• 长格式数据的好处： 将数据转换为长格式通常更适合数据分析、统计建模和使用seaborn、matplotlib等库进行可视化，因为它遵循“整洁数据”（Tidy Data）原则，即每列是一个变量，每行是一个观察值。

掌握这些数据重塑技巧，将使您在处理Pandas DataFrame时更加高效和灵活，从而更好地准备数据以进行深入分析。