当前位置:

首页 > 编程开发 > Python Pandas重塑复杂Excel数据技巧

Python Pandas重塑复杂Excel数据技巧

本文将详细介绍如何使用Pandas库中的lreshape函数,将包含重复模式列(如id_mXX和mprice对)的宽格式Excel表格数据,高效地重塑为更易于分析的长格式数据。通过具体的代码示例,我们将展示如何处理此类复杂的数据转换需求,并提供实用的技巧与注意事项。

本文目录

    利用Python Pandas高效重塑复杂Excel表格数据

    本文将详细介绍如何使用Pandas库中的lreshape函数,将包含重复模式列(如id_mXX和mprice对)的宽格式Excel表格数据,高效地重塑为更易于分析的长格式数据。通过具体的代码示例,我们将展示如何处理此类复杂的数据转换需求,并提供实用的技巧与注意事项。

    理解数据重塑的需求

    在数据分析工作中,我们经常会遇到以“宽格式”存储的数据,其中相同类型的信息被分散到多个列中。例如,一个Excel表格可能包含日期列,以及多组重复的ID和价格列,如id_m00、mprice、id_m01、mprice等,这种模式可能重复数十次。

    原始数据示例:

    Dateid_m00mpriceid_m01mprice
    01.01.2023aa-bb-cc12,05dd-ee-fr8,80
    02.01.2023aa-dd-ee09,55ff-gg-gg7,50

    这种格式不利于进行聚合分析或绘制趋势图。我们的目标是将其转换为“长格式”,使每组ID和价格成为独立的一行,从而得到如下结构:

    目标数据格式:

    Dateidmprice
    01.01.2023aa-bb-cc12,05
    02.01.2023aa-dd-ee09,55
    01.01.2023dd-ee-fr8,80
    02.01.2023ff-gg-gg7,50

    虽然Pandas的melt函数常用于数据透视,但在处理这种具有多个相关列组的复杂重塑时,lreshape函数通常更为直接和高效。melt在处理非唯一列名时可能会产生额外的列或大量的空值,而lreshape则能更好地处理成对的列。

    Pandas lreshape:高效解决方案

    pandas.lreshape函数是专门为处理这种“多列组”重塑问题设计的。它的核心在于通过一个映射字典(reshape_map)来定义如何将旧列分组并转换为新的列。

    lreshape函数的核心参数

    • data: 需要重塑的DataFrame。
    • reshape_map: 一个字典,键是新列的名称,值是一个列表,包含所有将合并到该新列的旧列名称。lreshape会根据这些列表的顺序进行配对。

    实战应用:重塑Excel数据

    假设我们有一个名为data.xlsx的Excel文件,内容如上述原始数据示例。我们将使用pandas来读取并重塑它。

    首先,确保你已经安装了Pandas库: pip install pandas openpyxl

    接下来,我们将直接从Excel文件读取数据并进行重塑。需要注意的是,当Pandas从Excel文件中读取具有相同名称的列时(例如,多个mprice列),它会自动为重复的列名添加后缀(如mprice.1, mprice.2等),这正是lreshape能够识别和配对的关键。

    import pandas as pd
    
    # 模拟创建示例Excel文件 (实际应用中你将直接读取现有文件)
    # 为了演示方便,我们手动创建一个DataFrame
    data = {
        'Date': ['01.01.2023', '02.01.2023'],
        'id_m00': ['aa-bb-cc', 'aa-dd-ee'],
        'mprice': ['12,05', '09,55'],
        'id_m01': ['dd-ee-fr', 'ff-gg-gg'],
        'mprice.1': ['8,80', '7,50'] # Pandas读取Excel时会自动重命名重复列
    }
    # 在实际情况中,如果Excel文件中的mprice列名完全相同,Pandas会默认处理为mprice, mprice.1, mprice.2...
    # 如果你的Excel文件真的有多个同名列,Pandas读取时会这样处理。
    # 这里我们模拟Pandas读取后的DataFrame结构
    df = pd.DataFrame(data)
    
    # 将价格列中的逗号替换为小数点,并转换为数值类型
    # 注意:这步是根据示例数据中的逗号作为小数分隔符进行的预处理
    for col in df.filter(like='price').columns:
        df[col] = df[col].str.replace(',', '.', regex=False).astype(float)
    
    print("原始DataFrame结构:")
    print(df)
    print("\n")
    
    # 使用 lreshape 进行数据重塑
    # 1. 读取Excel文件(假设文件名为 'file.xlsx')
    # df = pd.read_excel("file.xlsx") # 在实际应用中取消注释此行
    
    # 2. 定义重塑映射
    # 'id' 新列将包含所有以 'id_m' 开头的旧列
    # 'mprice' 新列将包含所有以 'price' 开头(包括 mprice, mprice.1 等)的旧列
    # Pandas的filter(like=...)方法非常适合动态选择这些模式匹配的列
    out = pd.lreshape(
        df,
        {"id": df.filter(like="id_m").columns,
         "mprice": df.filter(like="price").columns}
    )
    
    print("重塑后的DataFrame:")
    print(out)

    代码解释:

    1. 数据准备: 示例中我们手动创建了一个DataFrame来模拟从Excel读取的数据。实际应用中,你只需要使用df = pd.read_excel("your_file.xlsx")来读取你的Excel文件。请注意,Pandas在读取Excel时会自动处理重复的列名(例如,将第二个mprice列重命名为mprice.1),这正是lreshape能够正常工作的基础。
    2. 数据类型转换: 原始数据中的价格使用了逗号作为小数分隔符。在进行数值计算前,我们将其替换为小数点并转换为浮点型。
    3. pd.lreshape(df, reshape_map): 这是核心操作。
      • df: 我们要操作的DataFrame。
      • {"id": df.filter(like="id_m").columns, "mprice": df.filter(like="price").columns}: 这是reshape_map字典。
        • "id": df.filter(like="id_m").columns: 表示新的id列将由所有名称中包含"id_m"的原始列(如id_m00, id_m01等)构成。
        • "mprice": df.filter(like="price").columns: 表示新的mprice列将由所有名称中包含"price"的原始列(如mprice, mprice.1等)构成。
      • lreshape会根据reshape_map中列表的顺序,将这些匹配到的列进行配对,并将其值合并到新的id和mprice列中。例如,id_m00会与第一个mprice配对,id_m01会与mprice.1配对,以此类推。

    输出结果

    原始DataFrame结构:
             Date    id_m00 mprice    id_m01  mprice.1
    0  01.01.2023  aa-bb-cc  12.05  dd-ee-fr      8.80
    1  02.01.2023  aa-dd-ee   9.55  ff-gg-gg      7.50
    
    重塑后的DataFrame:
             Date        id  mprice
    0  01.01.2023  aa-bb-cc   12.05
    1  02.01.2023  aa-dd-ee    9.55
    2  01.01.2023  dd-ee-fr    8.80
    3  02.01.2023  ff-gg-gg    7.50

    可以看到,原始的宽格式数据已被成功转换为我们期望的长格式,每一组id和mprice都成为了独立的一行,并且Date列被正确地复制。

    注意事项与最佳实践

    1. 列名的一致性: lreshape的强大之处在于它能够根据列名的模式进行自动配对。因此,确保你的原始数据中,需要重塑的列名遵循一致的命名模式(如id_mXX和mprice系列),这样df.filter(like=...)才能准确地选择它们。
    2. Pandas读取Excel时的列名处理: 当Excel文件中存在多个同名列时,Pandas的read_excel函数会自动为重复的列名添加数字后缀(例如mprice, mprice.1, mprice.2等)。lreshape正是利用了这一点来进行正确的列配对。如果你手动创建DataFrame或从其他源加载数据,需要确保这些重复列的名称是唯一的,或者手动进行重命名以模拟read_excel的行为。
    3. lreshape与melt的选择:
      • 选择lreshape: 当你需要将多组相关联的列(例如,id_X与value_X总是成对出现)重塑为少数几列时,lreshape是理想选择。它能确保这些成对关系在重塑后得到保持。
      • 选择melt: 当你只需要将一系列不相关的“值”列转换为一个“值”列和一个“变量”列时,melt更适用。它通常用于将一个或多个标识符列(id_vars)保持不变,然后将其他所有列(或指定的value_vars)堆叠起来。
    4. 数据类型: 在重塑前,确保你的数据类型是正确的。例如,价格列可能需要从字符串转换为数值类型,以避免后续计算错误。

    总结

    通过使用Pandas的lreshape函数,我们可以高效且优雅地解决将复杂宽格式数据(特别是那些具有重复模式列组的数据)重塑为长格式的问题。这种转换对于后续的数据分析、可视化和建模至关重要,它使得数据结构更加规整,易于处理。掌握lreshape的使用,将大大提升你在Python中处理复杂数据重塑任务的能力。

    本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系bd@zhengruan.com
    作者最新文章
    编程开发
    相关文章 更多
    Nod 0.8.1怎样理解状态码、Ray ID与计划检查
    Nod 0.8.1怎样理解状态码、Ray ID与计划检查

    Nod 0.8.1补充连接服务状态与原因、Attio Cloudflare 403诊断,并让Gmail在连接服务429或503后延后计划轮询。

    Ducter 0.0.59如何理解同会话聊天、Git可选和附件变化
    Ducter 0.0.59如何理解同会话聊天、Git可选和附件变化

    Ducter 0.0.59扩展Telegram、Slack和Mac iMessage会话,区分项目目录来源、Git可选、等待状态与附件入口。

    llama.cpp b12435、b12436、b12438测试构建的三类兼容变化有什么区别?
    llama.cpp b12435、b12436、b12438测试构建的三类兼容变化有什么区别?

    llama.cpp b12435、b12436、b12438预发布构建,分别解释Vulkan并列选择确定性、32位编译与Jinja JSON键排序的适用范围。

    ScopeWeaver 0.9.2、0.9.3与0.9.4如何区分运行时、Zod和任务状态变化
    ScopeWeaver 0.9.2、0.9.3与0.9.4如何区分运行时、Zod和任务状态变化

    ScopeWeaver 0.9.2、0.9.3与0.9.4分别调整桥运行时、Zod依赖和同进程服务器重建后的暂停状态;区分版本对象与作者本地研究用途声明。

    AG2 1.3.2的输入Token为何变多,旧ACP版本还能用吗
    AG2 1.3.2的输入Token为何变多,旧ACP版本还能用吗

    AG2 1.3.2统一缓存Token统计并更新ACP1.x依赖;解释预算提前触达、报表口径与Python3.15构建限制。

    llama.cpp b12433怎样为AMD奇数列保留MUL_MAT_ID回退路径
    llama.cpp b12433怎样为AMD奇数列保留MUL_MAT_ID回退路径

    llama.cpp b12433避免AMD设备将奇数src0列送入需要偶数列的MMVF路径:满足偶数条件才保留MMVF,其他形状沿用既有回退。对应改动发生在MUL_MAT_ID处理和相关同步判断中,范围限定于代码说明中的类型与token条件。

    Ducter 0.0.58如何区分下一步消息、完成后消息与后台会话
    Ducter 0.0.58如何区分下一步消息、完成后消息与后台会话

    Ducter 0.0.58调整任务阅读、执行中消息和后台会话,区分下一步发送与做完再说,并说明tailnet HTTPS辅助的条件。

    Unlimited OCR 2在TextMind能否直接使用,账号权限与模型示例如何区分
    Unlimited OCR 2在TextMind能否直接使用,账号权限与模型示例如何区分

    Unlimited OCR 2官方确认百度智能云TextMind渠道;区分云端入口、账号权限配额与本地模型部署,避免混淆接口和计费条件。

    TensorFold 1.2.9的Ollama接口和服务配置文件怎么用
    TensorFold 1.2.9的Ollama接口和服务配置文件怎么用

    TensorFold 1.2.9的服务配置文件用于保存和复用启动参数,Ollama兼容API则在同一推理路径上提供聊天、生成和模型查询等接口。理解配置优先级及后端限制,比只看到“兼容”就直接迁移全部流量更有用。

    如何理解Univer 1.5.2的二次混淆移除与构建边界?
    如何理解Univer 1.5.2的二次混淆移除与构建边界?

    理解Univer 1.5.2的关键,是把额外混淆与构建压缩分开。本版删除二次混淆插件及相关配置,同时保留Pro模块的minify设置;它解释的是产物处理方式的变化,不代表增加了表格或公式能力。

    查看更多
    精品专题 更多
    装机必备
    装机必备

    正软商城装机必备专区,精选办公、浏览器、安全防护、影音播放、压缩解压、设计创作和系统工具等电脑常用正版软件,帮助用户快速完成新电脑软件配置。

    Windows
    Windows

    正软商城Windows软件专区,汇集适用于Windows电脑的办公、设计、安全防护、影音播放、开发工具和系统优化软件,提供软件介绍、系统要求、正版授权及购买下载服务。

    PDF教程
    PDF教程

    正软商城PDF教程频道提供PDF编辑、转换、合并、拆分、压缩及格式处理方法,同时介绍常用PDF软件和工具的使用技巧。

    Mac软件 更多
    讯飞智作 网页版
    讯飞智作 网页版
    Windows/ macOS/ Linux

    讯飞智作是一款基于语音合成技术、虚拟人驱动技术与数字人形象声音构建能力的 AI 数字人音视频创作平台。

    火山引擎 网页版
    火山引擎 网页版
    Windows/ macOS/ Linux

    火山引擎是字节跳动旗下企业级云与AI服务平台。聚焦大模型核心能力,依托字节自研豆包多模态大模型,凭借火山方舟一站式平台,提供模型精调、推理部署、智能应用搭建等全链路服务,结合高性能AI算力,助力各行业快速落地大模型数字化与智能化应用。

    Aperty macOS版
    Aperty macOS版
    macOS

    Aperty 是 Skylum 推出的 AI 人像修图软件,支持自然肤质修饰、瑕疵处理、面部与身体调整、预设及批量同步。

    WINDOWS 更多
    讯飞智作 网页版
    讯飞智作 网页版
    Windows/ macOS/ Linux

    讯飞智作是一款基于语音合成技术、虚拟人驱动技术与数字人形象声音构建能力的 AI 数字人音视频创作平台。

    火山引擎 网页版
    火山引擎 网页版
    Windows/ macOS/ Linux

    火山引擎是字节跳动旗下企业级云与AI服务平台。聚焦大模型核心能力,依托字节自研豆包多模态大模型,凭借火山方舟一站式平台,提供模型精调、推理部署、智能应用搭建等全链路服务,结合高性能AI算力,助力各行业快速落地大模型数字化与智能化应用。

    PixTV 网页版
    PixTV 网页版
    Windows

    PixTV 是一款在浏览器中使用的 AI 视觉内容创作平台,提供图片、视频、音频、文字生成、AI 分镜、局部重绘、提示词反推和无限画布等工具,适合短剧、漫剧、广告及社交媒体内容制作。