当前位置:

首页 > 编程开发 > Pandas分组保留首行,其余变NaN处理

Pandas分组保留首行,其余变NaN处理

本教程详细阐述了如何在PandasDataFrame中,针对指定分组键(如列'a')的每个组,仅保留其首行的特定列数据,而将该组内其余行的这些列值设置为NaN。同时,教程也展示了如何高效地保留其他指定列的原始数据。文章将介绍一种基于where和fillna方法的矢量化解决方案,以避免低效的循环操作,确保处理大规模数据集时的性能和可扩展性。

本文目录

    Pandas DataFrame分组数据首行保留与其余值NaN化处理

    本教程详细阐述了如何在Pandas DataFrame中,针对指定分组键(如列'a')的每个组,仅保留其首行的特定列数据,而将该组内其余行的这些列值设置为NaN。同时,教程也展示了如何高效地保留其他指定列的原始数据。文章将介绍一种基于where和fillna方法的矢量化解决方案,以避免低效的循环操作,确保处理大规模数据集时的性能和可扩展性。

    1. 问题背景与挑战

    在数据处理和分析中,我们经常遇到需要对DataFrame进行分组操作的场景。一个常见需求是,在每个分组内部,我们可能只关心第一行的某些特定信息,而希望将后续行的这些信息清空(设置为NaN),同时保持其他列的数据不变。

    例如,给定以下DataFrame:

    import pandas as pd
    import numpy as np
    
    df = pd.DataFrame(
        {
            'a': [
                'a', 'a', 'a', 'a', 'a', 'a', 'b', 'b', 'b', 'b', 'b', 'b',
            ],
            'b': [
                -20, 20, 20, 20,-70, -70,-11, -100, -1, -1, -100, 100
            ],
            'c': [
                'f', 'f', 'f', 'f', 'f', 'x', 'x', 'k', 'k', 'k', 'k', 'k'
            ],
            'x': [
                'p', 'p', 'p', 'p', 'p', 'x', 'x', 'i', 'i', 'i', 'i', 'i'
            ],
        }
    )
    print("原始DataFrame:")
    print(df)

    原始DataFrame:

        a    b  c  x
    0   a  -20  f  p
    1   a   20  f  p
    2   a   20  f  p
    3   a   20  f  p
    4   a  -70  f  p
    5   a  -70  x  x
    6   b  -11  x  x
    7   b -100  k  i
    8   b   -1  k  i
    9   b   -1  k  i
    10  b -100  k  i
    11  b  100  k  i

    我们的目标是:

    1. 以列a进行分组。
    2. 对于每个组,保留其第一行中列b和c的值。
    3. 将每个组中除了第一行以外的行,其列b和c的值设置为NaN。
    4. 列a和x的值应保持不变,不被NaN化。

    期望的输出如下:

        a     b    c  x
    0   a -20.0    f  p
    1   a   NaN  NaN  p
    2   a   NaN  NaN  p
    3   a   NaN  NaN  p
    4   a   NaN  NaN  p
    5   a   NaN  NaN  x
    6   b -11.0    x  x
    7   b   NaN  NaN  i
    8   b   NaN  NaN  i
    9   b   NaN  NaN  i
    10  b   NaN  NaN  i
    11  b   NaN  NaN  i

    一个常见的初步尝试是使用groupby().apply()结合iloc和get_loc。虽然这种方法对于少量列可行,但当需要处理数百列时,手动指定每一列或在循环中迭代列会变得非常低效且难以维护。

    # 低效的尝试(不推荐用于大量列)
    def func(g):
        # 假设我们知道要处理的列是'b'和'c'
        g.iloc[1:, g.columns.get_loc('b')] = np.nan
        g.iloc[1:, g.columns.get_loc('c')] = np.nan
        return g
    
    # df_modified = df.groupby('a', as_index=False).apply(func)
    # print(df_modified)

    这种方法需要为每个需要NaN化的列单独操作,或者在一个循环中完成,这对于大型DataFrame和大量列来说效率不高。

    2. 高效的矢量化解决方案

    Pandas提供了强大的矢量化操作,可以更高效地解决这类问题。我们将利用df.duplicated()、df.where()和df.fillna()的组合来实现目标。

    2.1 核心思路

    1. 识别非首行: 使用df['a'].duplicated()来标记每个分组中除第一行之外的所有行。
    2. 条件性NaN化: 使用df.where()结合上述标记,将所有非首行的值(除了分组键本身)设置为NaN。
    3. 恢复特定列: 使用df.fillna(),根据原始DataFrame中需要保留的列(例如a和x)来填充之前被NaN化的这些列。

    2.2 详细步骤与代码实现

    import pandas as pd
    import numpy as np
    
    # 重新创建原始DataFrame以确保操作的独立性
    df = pd.DataFrame(
        {
            'a': [
                'a', 'a', 'a', 'a', 'a', 'a', 'b', 'b', 'b', 'b', 'b', 'b',
            ],
            'b': [
                -20, 20, 20, 20,-70, -70,-11, -100, -1, -1, -100, 100
            ],
            'c': [
                'f', 'f', 'f', 'f', 'f', 'x', 'x', 'k', 'k', 'k', 'k', 'k'
            ],
            'x': [
                'p', 'p', 'p', 'p', 'p', 'x', 'x', 'i', 'i', 'i', 'i', 'i'
            ],
        }
    )
    
    # 步骤1: 识别每个分组中的重复行(即非首行)
    # df['a'].duplicated() 会为每个'a'组的第一个出现返回False,后续重复出现返回True
    # ~df['a'].duplicated() 则会为每个'a'组的第一个出现返回True,后续重复出现返回False
    mask = ~df['a'].duplicated()
    # print("重复行掩码 (~df['a'].duplicated()):")
    # print(mask)
    
    # 步骤2: 使用df.where()进行条件性替换
    # df.where(condition) 会保留condition为True的元素,将condition为False的元素替换为NaN
    # 此时,所有非首行的值(包括'a'、'b'、'c'、'x')都会被替换为NaN
    df_temp = df.where(mask)
    # print("\n经过df.where(mask)处理后的DataFrame:")
    # print(df_temp)
    
    # 步骤3: 使用df.fillna()恢复需要保留原始值的列
    # 我们希望保留'a'和'x'列的原始值。
    # df.fillna(other_df) 会根据other_df来填充df中的NaN值。
    # 只有在df中为NaN且other_df中对应位置有非NaN值时,才会进行填充。
    # 并且,填充操作只针对other_df中存在的列进行。
    columns_to_preserve = ['a', 'x']
    df_final = df_temp.fillna(df[columns_to_preserve])
    
    print("\n最终处理结果:")
    print(df_final)

    输出结果:

    最终处理结果:
        a     b    c  x
    0   a -20.0    f  p
    1   a   NaN  NaN  p
    3   a   NaN  NaN  p
    2   a   NaN  NaN  p
    4   a   NaN  NaN  p
    5   a   NaN  NaN  x
    6   b -11.0    x  x
    7   b   NaN  NaN  i
    8   b   NaN  NaN  i
    9   b   NaN  NaN  i
    10  b   NaN  NaN  i
    11  b   NaN  NaN  i

    注意:输出的行索引顺序可能与原始示例略有不同,这是因为Pandas在处理过程中可能会调整索引,但这不影响数据的逻辑对应关系。如果需要严格的索引顺序,可以在操作后进行sort_index()或reset_index()。

    2.3 关键概念解析

    • df['a'].duplicated():
      • 此方法用于标记DataFrame中a列的重复值。
      • 默认情况下(keep='first'),它会为每个分组中的第一个出现返回False,而为后续的重复出现返回True。
      • 例如,对于a列中的第一个'a',返回False;对于第二个'a',返回True,以此类推。
    • ~df['a'].duplicated():
      • ~是逻辑非操作符。它将duplicated()的结果取反。
      • 因此,它会为每个分组中的第一个出现返回True,而为后续的重复出现返回False。这个布尔Series就是我们用来识别首行的掩码。
    • df.where(condition):
      • where()方法是一个强大的条件选择工具。
      • 它会根据condition(一个布尔Series或DataFrame)来选择数据。
      • 当condition中的值为True时,df.where()保留DataFrame中对应位置的原始值。
      • 当condition中的值为False时,df.where()会将DataFrame中对应位置的值替换为NaN(默认行为)。
      • 在本例中,df.where(~df['a'].duplicated())会保留每个分组的第一行,并将所有后续行的所有列(包括a、b、c、x)都设置为NaN。
    • df.fillna(other_df):
      • fillna()用于填充DataFrame中的NaN值。
      • 当other_df是一个DataFrame时,fillna()会尝试根据other_df中对应列和索引的值来填充当前DataFrame中的NaN。
      • 具体来说,它会查找当前DataFrame中为NaN的位置,如果other_df在相同列和索引位置有非NaN值,则用other_df的值进行填充。
      • 在本例中,df_temp在非首行的所有列都变成了NaN。df_temp.fillna(df[['a', 'x']])会查看df_temp中的NaN。对于a列和x列中的NaN,它会用原始df中对应a列和x列的值来填充。而b列和c列的NaN不会被填充,因为df[['a', 'x']]中不包含b和c列。

    3. 注意事项与拓展

    • 列的选择: columns_to_preserve = ['a', 'x']这一步非常关键。它明确指定了哪些列在非首行时也应该保留其原始值。如果你希望除了分组列之外的所有列在非首行时都变为NaN,那么columns_to_preserve就只包含分组列即可(例如['a'])。
    • 性能: 这种基于where和fillna的矢量化方法在处理大型DataFrame时比groupby().apply()结合行迭代的方式效率高得多,因为它利用了Pandas底层的优化C/Cython实现。
    • 通用性: 这种模式可以轻松推广到任何分组键和任意数量的需要保留或NaN化的列。
    • 数据类型: 当将数值列中的值替换为NaN时,如果该列原本是整数类型,Pandas会自动将其转换为浮点数类型(因为NaN在Pandas中通常表示为浮点数)。例如,b列从int64变为float64。这是预期行为。

    4. 总结

    通过巧妙地结合duplicated()、where()和fillna()这三个Pandas函数,我们能够高效且灵活地实现DataFrame分组数据的首行保留与其余值NaN化处理。这种方法不仅代码简洁,而且在处理大规模数据集时表现出卓越的性能,是Pandas数据操作中值得掌握的实用技巧。

    本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系bd@zhengruan.com
    作者最新文章
    编程开发
    相关文章 更多
    QQ影音怎么加速播放视频课程
    QQ影音怎么加速播放视频课程

    播放时右键选播放速度,或点控制条倍速,1.25 到 1.5 倍看课最舒服;公式代码类内容别超过 1.25 倍。

    企业微信创建企业提示失败怎么办 实名与填写检查
    企业微信创建企业提示失败怎么办 实名与填写检查

    先看提示属于哪类:名称占用就加后缀,实名不一致就重填本人信息,证件不清晰就重拍。统一社会信用代码逐位核对,连续三次失败别改材料重投,直接联系客服人工核。

    Modern Web Guidance 的 legacy-scan 反转建议应该怎样判断?
    Modern Web Guidance 的 legacy-scan 反转建议应该怎样判断?

    说明源码提交对字符串、生成器和数组的识别边界,以及扫描命令与发行包核验限制。

    Codex 0.170.0 正式版的语音与连接更新,适用范围有哪些限制?
    Codex 0.170.0 正式版的语音与连接更新,适用范围有哪些限制?

    0.170.0 的语音更新限于终端通话协商能力的明确新增,同名工具服务器跨环境支持仍标注实验性质;连接部分则修复大请求回退、认证竞态和云端重连等具体问题。这份正式版公告不足以证明所有账户、所有客户端都已具备完整语音功能。

    Hy4 flash 三种权重怎么选,安装和授权要注意哪些条件?
    Hy4 flash 三种权重怎么选,安装和授权要注意哪些条件?

    了解Hy4 flash、FP8与base的适用任务,阅读官方安装及图文代码,并核对资源和MaaS许可条件。

    OpenAI Python SDK 3.55.0 升级看点:Live MCP 服务配置与预算接口变化
    OpenAI Python SDK 3.55.0 升级看点:Live MCP 服务配置与预算接口变化

    OpenAI Python SDK 3.55.0 升级看点:Live MCP 服务配置与预算接口变化。说明已核实的更新范围、类型兼容性和本地版本确认方法。

    OpenAI Java SDK 4.108.0 的两项新增能力适合哪些项目?
    OpenAI Java SDK 4.108.0 的两项新增能力适合哪些项目?

    OpenAI Java SDK 4.108.0 面向 Live MCP 工具接入与 Managed Agents 预算状态处理,说明新增模型、事件含义、正式发布范围和适用限制。

    Free Claude Code 6.19.37 如何兼顾网页搜索与普通工具调用?
    Free Claude Code 6.19.37 如何兼顾网页搜索与普通工具调用?

    Free Claude Code 6.19.37 在自动搜索时保留客户端工具及选择条件,代理执行搜索后仍返回普通调用。说明适用场景、历史信息保留、请求约束与第三方项目的版本边界。

    Google GenAI Go SDK 1.78.0 的 v1beta 配置优先级怎样判断?
    Google GenAI Go SDK 1.78.0 的 v1beta 配置优先级怎样判断?

    Google GenAI Go SDK 1.78.0 将 Gemini Developer API 默认改为 v1,可用 HTTPOptions.APIVersion 或环境变量保留 v1beta,Vertex AI 默认值不变。

    Google GenAI SDK 3.5.0实时交互值得哪些项目升级评估?
    Google GenAI SDK 3.5.0实时交互值得哪些项目升级评估?

    解释实验性实时支持、环境检查与生产评估中需要验证的条件。

    查看更多
    精品专题 更多
    装机必备
    装机必备

    正软商城装机必备专区,精选办公、浏览器、安全防护、影音播放、压缩解压、设计创作和系统工具等电脑常用正版软件,帮助用户快速完成新电脑软件配置。

    Windows
    Windows

    正软商城Windows软件专区,汇集适用于Windows电脑的办公、设计、安全防护、影音播放、开发工具和系统优化软件,提供软件介绍、系统要求、正版授权及购买下载服务。

    PDF教程
    PDF教程

    正软商城PDF教程频道提供PDF编辑、转换、合并、拆分、压缩及格式处理方法,同时介绍常用PDF软件和工具的使用技巧。

    Mac软件 更多
    讯飞智作 网页版
    讯飞智作 网页版
    Windows/ macOS/ Linux

    讯飞智作是一款基于语音合成技术、虚拟人驱动技术与数字人形象声音构建能力的 AI 数字人音视频创作平台。

    火山引擎 网页版
    火山引擎 网页版
    Windows/ macOS/ Linux

    火山引擎是字节跳动旗下企业级云与AI服务平台。聚焦大模型核心能力,依托字节自研豆包多模态大模型,凭借火山方舟一站式平台,提供模型精调、推理部署、智能应用搭建等全链路服务,结合高性能AI算力,助力各行业快速落地大模型数字化与智能化应用。

    Aperty macOS版
    Aperty macOS版
    macOS

    Aperty 是 Skylum 推出的 AI 人像修图软件,支持自然肤质修饰、瑕疵处理、面部与身体调整、预设及批量同步。

    WINDOWS 更多
    讯飞智作 网页版
    讯飞智作 网页版
    Windows/ macOS/ Linux

    讯飞智作是一款基于语音合成技术、虚拟人驱动技术与数字人形象声音构建能力的 AI 数字人音视频创作平台。

    火山引擎 网页版
    火山引擎 网页版
    Windows/ macOS/ Linux

    火山引擎是字节跳动旗下企业级云与AI服务平台。聚焦大模型核心能力,依托字节自研豆包多模态大模型,凭借火山方舟一站式平台,提供模型精调、推理部署、智能应用搭建等全链路服务,结合高性能AI算力,助力各行业快速落地大模型数字化与智能化应用。

    PixTV 网页版
    PixTV 网页版
    Windows

    PixTV 是一款在浏览器中使用的 AI 视觉内容创作平台,提供图片、视频、音频、文字生成、AI 分镜、局部重绘、提示词反推和无限画布等工具,适合短剧、漫剧、广告及社交媒体内容制作。