当前位置:

首页 > 编程开发 > Pandas 实现基于动态时间间隔的行筛选(非均匀步长采样)

Pandas 实现基于动态时间间隔的行筛选(非均匀步长采样)

本文介绍如何在Pandas中实现按循环变化的时间间隔(如[1.0,1.5])对时序数据进行智能行筛选:从首行开始,依次累加当前间隔阈值,选取首个满足时间条件的后续行,支持周期性切换间隔,适用于传感器采样、日志降频等场景。

本文目录

    Pandas 实现基于动态时间间隔的行筛选(非均匀步长采样)

    本文介绍如何在 Pandas 中实现按循环变化的时间间隔(如 [1.0, 1.5])对时序数据进行智能行筛选:从首行开始,依次累加当前间隔阈值,选取首个满足时间条件的后续行,支持周期性切换间隔,适用于传感器采样、日志降频等场景。

    本文介绍如何在 Pandas 中实现按循环变化的时间间隔(如 [1.0, 1.5])对时序数据进行智能行筛选:从首行开始,依次累加当前间隔阈值,选取首个满足时间条件的后续行,支持周期性切换间隔,适用于传感器采样、日志降频等场景。

    在实际数据分析中,我们常需对高频时序数据进行有策略的降采样——但标准的 .resample() 或 .iloc[::n] 仅支持固定频率或等距索引,无法应对“首段跳 1.0 秒、次段跳 1.5 秒、再跳 1.0 秒……”这类非均匀、循环式时间步长的筛选需求。Pandas 原生过滤方法(如布尔索引、.query())也无法直接表达“相对于上一个选中行的动态偏移”逻辑,因此需结合 Python 控制流与向量化思想协同实现。

    核心思路是:

    • 维护一个当前累计时间基准(last_t);
    • 使用 itertools.cycle 循环遍历间隔数组(如 [1.0, 1.5]),实现间隔自动轮转;
    • 遍历 DataFrame 的 Timestamp 列,对每个时间戳 t,判断是否 t >= last_t + 当前间隔;
    • 若满足,则记录该行索引,更新 last_t = t,并切换至下一个间隔值。

    以下是完整、可复用的实现代码:

    import pandas as pd
    from itertools import cycle
    
    # 示例数据构建(与原始问题一致)
    df = pd.DataFrame({
        "Timestamp": [0.00, 0.94, 1.94, 3.00, 4.00, 5.94, 8.00, 9.00, 10.00],
        "MeasureA": [26.46, 26.52, 30.01, 30.19, 30.07, 30.02, 30.22, 30.00, 30.00],
        "MeasureB": [63.60, 78.87, 82.04, 82.00, 81.43, 82.46, 82.48, 82.21, 82.34],
        "MeasureC": [3.90, 1.58, 1.13, 1.17, 1.13, 1.05, 0.98, 1.13, 1.12],
        "MeasureD": [0.67, 0.42, 0.46, 0.36, 0.42, 0.34, 0.35, 0.33, 0.34]
    })
    
    # 定义非均匀时间间隔(将按顺序循环使用)
    intervals = [1.0, 1.5]
    
    # 初始化:时间基准设为负无穷,确保首行必被选中
    comparing = cycle(intervals)
    out_indices = []
    last_t = float("-inf")
    current_interval = next(comparing)
    
    # 主循环:逐行扫描,动态决策
    for idx, t in zip(df.index, df["Timestamp"]):
        if t >= last_t + current_interval:
            out_indices.append(idx)
            last_t = t
            current_interval = next(comparing)  # 切换至下一间隔
    
    # 构建结果 DataFrame
    result_df = df.loc[out_indices].reset_index(drop=True)
    print(result_df)

    ✅ 输出结果(与预期完全一致):

       Timestamp  MeasureA  MeasureB  MeasureC  MeasureD
    0       0.00     26.46     63.60      3.90      0.67
    1       1.94     30.01     82.04      1.13      0.46
    2       4.00     30.07     81.43      1.13      0.42
    3       5.94     30.02     82.46      1.05      0.34
    4       8.00     30.22     82.48      0.98      0.35
    5       9.00     30.00     82.21      1.13      0.33

    ⚠️ 关键注意事项:

    • 时间列必须有序:该算法假设 Timestamp 单调递增(或至少非递减)。若存在乱序,需预先执行 df = df.sort_values("Timestamp").reset_index(drop=True);
    • 首行恒被保留:因 last_t = -inf,首个 t 必满足 t >= -inf + interval,符合“从第一行启动”的业务逻辑;
    • 间隔轮转机制:cycle([1.0, 1.5]) 会无限生成 1.0 → 1.5 → 1.0 → 1.5 → ...,无需手动重置;
    • 性能提示:对超大数据集(百万级行),此 Python 循环仍高效(因仅单次遍历且无嵌套);若追求极致性能,可考虑用 numba 加速,但通常非必需。

    该方法灵活、清晰、无外部依赖,是 Pandas 生态中处理“状态依赖型时序筛选”的典型范式——它不依赖向量化语法的表面简洁,而以明确的状态管理换取逻辑的鲁棒性与可扩展性。

    本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系bd@zhengruan.com
    作者最新文章
    编程开发
    相关文章 更多
    OpenCode PTY 0.6.0 哪些运行中的终端受协议 9 升级影响?
    OpenCode PTY 0.6.0 哪些运行中的终端受协议 9 升级影响?

    受影响的是旧协议守护进程承载的命令和持久终端。切换时旧实例会关闭,新服务在首次需要时再启动。

    llama.cpp b12465 的 SYCL 快速取模适用哪些路径?
    llama.cpp b12465 的 SYCL 快速取模适用哪些路径?

    llama.cpp b12465。llama.cpp b12465 的快速取模用在 SYCL 广播相关的索引运算。一次内核启动可复用同一组预计算值,前提是除数非零且能放入 32 位。

    Plannotator v0.28.67如何防止附件脚本切换线程和保存失败清空配置
    Plannotator v0.28.67如何防止附件脚本切换线程和保存失败清空配置

    Plannotator v0.28.67 让 HTML 附件脚本失去自行切换 Inbox 线程的能力,并在安全写入失败时保留 config.json 和 state.json。两项保护分别针对附件预览行为和本地配置文件。

    AG2 1.3.1沙箱、MCP Apps与A2UI兼容变化分别意味着什么
    AG2 1.3.1沙箱、MCP Apps与A2UI兼容变化分别意味着什么

    解释AG2 1.3.1的A2UI version与protocol_version差异、E2B和boxd后端、MCP Apps连接与独立缓存写入统计,提供只读包版本查询。

    Arcane 3.0.1的代理启动与证书验证应怎样分开评估
    Arcane 3.0.1的代理启动与证书验证应怎样分开评估

    Arcane 3.0.1把代理启动中不该承担的管理端任务与身份验证要求分开处理:agent跳过manager专属工作,旧edge SPIFFE客户端证书被拒绝,更新始终验证。部署影响取决于实际使用的节点角色、证书及配置保存路径。

    ffmpeg-skill 3.10.0与3.10.1的使用边界怎么看
    ffmpeg-skill 3.10.0与3.10.1的使用边界怎么看

    ffmpeg-skill 3.10.0与3.10.1对应两个连续维护版本。多片段项目的渲染与时间线导出现在按一致的画幅和帧率规则处理。遇到容器不接受的数据流时,新版会尽量只移除受影响的数据流,让符合条件的字幕仍能保留。

    last30days-skill 4.1.0与4.2.0的使用边界怎么看
    last30days-skill 4.1.0与4.2.0的使用边界怎么看

    last30days-skill 4.1.0与4.2.0对应两个连续维护版本。两版更新让社区检索有了可选的登录路径,并按主题覆盖程度决定是否保留只在评论中命中的帖子。结果的来源和相关性规则会影响最终列出的讨论。

    rust-analyzer v0.3.3121 稳定版修复怎样影响常量与条件属性?
    rust-analyzer v0.3.3121 稳定版修复怎样影响常量与条件属性?

    rust-analyzer v0.3.3121 稳定版修复大 u128 转为负浮点数的问题,并为 target_os 与 target_env 补齐 macOS、iOS、Android 和 musl 相关候选。

    llama.cpp b12464 的 Q8_0 优化对应哪条 OpenCL 路径?
    llama.cpp b12464 的 Q8_0 优化对应哪条 OpenCL 路径?

    llama.cpp b12464 为 OpenCL A7 增加 Q8_0 非 MoE 二进制内核,解释 Adreno X1、矩阵乘法和适用条件。

    llama.cpp b12463 的视觉位置嵌入修复影响哪些输入?
    llama.cpp b12463 的视觉位置嵌入修复影响哪些输入?

    llama.cpp b12463 修正 Muse Glimmer 视觉编码器缩放位置嵌入时的坐标顺序,使其与训练一致,解释非方形图像为何更能体现差异。

    查看更多
    精品专题 更多
    装机必备
    装机必备

    正软商城装机必备专区,精选办公、浏览器、安全防护、影音播放、压缩解压、设计创作和系统工具等电脑常用正版软件,帮助用户快速完成新电脑软件配置。

    Windows
    Windows

    正软商城Windows软件专区,汇集适用于Windows电脑的办公、设计、安全防护、影音播放、开发工具和系统优化软件,提供软件介绍、系统要求、正版授权及购买下载服务。

    PDF教程
    PDF教程

    正软商城PDF教程频道提供PDF编辑、转换、合并、拆分、压缩及格式处理方法,同时介绍常用PDF软件和工具的使用技巧。

    Mac软件 更多
    讯飞智作 网页版
    讯飞智作 网页版
    Windows/ macOS/ Linux

    讯飞智作是一款基于语音合成技术、虚拟人驱动技术与数字人形象声音构建能力的 AI 数字人音视频创作平台。

    火山引擎 网页版
    火山引擎 网页版
    Windows/ macOS/ Linux

    火山引擎是字节跳动旗下企业级云与AI服务平台。聚焦大模型核心能力,依托字节自研豆包多模态大模型,凭借火山方舟一站式平台,提供模型精调、推理部署、智能应用搭建等全链路服务,结合高性能AI算力,助力各行业快速落地大模型数字化与智能化应用。

    Aperty macOS版
    Aperty macOS版
    macOS

    Aperty 是 Skylum 推出的 AI 人像修图软件,支持自然肤质修饰、瑕疵处理、面部与身体调整、预设及批量同步。

    WINDOWS 更多
    讯飞智作 网页版
    讯飞智作 网页版
    Windows/ macOS/ Linux

    讯飞智作是一款基于语音合成技术、虚拟人驱动技术与数字人形象声音构建能力的 AI 数字人音视频创作平台。

    火山引擎 网页版
    火山引擎 网页版
    Windows/ macOS/ Linux

    火山引擎是字节跳动旗下企业级云与AI服务平台。聚焦大模型核心能力,依托字节自研豆包多模态大模型,凭借火山方舟一站式平台,提供模型精调、推理部署、智能应用搭建等全链路服务,结合高性能AI算力,助力各行业快速落地大模型数字化与智能化应用。

    PixTV 网页版
    PixTV 网页版
    Windows

    PixTV 是一款在浏览器中使用的 AI 视觉内容创作平台,提供图片、视频、音频、文字生成、AI 分镜、局部重绘、提示词反推和无限画布等工具,适合短剧、漫剧、广告及社交媒体内容制作。