当前位置:

首页 > 系统应用 > 聚焦重要数据价值丨DolphinDB降采样算法介绍

聚焦重要数据价值丨DolphinDB降采样算法介绍

1. 绪论在真实的业务场景中,时间序列数据具有以下特点:采集频率(秒级甚至毫秒级)高,导致数据量非常庞大。数据价值密度低。对数据进行合理的降采样不仅极大地可以降低系统压力、节约存储成本,同时也可以帮助用户聚焦重要信息,提升数据价值。本教程将以要点感知算法为例介绍如何在 DolphinDB 自定义并应

本文目录

    1. 绪论

    在真实的业务场景中,时间序列数据具有以下特点:

    • 采集频率(秒级甚至毫秒级)高,导致数据量非常庞大。
    • 数据价值密度低。

    对数据进行合理的降采样不仅极大地可以降低系统压力、节约存储成本,同时也可以帮助用户聚焦重要信息,提升数据价值。本教程将以要点感知算法为例介绍如何在 DolphinDB 自定义并应用算法降采样数据。

    1.1 行业背景

    在物联网用户场景里,普遍存在这样一种需求:查询某个采集点全年(或一季度、一个月)的数据,并进行展示分析。而在展示时,若呈现所有数据,会引发性能问题,特别是实时展示时。况且,这其实并非必要,因为仅展示大概趋势就足以满足决策要求,过多数据点反而可能干扰决策。就拿折线图来说,在可视化场景中,随着x轴数据不断增多,y轴对应的数据量也会增加,体现在图上的折线就会愈发复杂。当数据量达到一定程度,就很难再从图中找到具体某一个点所代表的真实值,数据变得十分拥挤。下图展示了1个包含1万个数据点的折线图:

    为了能够看到图形的整体,我们就要隐藏一些点,仅展示那些能够代表其他的点,或者是创建能够代表这些点的新数据点,这就是降采样算法解决的问题。

    1.2 业务挑战

    总体而言,在上述物联网时序数据应用场景中,首先需要将数据存下来,再将一定时间跨度的数据进行可视化展示,或者是流计算实时推送数据进行展示,而不对数据进行降采样,会存在以下几个问题:

    • 存储成本:高采集频率、多采集点数据的存储成本极高
    • 数据展示:展示原始数据遭遇性能瓶颈,且大量噪声数据影响局部趋势
    • 数据价值:数据价值不与存储、展示成本成正比

    2. 降采样算法概述

    DolphinDB已内置实现了最大值、最小值、平均值等简单的降采样算法,用户可直接调用相应函数来计算。这些降采样算法都是用一个值来表示多条数据,这样做的好处是计算简单、速度快,但缺点是信息损失较大。除了这些,还有很多学者提出了大量更为复杂、高级的降采样算法,适用于不同的场景。DolphinDB的语言具备强大的编程能力,能支持用户自定义实现复杂的降采样算法。接下来,本文将以PIP算法为例,为大家介绍其算法原理、DolphinDB脚本实现,还会给出案例脚本,用户可在自己的DolphinDB server上直接运行该脚本。

    3. PIP 算法

    3.1 PIP 介绍

    PIP(Perceptually Important Points)算法又叫要点感知算法,是一种时间序列聚合算法,其思路是:对于一个长度为 n 的时间序列数据,迭代地依据最大距离原则采样出 k 个数据点, k 是人为设置的降采样数据点数(k <= n)。PIP 算法的具体步骤如下(论文参考:https://sci-hub.se/10.1109/iscmi.2017.8279589)

    • 第一步:采样出时间序列的第 1 个和最后 1 个样本放入降采样数据点集
    • 第二步:计算剩余未采样样本点到其邻接的 2 个要点构成的直线的距离
    • 第三步:采样出距离最大的样本点放入降采样数据点集
    • 第四步:重复第二步和第三步直到采样要点数达到 k 个

    可以通过下面的演示图片,更直观的感受 PIP 算法的计算过程:

    其中,上述点到直线的距离计算常用的是垂直距离(Vertical Distance),本文中的脚本实现也将采用该距离计算公式。对于点(x3,y3)到另外两点(x1,y1)、(x2,y2)所构成直线的距离的计算公式为

    即为下图中蓝色虚线所示的距离:

    3.2 脚本实现

    DolphinDB 支持用户通过 defg 声明编写脚本实现自定义聚合函数,并且rolling等滑动窗口函数支持调用用户自定义的聚合函数进行滑动计算,因此 DolphinDB 天然支持用户自定义降采样算法进行滑动计算,以下代码为 PIP 算法的脚本实现:

    defg PIP(X, Y){
    data = table(X as x, Y as y)
    rowTab = select x, y, rowNo(x) as rowNo from data
    n = size(X)
    // k为每次滑动降采样的数据量,取值范围为 3~n(n 为滑动窗口大小)
    k = 5
    samples = 2
    result = string(X[0])+"_"+string(Y[0])
    indexList = [0,n-1]
    do{
    distanceVec = [0.0]
    for (i in 0..(size(indexList)-2)){
    start, end = indexList[i], indexList[i+1]
    x1, y1 = X[start], Y[start]
    x2, y2 = X[end], Y[end]
    a = (y1-y2)/(x1-x2)
    b = y1-a*x1
    distanceVec=join(distanceVec, abs(Y[(start+1): end] - (X[(start+1): end]*a + b)))
    distanceVec.append!(0)
    }
    distanceMax = distanceVec.max()
    tmp = table(rowTab, distanceVec as distance)
    nextPoint = select x, y, rowNo from tmp where distance = distanceMax
    result += ","+string(nextPoint.x[0])+"_"+string(nextPoint.y[0])
    indexList = indexList.append!(nextPoint.rowNo[0]).sort()
    samples = samples+1
    }while(samples < k)
    result += ","+string(X.last())+"_"+string(Y.last())
    return result
    }

    3.3 算法性能

    PIP 算法的时间复杂度是 O(n2),得益于 DolphinDB 内置的向量化编程,我们可以将算法的时间复杂度降低为 O(n) ,极大地提升了算法的计算性能,在单机社区版的 DolphinDB 上将 1 千万条的时间序列数据降采样至 4 万条数据只需 1.4s,并且还可以通过多线程的方式进一步提升性能。

    4. 案例演示

    4.1 案例脚本

    本案例将以 1000 万条的正弦波动数据为例,使用 PIP 算法进行降维并展示降维前后的可视化对比,用户可以在自己的 DolphinDB 环境上运行该案例的完整代码。

    • 清理环境
    login('admin', '123456')
    undef(all)
    clearAllCache()
    • 自定义 PIP 算法函数及解析函数
    // PIP 算法聚合函数
    defg PIP(X, Y){
    data = table(X as x, Y as y)
    rowTab = select x, y, rowNo(x) as rowNo from data
    n = size(X)
    // k 为每次滑动降采样的数据量,取值范围为 3~n(n 为滑动窗口大小)
    k = 5
    samples = 2
    result = string(X[0])+"_"+string(Y[0])
    indexList = [0,n-1]
    do{
    distanceVec = [0.0]
    for (i in 0..(size(indexList)-2)){
    start, end = indexList[i], indexList[i+1]
    x1, y1 = X[start], Y[start]
    x2, y2 = X[end], Y[end]
    a = (y1-y2)/(x1-x2)
    b = y1-a*x1
    distanceVec=join(distanceVec, abs(Y[(start+1): end] - (X[(start+1): end]*a + b)))
    distanceVec.append!(0)
    }
    distanceMax = distanceVec.max()
    tmp = table(rowTab, distanceVec as distance)
    nextPoint = select x, y, rowNo from tmp where distance = distanceMax
    result += ","+string(nextPoint.x[0])+"_"+string(nextPoint.y[0])
    indexList = indexList.append!(nextPoint.rowNo[0]).sort()
    samples = samples+1
    }while(samples < k)
    result += ","+string(X.last())+"_"+string(Y.last())
    return result
    }

    // 降采样结果解析函数
    def strToTable(result){
    samplesPIP = keyedTable(`x`y, 1:0, `x`y, `DOUBLE`DOUBLE)
    for (res in result){
    windows = res.split(',')
    for (window in windows){
    row = window.split('_')
    samplesPIP.append!(table([double(row[0])] as x, [double(row[1])] as y))
    }
    }
    return samplesPIP.sortBy!(`x, 1)
    }
    • 模拟数据
    // 模拟 1 千万条正弦数据,大小为 153 MB
    X = (double(0..9999999)*pi/1000)
    Y = sin(X)
    • 结合rolling函数进行滑动计算
    // 调用 rolling 函数进行滑动窗口计算,每 1000 个点滑动 1 次,降采样到 10 个点
    timer{pipResult = rolling(PIP, [X, Y], 1000, 999)}

    // 解析降采样结果输出一张表
    samplesPIP = strToTable(pipResult)

    4.2 结果展示

    DolphinDB 内置了画图函数 plot,用户可以在库内直接调用对数据进行可视化展示,接下来将调用 plot 函数可视化对比降采样前后数据。

    • 原始数据折线图:
    plot(Y[0:10000], X[0:10000])

    • 降采样数据折线图:
    plot(samplesPIP.y[0:100], samplesPIP.x[0:100])

    可见,PIP 降采样算法可以完全保留数据的趋势信息。但在实际业务场景中,需结合实际业务场景合理设置滑动窗口大小及降采样点数。

    本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系bd@zhengruan.com
    作者最新文章
    系统应用 物联网
    相关文章 更多
    Android接入MQTT并控制ESP8266温湿度数据的完整教程
    Android接入MQTT并控制ESP8266温湿度数据的完整教程

    本文提供Android接入MQTT服务并控制ESP8266的完整方案。通过规划主题、配置Android依赖与权限、订阅温湿度数据及下发LED控制指令,实现双向通信。适用于具备基础编程知识的开发者,帮助快速搭建物联网联调环境,解决连接失败、数据不同步等常见问题。

    【案例分享】OneOS带你玩转高精度定位组件
    【案例分享】OneOS带你玩转高精度定位组件

    一、服务简介OneOS高精度定位服务基于中移智行的高精度定位平台,可以为搭载OneOS的物联网硬件提供最高动态厘米级、静态毫米级的卫星定位能力;并且针对性优化了物联网硬件在使用差分服务时资源占用过大的问题。包含三种服务:厘米级RTK、亚米级RTK、亚米级RTD,开发者可根据使用场景和硬件配置灵活选用

    天气预报精确定位能定位到哪些地方?支持精准定位的区域一览
    天气预报精确定位能定位到哪些地方?支持精准定位的区域一览

    如今,天气预报的精准定位能力已经覆盖全国3000多个市、区、县,以及5万多个接入省级气象物联网平台的乡镇,定位范围可以细到街道级,甚至进一步下探到百米级。不过,最终能精确到什么程度,主要还是要看基站密度、IP备案是否完整,以及雷达网格分辨率这几个关键因素。也要看到,像数据中心集群、跨省高速服务区,以

    广东:拟探索推进300米以上低空空域及偏远地区网络覆盖
    广东:拟探索推进300米以上低空空域及偏远地区网络覆盖

    广东拟探索推进300米以上低空空域及偏远地区网络覆盖,推动手机直连卫星、卫星物联网应用落地,建设通导遥一体化低轨星座,同步启动“宽带粤海”行动构建5G/5G-A+海底光缆+卫星网络,目标卫星通信用户达百万级。

    中国三个项目荣获“2026年信息社会世界峰会奖”
    中国三个项目荣获“2026年信息社会世界峰会奖”

    中国三个项目荣获2026年信息社会世界峰会奖,涵盖数字农业、女性科技人才培养与量子计算。获奖项目包括物联网智能农业灌溉、女性科技人才能力建设中心及五岳纪元量子计算云平台,分别获电子农业、国际与区域合作及电子科学类别奖项。

    张孝祥javascript 教程:从入门到实际使用
    张孝祥javascript 教程:从入门到实际使用

    JavaScript已从浏览器脚本发展为涵盖前后端及多平台的核心技术。张孝祥教程系统讲解语法基础、DOM交互、异步编程及ES6新特性,注重编程思维与实践结合,并通过项目实践引导学习者掌握现代前端开发流程与工具,实现从入门到应用的跨越。

    活力中国调研行|杭甬“追光”筑光电产业高地
    活力中国调研行|杭甬“追光”筑光电产业高地

    杭州光学精密机械研究所与宁波永新光学在光电领域持续创新,前者孵化70余家企业,后者提供核心光学部件并承制太空显微实验仪。两者推动科技成果转化,形成杭甬光电产业互补优势,共同打造光电产业高地。

    活力中国调研行|杭甬“追光”筑光电产业高地
    活力中国调研行|杭甬“追光”筑光电产业高地

    杭州光学精密机械研究所与宁波永新光学深耕光电硬科技,前者创新“选种—育苗—嫁接”孵育体系,后者打通产学研转化通道,形成“杭州最强大脑”与“宁波硬核工厂”互补优势,共同筑就光电产业高地。

    SpringBoot2.7.8原生SSE服务端开发实战指南
    SpringBoot2.7.8原生SSE服务端开发实战指南

    基于SpringBoot2.7.8原生支持,介绍了SSE轻量级单向实时通信方案的工作原理、适用场景,并通过具体代码示例展示了服务端依赖引入、SseEmitter服务类实现及控制器配置,实现群发与单点实时数据推送。

    江西电信物联网卡管理在哪-江西电信网上营业厅物联服务入口位置
    江西电信物联网卡管理在哪-江西电信网上营业厅物联服务入口位置

    江西电信物联网卡管理系统实现精准连接与设备集中管理,网上营业厅物联服务入口提供套餐查询、调整及流量余额查看功能,并采用加密技术保障数据安全,配有专业客服支持。

    查看更多
    精品专题 更多
    装机必备
    装机必备

    正软商城装机必备专区,精选办公、浏览器、安全防护、影音播放、压缩解压、设计创作和系统工具等电脑常用正版软件,帮助用户快速完成新电脑软件配置。

    Windows
    Windows

    正软商城Windows软件专区,汇集适用于Windows电脑的办公、设计、安全防护、影音播放、开发工具和系统优化软件,提供软件介绍、系统要求、正版授权及购买下载服务。

    PDF教程
    PDF教程

    正软商城PDF教程频道提供PDF编辑、转换、合并、拆分、压缩及格式处理方法,同时介绍常用PDF软件和工具的使用技巧。

    Mac软件 更多
    讯飞智作 网页版
    讯飞智作 网页版
    Windows/ macOS/ Linux

    讯飞智作是一款基于语音合成技术、虚拟人驱动技术与数字人形象声音构建能力的 AI 数字人音视频创作平台。

    火山引擎 网页版
    火山引擎 网页版
    Windows/ macOS/ Linux

    火山引擎是字节跳动旗下企业级云与AI服务平台。聚焦大模型核心能力,依托字节自研豆包多模态大模型,凭借火山方舟一站式平台,提供模型精调、推理部署、智能应用搭建等全链路服务,结合高性能AI算力,助力各行业快速落地大模型数字化与智能化应用。

    Aperty macOS版
    Aperty macOS版
    macOS

    Aperty 是 Skylum 推出的 AI 人像修图软件,支持自然肤质修饰、瑕疵处理、面部与身体调整、预设及批量同步。

    WINDOWS 更多
    讯飞智作 网页版
    讯飞智作 网页版
    Windows/ macOS/ Linux

    讯飞智作是一款基于语音合成技术、虚拟人驱动技术与数字人形象声音构建能力的 AI 数字人音视频创作平台。

    火山引擎 网页版
    火山引擎 网页版
    Windows/ macOS/ Linux

    火山引擎是字节跳动旗下企业级云与AI服务平台。聚焦大模型核心能力,依托字节自研豆包多模态大模型,凭借火山方舟一站式平台,提供模型精调、推理部署、智能应用搭建等全链路服务,结合高性能AI算力,助力各行业快速落地大模型数字化与智能化应用。

    PixTV 网页版
    PixTV 网页版
    Windows

    PixTV 是一款在浏览器中使用的 AI 视觉内容创作平台,提供图片、视频、音频、文字生成、AI 分镜、局部重绘、提示词反推和无限画布等工具,适合短剧、漫剧、广告及社交媒体内容制作。