当前位置:

首页 > 系统应用 > 基于Databend实现的海量日志实时查询服务|多点DMALL

基于Databend实现的海量日志实时查询服务|多点DMALL

多点DMALL 供应链补货团队负责人多点DMALL 成立于 2015 年。从创立伊始,就致力于以大数据、云计算、AI 等数字技术改变零售业,是一站式全渠道数字零售解决方案服务商,数字化解构重构零售产业,提供端到端的商业 SaaS 解决方案。多点DMALL 通过 DMALL OS 提供零售云一站式解决

本文目录

    多点DMALL 供应链补货团队负责人

    多点DMALL 成立于 2015 年。从创立伊始,就致力于以大数据、云计算、AI 等数字技术改变零售业,是一站式全渠道数字零售解决方案服务商,数字化解构重构零售产业,提供端到端的商业 SaaS 解决方案。

    多点DMALL 通过 DMALL OS 提供零售云一站式解决方案,帮助零售商和品牌商数字化转型,实现线上线下一体化;同时通过多点 App 等工具赋能全渠道经营能力,并提供各类增值服务。

    需求概述

    商家要求支持 4 个月的日志查询,目前线上只支持 1 个月。每天日志是 400 万行项,1 个月的日志量是 1.2 亿,考虑到后续业务的增长,预计每月日志数据量会增长到 2.5亿;4 个月的日志量是 10 亿行项左右。

    现采用的 MongoDB 集群因资源受限无法支持 10 亿行项存储及查询,急需寻找另外的解决方案。

    Databend的介绍及优势

    Databend,一款开源的新式数仓,专为云架构而生。它具备快速的弹性扩展能力,借助云的弹性、简单与低成本优势,让Data Cloud的构建更为轻松。Databend将数据存储于AWS S3、Azure Blob等云存储系统,能使不同计算节点挂载同一份数据,实现高度弹性与资源的精细化控制。Databend在设计时着重关注以下能力:

    • 高性能且部署使用成本低: 在提供更高的性能的同时,部署成本不到传统数据库(MySQL、MongoDB)的 1/10;

    • 支持标准 sql 语法: 能兼容 Mybatits 等常用 ORM 框架,对于研发来说没有任何学习成本。

    • 支持自动索引: 系统会自动对所有字段建立索引;无需研发进行优化。

    技术选型

    由于 Databend 可以处理海量数据的查询,并且提供了实时查询和处理能力。恰好满足了多点现在所求。基于以上,我们选择 Databend 实现海量日志实时查询的原因包括有以下四点:

    基于对象存储,成本低

    SSD 块设备的 1/10;按实际用量付费

    在线查询

    无须从冷备中恢复;可接受的查询性能

    支持大单表

    TB 级别;分批持续归档

    兼容 TiDB

    MySQL 协议;数据类型兼容

    使用 Databend方案

    目前使用 Databend 主要是用在计算日志查询场景。

    计算任务会将计算日志保存到 MongoDB;然后会通过定时任务,将日志从 MongoDB 同步到 Databend 供页面查询。

    基于 Databend的性能测试

    测试环境

    Databend 是计算、存储分离架构

    计算节点: 1 * 4C16G100G (费用 70美元/月)

    **存储:**使用对象存储,按需付费

    测试表结构和数据样例

    表结构

    CREATE TABLE `logs` (
    `tenant` VARCHAR COMMENT,
    `batch_seq` INT COMMENT,
    `order_situations` VARIANT COMMENT,
    `day` VARCHAR COMMENT,
    `shop_code` VARCHAR COMMENT,
    `goods_code` VARCHAR COMMENT,
    `supplier_code` VARCHAR COMMENT,
    `out_supplier_code` VARCHAR COMMENT,
    `out_supplier_type` VARCHAR COMMENT,
    `today_order` INT COMMENT,
    `category` VARCHAR COMMENT,
    `sec_category` VARCHAR COMMENT,
    `thi_category` VARCHAR COMMENT,
    `log_detail` JSON COMMENT
    ) ENGINE=FUSE

    查询性能

    测试总结

    在10亿数据量级下,常用查询均可做到秒级响应。

    海量日志实时查询服务通用化解决方案

    Databend 适用方案

    • 大规模数据查询: Databend 可以处理海量数据的查询。如果你需要对大规模数据进行复杂的查询和分析,Databend 可以作为一个高效的数据湖仓使用。

    • 数据仓库和数据湖: Databend 可以作为数据仓库或数据湖的核心组件,用于存储和管理结构化和半结构化数据。它支持标准的 SQL 查询语言,使得数据分析师和工程师可以方便地进行数据探索和分析。

    • 实时数据处理: Databend 提供了实时查询和处理能力,适用于对实时数据流进行查询和分析的场景。你可以将实时数据流导入到 Databend 中,并通过 SQL 查询语言实时分析数据。

    本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系bd@zhengruan.com
    作者最新文章
    系统应用
    相关文章 更多
    京东MALL香港湾仔店开业 计划三年内在港新增6至8家门店
    京东MALL香港湾仔店开业 计划三年内在港新增6至8家门店

    6月18日,京东MALL香港湾仔店开业,首日人气火爆。门店采用“港采港销”模式,覆盖全品类家电数码,提供极速配送及安装服务。计划三年内在港新增6至8家门店,投资超350亿港元,并创造逾万个本地就业岗位。

    京东MALL香港湾仔店6月18日正式开业
    京东MALL香港湾仔店6月18日正式开业

    六月十八日,京东MALL香港湾仔店开业,在港累计投入已超三百五十亿港元。未来三年计划新增六至八家门店,以升级线下消费体验、创造就业岗位并激活本地消费活力,此举将深化京东全渠道零售布局,促进香港数字化转型与消费升级。

    松下高层访沪共话新机遇,住空间家电首店落地京东MALL
    松下高层访沪共话新机遇,住空间家电首店落地京东MALL

    松下高层访沪与京东共商新机遇,住空间家电首店落地上海京东MALL,发布“大溪地怡居生态套系”。松下提出“在中国,为中国,为全球”战略,加码市场投入,聚焦场景化体验与全品类融合,深化全场景“怡居”解决方案。

    【场面】京东MALL上海首店开业
    【场面】京东MALL上海首店开业

    先说几个核心结论:2026年6月12日,京东MALL终于在上海落地了首家门店——闵行七宝店。这家店来头不小,汇集了全球200多家一线品牌、超过20万款自营商品,更引人注目的是,它还带来了智元机器人的全球首个线下体验店。 数据最能说明问题。先看试营业表现:5月31日启动以来,日均客流过万,周末客流峰值

    京东MALL上海七宝店正式开业
    京东MALL上海七宝店正式开业

    京东MALL上海七宝店开业,标志完成对北上广深一线城市全覆盖。门店近5万平方米,汇聚200家品牌、20万款商品,设有银龄馆、金榜题名体验馆等主题空间,香港首店也将开业,形成沪港联动。

    京东MALL上海首店6月12日开业,除了机器人迎客,还有哪些亮点可体验?
    京东MALL上海首店6月12日开业,除了机器人迎客,还有哪些亮点可体验?

    京东MALL上海首店6月12日开业,主打沉浸式体验与场景化布局,汇聚超20万款自营商品。店内设机器人体验馆,多款前沿智能设备亮相,同时叠加家电以旧换新补贴政策,激发科技消费活力。

    京东MALL迎来首批实习机器人员工,实体零售开启人机协作新场景
    京东MALL迎来首批实习机器人员工,实体零售开启人机协作新场景

    京东MALL引入智能机器人承担迎宾、导购、理货等任务,实现人机协同。其背后自研零售大模型和具身智能技术支撑运营,并计划采集超千万小时真实场景数据,推动机器人零售商用路径与产业化加速。

    半两财经|会迎宾、能导购、还能理货!京东MALL首批实习机器人员工上岗
    半两财经|会迎宾、能导购、还能理货!京东MALL首批实习机器人员工上岗

    京东MALL在618期间引入多款智能机器人,从事迎宾、导购、理货等工作。人形机器人可导航互动,四足机器狗能带路调整路线,理货机器人上架成功率超90%。京东同步上线机器人解决方案并招募方案商入驻,降低使用门槛。

    京东MALL香港首店落地
    京东MALL香港首店落地

    京东MALL香港首店6月18日至21日在湾仔开业,面积3万平方英尺,设有机器人互动、咖啡品鉴等体验区。计划三年内开6-8家门店,优先选址沙田、旺角、屯门。京东佳宝超市第100家门店已落地,未来三年将与1000个品牌合作,布局超200家门店,提供逾万个岗位。

    河南首家京东MALL要来了?知情人士:预计今年下半年开业
    河南首家京东MALL要来了?知情人士:预计今年下半年开业

    河南首家京东MALL终于有了确切的开业时间表。6月4日,从接近项目的知情人士处获悉,这家备受关注的超级体验店预计在今年下半年正式亮相。去现场转了一圈,确实能感受到工程正在加速:工人已经进场装修,道路两侧挂起了“京东MALL河南首店即将开业”的横幅,而门店的外场已经提前投入运营,不时有消费者进店溜达、

    查看更多
    精品专题 更多
    装机必备
    装机必备

    正软商城装机必备专区,精选办公、浏览器、安全防护、影音播放、压缩解压、设计创作和系统工具等电脑常用正版软件,帮助用户快速完成新电脑软件配置。

    Windows
    Windows

    正软商城Windows软件专区,汇集适用于Windows电脑的办公、设计、安全防护、影音播放、开发工具和系统优化软件,提供软件介绍、系统要求、正版授权及购买下载服务。

    PDF教程
    PDF教程

    正软商城PDF教程频道提供PDF编辑、转换、合并、拆分、压缩及格式处理方法,同时介绍常用PDF软件和工具的使用技巧。

    Mac软件 更多
    讯飞智作 网页版
    讯飞智作 网页版
    Windows/ macOS/ Linux

    讯飞智作是一款基于语音合成技术、虚拟人驱动技术与数字人形象声音构建能力的 AI 数字人音视频创作平台。

    火山引擎 网页版
    火山引擎 网页版
    Windows/ macOS/ Linux

    火山引擎是字节跳动旗下企业级云与AI服务平台。聚焦大模型核心能力,依托字节自研豆包多模态大模型,凭借火山方舟一站式平台,提供模型精调、推理部署、智能应用搭建等全链路服务,结合高性能AI算力,助力各行业快速落地大模型数字化与智能化应用。

    Aperty macOS版
    Aperty macOS版
    macOS

    Aperty 是 Skylum 推出的 AI 人像修图软件,支持自然肤质修饰、瑕疵处理、面部与身体调整、预设及批量同步。

    WINDOWS 更多
    讯飞智作 网页版
    讯飞智作 网页版
    Windows/ macOS/ Linux

    讯飞智作是一款基于语音合成技术、虚拟人驱动技术与数字人形象声音构建能力的 AI 数字人音视频创作平台。

    火山引擎 网页版
    火山引擎 网页版
    Windows/ macOS/ Linux

    火山引擎是字节跳动旗下企业级云与AI服务平台。聚焦大模型核心能力,依托字节自研豆包多模态大模型,凭借火山方舟一站式平台,提供模型精调、推理部署、智能应用搭建等全链路服务,结合高性能AI算力,助力各行业快速落地大模型数字化与智能化应用。

    PixTV 网页版
    PixTV 网页版
    Windows

    PixTV 是一款在浏览器中使用的 AI 视觉内容创作平台,提供图片、视频、音频、文字生成、AI 分镜、局部重绘、提示词反推和无限画布等工具,适合短剧、漫剧、广告及社交媒体内容制作。