当前位置:

首页 > 编程开发 > 如何用ELK堆栈分析Ubuntu Node.js日志

如何用ELK堆栈分析Ubuntu Node.js日志

聊到ELK堆栈,很多人第一反应是“重”。但把它用来处理Node.js日志,其实非常顺手。只要前期把格式配置好,后面的分析效率会高得多。下面分步骤来,一步一步把整个链路跑通。 1. 前置准备:配置Node.js日志格式 ELK想要高效解析日志,前提是数据得是结构化的。所以第一步,先把Node.js日志

本文目录

    聊到ELK堆栈,很多人第一反应是“重”。但把它用来处理Node.js日志,其实非常顺手。只要前期把格式配置好,后面的分析效率会高得多。下面分步骤来,一步一步把整个链路跑通。

    1. 前置准备:配置Node.js日志格式

    ELK想要高效解析日志,前提是数据得是结构化的。所以第一步,先把Node.js日志弄成JSON格式,这步相当关键。推荐用winston库,它原生支持JSON输出,配置起来很顺手。

    如何用ELK堆栈分析Ubuntu Node.js日志

    来看一个配置示例:

    // logger.js
    const winston = require('winston');
    const logger = winston.createLogger({
        level: 'info',
        format: winston.format.combine(
            winston.format.timestamp({ format: 'YYYY-MM-DD HH:mm:ss' }), // 添加时间戳
            winston.format.json() // 输出JSON格式
        ),
        transports: [
            new winston.transports.Console(), // 输出到控制台(调试用)
            new winston.transports.File({ filename: '/var/log/nodejs/app.log' }) // 输出到文件(ELK收集用)
        ]
    });
    module.exports = logger;
    

    然后在应用中引入:

    const logger = require('./logger');
    logger.info('Application started', { port: 3000 }); // 示例日志(包含额外字段)
    logger.error('Database connection failed', { error: 'ECONNREFUSED' });
    

    JSON格式的好处很直接:Logstash解析起来几乎无痛。timestamp和level是ELK分析的基础,业务相关的附加字段(比如port、error)后续可以很方便地拿来做过滤和可视化。

    2. 安装ELK堆栈(Ubuntu 22.04+)

    2.1 安装Java(ELK依赖)

    sudo apt update
    sudo apt install openjdk-17-jdk -y
    java -version # 验证安装(需显示17.x版本)
    

    2.2 安装Elasticsearch

    wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-8.10.0-amd64.deb
    sudo dpkg -i elasticsearch-8.10.0-amd64.deb
    sudo systemctl enable elasticsearch
    sudo systemctl start elasticsearch
    curl -X GET 'localhost:9200' # 验证(返回集群信息即成功)
    

    2.3 安装Kibana

    wget https://artifacts.elastic.co/downloads/kibana/kibana-8.10.0-amd64.deb
    sudo dpkg -i kibana-8.10.0-amd64.deb
    sudo systemctl enable kibana
    sudo systemctl start kibana
    

    访问http://<服务器IP>:5601,就能看到Kibana的Web界面。默认情况下没有认证,生产环境务必记得配置密码。

    3. 配置Logstash收集Node.js日志

    3.1 创建Logstash配置文件

    sudo mkdir -p /etc/logstash/conf.d
    sudo nano /etc/logstash/conf.d/nodejs.conf
    

    写入下面的内容,注意根据实际路径调整:

    input {
        file {
            path => "/var/log/nodejs/app.log" # Node.js日志文件路径
            start_position => "beginning" # 首次配置设置为beginning,后续改为end
            sincedb_path => "/dev/null" # 忽略sincedb文件(避免重复读取)
            codec => "json" # 解析JSON格式日志
        }
    }
    filter {
        # 可选:提取日志中的额外字段(如port、error)
        grok {
            match => { "message" => "%{TIMESTAMP_ISO8601:timestamp} %{LOGLEVEL:loglevel} %{GREEDYDATA:message}" }
        }
        date {
            match => ["timestamp", "yyyy-MM-dd HH:mm:ss"] # 统一日志时间格式
            target => "@timestamp" # 映射到Elasticsearch的@timestamp字段
        }
    }
    output {
        elasticsearch {
            hosts => ["localhost:9200"] # Elasticsearch地址
            index => "nodejs-logs-%{+YYYY.MM.dd}" # 按日期分索引,比如nodejs-logs-2025.10.11
        }
        stdout { codec => rubydebug } # 控制台输出(调试用,生产环境可注释掉)
    }
    

    3.2 启动Logstash

    sudo systemctl enable logstash
    sudo systemctl start logstash
    

    检查日志看看有没有异常:

    sudo journalctl -u logstash -f
    

    如果看到Pipeline started,说明配置没问题了。

    4. 在Kibana中分析日志

    4.1 创建索引模式

    1. 打开Kibana(http://<服务器IP>:5601),进入Stack Management > Index Patterns。
    2. 点击Create index pattern,输入nodejs-logs-*(匹配Logstash输出的索引名称)。
    3. 选择@timestamp作为时间过滤字段,点击Create index pattern。

    4.2 可视化分析

    4.2.1 查看日志级别分布

    1. 进入Visualize Library,点击Create visualization。
    2. 选择Vertical Bar图表类型,索引模式选择nodejs-logs-*。
    3. 在Metrics栏选择Count(计数),Buckets栏选择X-axis。
    4. 在X-axis配置中,选择Terms聚合,字段选择loglevel.keyword(日志级别)。
    5. 点击Save,命名为Log Level Distribution。

    4.2.2 查看错误日志趋势

    1. 创建新的可视化,选择Line图表类型。
    2. Metrics栏选择Count,Buckets栏选择X-axis。
    3. X-axis配置:Date Histogram聚合,字段选择@timestamp,间隔选择Daily(每日)。
    4. 添加Split Line子聚合:Terms,字段选择loglevel.keyword(区分不同级别)。
    5. 点击Save,命名为Error Trend。

    4.2.3 创建仪表盘

    1. 进入Dashboard,点击Create dashboard。
    2. 点击Add,选择刚才创建的Log Level Distribution和Error Trend可视化。
    3. 调整布局后点击Save,命名为Node.js Logs Dashboard。

    4.3 搜索特定日志

    在Kibana顶部导航栏输入Discover,选择nodejs-logs-*索引模式,就可以开始搜索了:

    • 简单搜索:输入loglevel: "error",所有错误日志一览无余。
    • 高级搜索:用KQL(Kibana Query Language),比如@timestamp >= "now-1h" AND loglevel: "error",就能定位最近1小时的错误。

    5. 优化建议

    • 日志轮转:用logrotate防止日志撑满磁盘。

      sudo nano /etc/logrotate.d/nodejs
      

      写入:

      /var/log/nodejs/*.log {
          daily
          missingok
          rotate 7
          compress
          notifempty
          create 0640 root adm
      }
      
    • 敏感信息过滤:在Logstash的filter里加上mutate插件,把密码、信用卡号这样的字段直接移除:

      filter {
          mutate {
              remove_field => ["password", "credit_card"]
          }
      }
      
    • 性能优化:如果应用流量大,用Filebeat代替Logstash的file输入插件,能显著降低服务器压力。

    整套流程跑通之后,Node.js日志的收集、存储、分析和可视化就全在掌控之中了。排查问题、监控应用状态,都会变得顺手很多。

    本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系bd@zhengruan.com
    作者最新文章
    编程开发 Ubuntu
    相关文章 更多
    Ubuntu命令行入门:打开终端并验证文件目录操作
    Ubuntu命令行入门:打开终端并验证文件目录操作

    本教程指导Ubuntu新手打开终端,通过pwd、ls、cd、mkdir和touch命令完成基础文件目录操作。适用于桌面版、虚拟机及WSL环境,提供从查看路径到创建测试文件的完整验证步骤,帮助读者建立命令行操作的安全意识与正确习惯。

    在VMware中安装Ubuntu并验证启动的完整步骤
    在VMware中安装Ubuntu并验证启动的完整步骤

    本文提供在VMware中安装Ubuntu并验证启动的完整流程。适用于首次练习Linux或搭建开发环境的用户。按步骤完成虚拟机创建、ISO挂载、硬件分配与安装后,可通过终端命令确认版本、内核与网络状态,确保系统可正常使用。

    Ubuntu 26.04 将显著提升英伟达图形显卡在 Wayland 环境下的性能
    Ubuntu 26.04 将显著提升英伟达图形显卡在 Wayland 环境下的性能

    Ubuntu26.04LTS针对英伟达显卡在Wayland+GNOME环境进行性能调优,通过修改gbm_surface_lock_front_buffer函数,将帧渲染等待时间从毫秒级降至微秒级,显著提升UI响应和画面流畅度。该补丁已作为发行版专属补丁集成,确保LTS用户无需等待上游整合即可获得优化体验。

    Ubuntu Touch 24.04-2.0 Beta 发布:适配索尼 Xperia X 等手机 提升上网体验
    Ubuntu Touch 24.04-2.0 Beta 发布:适配索尼 Xperia X 等手机 提升上网体验

    UbuntuTouch24.04-2.0Beta发布,底层升级至Ubuntu24.04,浏览器引擎从Chromium87跃升至134,网页兼容性显著提升;新增屏幕刘海区域自动适配、截图编辑器、网络指示器改进、移动数据可靠性增强、数据加密稳定,并新增NothingPhone(1)等设备支持。

    Ubuntu如何查看系统防火墙规则
    Ubuntu如何查看系统防火墙规则

    ufw status仅显示高层策略和显式添加的规则(如“80 ALLOW Anywhere”),不反映默认策略绕过、IPv6独立规则、Docker等直写nftables的bypass规则,也无法体现本地回环流量不受管控等底层细节。Ubuntu 默认用 ufw 管理防火墙,但规则实际由 nftable

    Ubuntu如何更换锁屏背景图片
    Ubuntu如何更换锁屏背景图片

    锁屏背景和桌面壁纸之所以不同,是因为GNOME默认会复制桌面壁纸,然后强制叠加高斯模糊和亮度调整效果,这个效果是由lockDialogGroup的CSS来控制的。要是想去除模糊,建议使用Control Blur Effect On Lock Screen扩展,把Adjust Sigma设置为0就行。

    UbuntuSwapper在服务器上应用效果如何
    UbuntuSwapper在服务器上应用效果如何

    Ubuntu Swapper(一般就是指Ubuntu的交换分区或者交换文件)在服务器上的应用成效,是由多个因素共同决定的,像服务器的硬件配置情况、工作负载的类型以及交换空间的大小和具体配置等。下面为大家带来一些有关Ubuntu Swapper在服务器上应用效果的一般性评价:正面效果内存管理:交换空间

    Ubuntu如何配置命令行模式下的中文支持
    Ubuntu如何配置命令行模式下的中文支持

    根本原因是纯命令行tty默认不支持UTF-8及中文字体渲染,locale设置仅影响字符解析逻辑,不解决字体绘制问题;图形终端自带UTF-8渲染,而tty需借助fbterm等工具实现中文显示。为什么终端里中文显示为问号或方块 纯命令行(tty,例如通过Ctrl+Alt+F3进入的界面)默认不会加载UT

    如何通过Tomcat日志提升Ubuntu服务器性能
    如何通过Tomcat日志提升Ubuntu服务器性能

    通过分析Tomcat日志来提升Ubuntu服务器性能是一个很好的方法。以下是一些步骤和建议,帮助你通过Tomcat日志来优化服务器性能:1. 收集日志首先,得保证你的Tomcat服务器有详细的日志记录配置。在conf/logging.properties文件里,你可以对日志级别和输出格式进行调整。o

    Ubuntu如何设置具体的命令行配色
    Ubuntu如何设置具体的命令行配色

    直接修改PS1是最为可控且轻量的方法。因为GNOME Terminal主题难以区分提示符、命令输入与输出,而PS1搭配ANSI转义码能够精准地为各个字段上色,并且需要用[ ]进行包裹,以防止光标出现错位的情况。直接改 PS1 是最可控、最轻量的方式,不需要装框架或改终端全局配色。 为什么不用改 GN

    查看更多
    精品专题 更多
    装机必备
    装机必备

    正软商城装机必备专区,精选办公、浏览器、安全防护、影音播放、压缩解压、设计创作和系统工具等电脑常用正版软件,帮助用户快速完成新电脑软件配置。

    Windows
    Windows

    正软商城Windows软件专区,汇集适用于Windows电脑的办公、设计、安全防护、影音播放、开发工具和系统优化软件,提供软件介绍、系统要求、正版授权及购买下载服务。

    PDF教程
    PDF教程

    正软商城PDF教程频道提供PDF编辑、转换、合并、拆分、压缩及格式处理方法,同时介绍常用PDF软件和工具的使用技巧。

    Mac软件 更多
    讯飞智作 网页版
    讯飞智作 网页版
    Windows/ macOS/ Linux

    讯飞智作是一款基于语音合成技术、虚拟人驱动技术与数字人形象声音构建能力的 AI 数字人音视频创作平台。

    火山引擎 网页版
    火山引擎 网页版
    Windows/ macOS/ Linux

    火山引擎是字节跳动旗下企业级云与AI服务平台。聚焦大模型核心能力,依托字节自研豆包多模态大模型,凭借火山方舟一站式平台,提供模型精调、推理部署、智能应用搭建等全链路服务,结合高性能AI算力,助力各行业快速落地大模型数字化与智能化应用。

    Aperty macOS版
    Aperty macOS版
    macOS

    Aperty 是 Skylum 推出的 AI 人像修图软件,支持自然肤质修饰、瑕疵处理、面部与身体调整、预设及批量同步。

    WINDOWS 更多
    讯飞智作 网页版
    讯飞智作 网页版
    Windows/ macOS/ Linux

    讯飞智作是一款基于语音合成技术、虚拟人驱动技术与数字人形象声音构建能力的 AI 数字人音视频创作平台。

    火山引擎 网页版
    火山引擎 网页版
    Windows/ macOS/ Linux

    火山引擎是字节跳动旗下企业级云与AI服务平台。聚焦大模型核心能力,依托字节自研豆包多模态大模型,凭借火山方舟一站式平台,提供模型精调、推理部署、智能应用搭建等全链路服务,结合高性能AI算力,助力各行业快速落地大模型数字化与智能化应用。

    PixTV 网页版
    PixTV 网页版
    Windows

    PixTV 是一款在浏览器中使用的 AI 视觉内容创作平台,提供图片、视频、音频、文字生成、AI 分镜、局部重绘、提示词反推和无限画布等工具,适合短剧、漫剧、广告及社交媒体内容制作。