如何使用ELK分析CentOS JS日志

在CentOS服务器上部署Node.js应用后，面对海量的日志数据，如何快速定位问题、洞察性能瓶颈？一套成熟的ELK（Elasticsearch, Logstash, Kibana）技术栈，或许就是你正在寻找的答案。它能将分散的日志集中管理，并提供强大的搜索、分析和可视化能力。今天，我们就来手把手搭建一套用于分析Ja vaScript（尤其是Node.js）日志的ELK系统。

一 架构与准备

在动手之前，先理清几个关键点：各个组件扮演什么角色，网络端口如何规划，以及你的日志应该以何种形态产出。

• 组件与端口
  • Elasticsearch：核心的搜索与分析引擎，负责存储和检索日志数据。默认服务端口是9200，集群节点间通信使用9300端口。
  • Logstash：数据处理管道，负责采集、解析、过滤和转发日志。它常通过5044端口接收来自Filebeat等采集器的数据。
  • Kibana：数据可视化平台，让你能通过图表和仪表盘与日志交互。默认访问端口是5601。
• 环境与防火墙
  • ELK 7.x版本通常需要Ja va 8环境。安装完成后，别忘了在防火墙放行必要的端口。
  • 以CentOS 7及以上版本（使用firewalld）为例，可以这样操作：
    • firewall-cmd --permanent --add-port={9200,9300,5601,5044}/tcp
    • firewall-cmd --reload
• 日志形态建议
  • Node.js后端日志：强烈建议输出为结构化的JSON格式，这能极大简化后续Logstash的解析工作。日志可以输出到文件，或者直接写入systemd的journal。
  • 前端浏览器日志：可以通过WebSocket或HTTP请求实时发送到后端的一个日志网关，再由网关写入文件；也可以直接在前端服务器落盘。最终，这些文件都可以通过Filebeat进行采集。

二 在 CentOS 部署 ELK

万事俱备，现在开始部署。我们以ELK 7.x版本为例，通过YUM包管理器进行安装。

• 安装与启动（以 7.x 为例）
  • 首先，需要导入Elastic官方的GPG密钥并添加YUM仓库源（分别为Elasticsearch、Logstash和Kibana）。
  • 安装命令很简单：yum install -y elasticsearch logstash kibana。
  • 安装完成后，启动服务并设置为开机自启：
    • systemctl enable --now elasticsearch
    • systemctl enable --now logstash
    • systemctl enable --now kibana
• 快速验证
  • Elasticsearch启动后，可以执行 curl -X GET “http://localhost:9200/”，如果返回包含版本号的JSON信息，说明服务正常。
  • 在浏览器访问 http://<你的服务器IP>:5601，如果能打开Kibana的初始化页面，说明整个栈的基础服务已经就绪。

三 采集 Node.js 日志

服务跑起来了，接下来是关键一步：如何把Node.js产生的日志“喂”给ELK。这里提供两种主流方案。

• 方案 A Filebeat → Logstash → Elasticsearch（推荐）
  • 这是最灵活、功能最丰富的方案。Filebeat负责轻量级采集日志文件，Logstash则进行复杂的解析、字段重命名、类型转换等处理，最后写入Elasticsearch。
  • Filebeat 配置（编辑 /etc/filebeat/filebeat.yml）：

    filebeat.inputs:
    - type: log
      paths:
        - /var/log/nodejs/*.log
      fields:
        log_type: nodejs
    output.logstash:
      hosts: [“localhost:5044”]
    

  • Logstash 配置（新建 /etc/logstash/conf.d/nodejs.conf）：

    input {
      beats {
        port => 5044
      }
    }
    filter {
      # 假设日志是JSON格式，直接解析
      json {
        source => “message”
        target => “json”
        remove_field => [“message”]
      }
      # 字段重命名，使其更规范
      mutate {
        rename => { “[json][level]” => “log_level” }
        rename => { “[json][msg]” => “message” }
        rename => { “[json][time]” => “timestamp” }
        convert => { “response_time” => “float” }
      }
      # 设置时间戳字段
      date {
        match => [ “timestamp”, “ISO8601”, “yyyy-MM-dd HH:mm:ss.SSS” ]
        target => “@timestamp”
      }
      # 为错误日志打上标签
      if [log_level] == “ERROR” {
        mutate { add_tag => [“error”] }
      }
    }
    output {
      elasticsearch {
        hosts => [“http://localhost:9200”]
        index => “nodejs-logs-%{+YYYY.MM.dd}” # 按天创建索引
      }
      stdout { codec => rubydebug } # 可选，用于调试时在控制台输出
    }
    

• 方案 B 直接写入 journald（配合 systemd）
  • 如果你的Node.js应用通过systemd管理，可以直接将日志输出到journal。首先配置服务单元文件（如 /etc/systemd/system/nodeapp.service）：

    [Service]
    ExecStart=/usr/bin/node /opt/app/index.js
    StandardOutput=journal
    StandardError=journal
    SyslogIdentifier=nodeapp
    

  • 然后，在Logstash中配置systemd输入插件来读取journal日志（注意需要授权Logstash服务访问journal的权限）。
• 日志格式建议
  • 对于Node.js应用，使用winston、pino等日志库输出JSON格式是上佳之选。例如：

    const winston = require(‘winston’);
    const logger = winston.createLogger({
      level: ‘info’,
      format: winston.format.json(),
      transports: [
        new winston.transports.File({ filename: ‘/var/log/nodejs/app.log’ })
      ]
    });
    logger.info({ msg: ‘User login’, userId: 123, ip: ‘10.0.0.1’ });
    logger.error({ msg: ‘DB timeout’, err: ‘timeout’, duration_ms: 3200 });
    

  • 前端浏览器日志，可以通过封装好的SDK，将错误、性能指标等通过WebSocket实时上报到后端网关，网关再写入文件供Filebeat采集。

四 在 Kibana 分析

数据已经源源不断地流入Elasticsearch，是时候在Kibana中让它们“说话”了。

• 索引与字段
  • 首次进入Kibana，需要创建索引模式。进入 Stack Management → Index Patterns，输入 nodejs-logs-* 来匹配我们按天创建的索引。
  • 将时间字段设置为 @timestamp。同时，检查字段类型是否正确，例如确保 log_level 被识别为keyword（用于精确筛选和聚合），response_time 被识别为number。
• 典型检索与可视化
  • 错误率趋势图：进入 Visualize → Create visualization → Line。
    • Y轴（Metrics）：选择 Count。
    • X轴（Buckets）：选择 Date Histogram，字段选 @timestamp。
    • 拆分序列（Split series）：选择 Terms，字段选 log_level，就能看到不同级别日志随时间的变化趋势。
  • 慢请求TopN：创建一个垂直条形图或数据表。
    • Y轴（Metrics）：选择 A verage，字段选 response_time。
    • X轴（Buckets）：选择 Terms，字段选 url.path 或 route，按平均响应时间排序，一眼找出最慢的接口。
  • 错误详情表格：直接进入 Discover 页面。
    • 添加过滤器：log_level: ERROR。
    • 在表格中展示你关心的字段，如 message、url、stack、userId、ip 和 @timestamp，方便逐条排查。
• 告警示例（可选）
  • 光看还不够，主动预警更重要。可以利用Kibana Alerting或Elasticsearch Watcher功能设置规则。
    • 例如：“当过去5分钟内ERROR级别的日志数超过10条时”，触发一个告警。
    • 或者：“当5xx状态码的请求比例在过去15分钟内持续高于1%时”，发送通知到邮件、钉钉或企业微信群。

五 运维与优化

系统上线后，持续的运维和调优才能保证其长期稳定、高效运行。

• 日志轮转与保留
  • 不能让日志文件无限膨胀。使用logrotate管理Node.js的日志文件是个好习惯。示例配置（/etc/logrotate.d/nodejs）：

    /var/log/nodejs/*.log {
        daily
        rotate 7
        compress
        delaycompress
        missingok
        notifempty
        create 0640 nodejs nodejs
        sharedscripts
        postrotate
            systemctl reload filebeat >/dev/null 2>&1 || true
        endscript
    }
    

    这个配置会每天轮转日志，保留最近7天，并在轮转后通知Filebeat重新打开文件。
• 性能与稳定性
  • Logstash调优：根据服务器CPU核心数调整 pipeline.workers，根据数据量调整 pipeline.batch.size，以平衡吞吐量和延迟。
  • Elasticsearch内存：堆内存（-Xms, -Xmx）建议不超过物理内存的50%，并且确保为操作系统文件缓存预留足够内存。
  • Filebeat控制：通过 harvester_limit 限制同时打开的文件数，通过 close_inactive 及时关闭不活跃的文件句柄。
  • 索引设计：对于高频用于过滤、聚合的字段（如url、userId、traceId），务必在映射中设置为 keyword 类型，避免text类型分词带来的性能开销。
  • 生命周期管理：采用按天滚动的索引命名（如 nodejs-logs-YYYY.MM.dd），并配置索引生命周期管理（ILM）策略，自动实现索引的滚动（Rollover）、冻结（Freeze）和删除（Delete），有效控制存储成本。