Node.js日志中如何识别异常流量

在Node.js应用中，异常流量检测就像给系统装上一双“火眼金睛”——既能防住恶意攻击，也能提前预警性能瓶颈。但光有日志不够，关键在于怎么从海量请求记录里快速揪出那些“不对劲”的信号。下面这套方法论，覆盖了从工具选型到规则设计的完整链路，可以直接落地。

1. 日志分析工具

处理日志，工具选对了能省下一大半力气。几个主流的方案各有侧重：

• ELK Stack (Elasticsearch, Logstash, Kibana)：经典的“三件套”，Logstash负责收集和转发，Elasticsearch做存储和搜索，Kibana提供可视化看板。适合需要全链路检索和自定义报表的场景。
• Splunk：商业级平台，实时监控和警报功能非常成熟，适合对运维效率要求高的团队。缺点是成本不低。
• Graylog：开源替代方案，集中式日志管理，支持告警和仪表盘。如果不想在基础设施上投入太多，这是个务实的选择。

2. 日志级别和格式

日志质量决定了分析的颗粒度。建议用info、warn、error等级别区分事件类型，同时采用结构化格式（比如JSON）——这样解析时不用写一堆正则。下面是一个winston的配置示例：

const winston = require('winston');
const logger = winston.createLogger({
  level: 'info',
  format: winston.format.json(),
  transports: [
    new winston.transports.File({ filename: 'error.log', level: 'error' }),
    new winston.transports.File({ filename: 'combined.log' })
  ]
});

3. 异常检测规则

定义规则时，抓住几个核心指标就够了：

• 请求频率异常：比如同一IP在几秒内发起数百次请求，很可能是DDoS扫描或爬虫。
• 响应时间异常：如果某条路由的响应时间突然飙升到几秒，说明服务器负载过高或代码存在效率问题。
• 错误率异常：5xx或4xx错误率突然升高，要么是代码bug，要么是上游服务出故障了。

规则并不需要一开始就面面俱到，先抓最明显的“异常”，再逐步调优阈值。

4. 使用中间件

在Express这类框架中，中间件是捕获请求日志的最佳位置。下面这段代码记录了每次请求的方法、URL、状态码和耗时：

const express = require('express');
const app = express();
app.use((req, res, next) => {
  const start = Date.now();
  res.on('finish', () => {
    const duration = Date.now() - start;
    logger.info(`${req.method} ${req.url} ${res.statusCode} ${duration}ms`);
  });
  next();
});

5. 监控和警报

日志分析只是第一步，真正发挥作用的是联动警报。推荐两套方案：

• Prometheus + Grafana：Prometheus采集指标，Grafana画图并设置告警规则。开源、灵活，适合自建监控。
• New Relic：一站式性能监控，开箱即用，实时警报和链路追踪都做得很好。适合不想自己折腾基础架构的团队。

6. 日志聚合和分析

分布式环境下，日志散落在各台机器上就像“大海捞针”。必须有一个中心化的日志收集层——比如用Fluentd统一采集，再送至ELK或Graylog。这样你能在单个界面上跨服务检索，快速定位问题。

示例代码

整合一下，一个完整的异常检测小示例包含限流和日志记录：

const express = require('express');
const winston = require('winston');
const rateLimit = require('express-rate-limit');
const app = express();

const logger = winston.createLogger({
  level: 'info',
  format: winston.format.json(),
  transports: [
    new winston.transports.File({ filename: 'error.log', level: 'error' }),
    new winston.transports.File({ filename: 'combined.log' })
  ]
});

const limiter = rateLimit({
  windowMs: 15 * 60 * 1000, // 15分钟
  max: 100 // 每个IP最多100次请求
});
app.use(limiter);

app.get('/', (req, res) => {
  logger.info(`Request from ${req.ip}`);
  res.send('Hello World!');
});

app.listen(3000, () => {
  logger.info('Server is running on port 3000');
});

这套组合拳打下来，异常流量基本逃不掉。当然，具体阈值和规则还得根据业务流量特征来调——没有一劳永逸的配置，但有成熟的思路和工具链，剩下的就是持续迭代了。