如何自动化Debian JS日志管理

自动化 Debian JS（Ja vaScript）日志管理：告别手动清理，拥抱高效运维

处理运行在 Debian 系统上的 Ja vaScript 应用日志，你是否也遇到过日志文件体积暴涨、手动清理繁琐、历史数据难以追溯的困扰？其实，实现日志管理的自动化并不复杂，关键在于选择适合自己场景的工具和策略。通常，我们可以从几个方向入手：利用系统自带的日志轮转工具、编写轻量级的自定义脚本，或者引入功能更强大的监控与日志管理套件。

1. 善用系统利器：logrotate

首先，别忘了 Debian 系统自带了一个非常强大的工具——logrotate。它的核心任务就是自动帮你完成日志的轮转、压缩和清理，堪称“设置一次，一劳永逸”的典范。

安装 logrotate

大多数 Debian 系统已经预装了它，如果尚未安装，一行命令即可搞定：

sudo apt-get install logrotate

配置 logrotate

安装后，真正的魔法在于配置文件。你需要为你的 JS 应用创建一个专属配置。通常，在 /etc/logrotate.d/ 目录下新建一个文件，比如 your-js-app，内容可以这样写：

/path/to/your/js/app.log {
    daily
    missingok
    rotate 7
    compress
    notifempty
    create 640 root adm
}

来快速解读一下这几个关键指令：

• daily: 顾名思义，按天进行日志轮转。
• missingok: 即使日志文件暂时不存在，也不报错，避免任务中断。
• rotate 7: 保留最近7天的日志文件，更早的自动删除。
• compress: 将轮转后的旧日志（比如 app.log.1）进行压缩，节省磁盘空间。
• notifempty: 如果当天日志为空，就不执行轮转操作。
• create 640 root adm: 轮转后创建的新日志文件，会设置好权限（640）和属主（root:adm）。

2. 灵活定制：编写自定义脚本

如果 logrotate 的固定模式无法满足你的特殊需求，比如需要更复杂的清理逻辑或预处理，那么编写一个自定义脚本会是更灵活的选择。

示例脚本

假设你想保留最近7个日志文件，并自动压缩它们。可以创建一个名为 cleanup_logs.sh 的脚本：

#!/bin/bash

LOG_DIR="/path/to/your/js/logs"
MAX_LOGS=7

# 获取日志文件列表并按修改时间排序
LOG_FILES=$(ls -t $LOG_DIR/*.log)

# 计算需要删除的日志文件数量
NUM_TO_DELETE=$(((${#LOG_FILES[@]} - MAX_LOGS)))

# 删除多余的日志文件
if [ $NUM_TO_DELETE -gt 0 ]; then
    echo "Deleting old log files..."
    for ((i=0; i

chmod +x cleanup_logs.sh

crontab -e

0 0 * * * /path/to/cleanup_logs.sh

sudo apt-get install elasticsearch kibana

input {
    file {
        path => "/path/to/your/js/logs/*.log"
        start_position => "beginning"
    }
}
filter {
    # 在这里可以添加解析日志格式、提取关键字段等过滤规则
}
output {
    elasticsearch {
        hosts => ["localhost:9200"]
        index => "js-app-logs-%{+YYYY.MM.dd}"
    }
}

sudo systemctl start logstash