Filebeat日志数据自动清理实践

一 清理目标与总体思路

清理的目标主要锁定在三类对象上：

1. 被采集的业务日志文件——应用写入的日志，需要安全删除且不能影响采集进度；
2. Filebeat自身运行日志——防止无限增长；
3. 存储后端的历史数据——比如Elasticsearch索引，需要按保留期删除。

总体思路分三个层面：

• 在采集侧，通过 ignore_older / close_inactive / clean_* / registry.flush 控制文件读取与注册表维护，避免句柄占用导致空间不释放以及注册表膨胀；
• 在系统侧，利用 logrotate 对业务日志与 Filebeat 自身日志做按时/按大小的轮转与保留；
• 在存储侧，采用索引生命周期管理（ILM）或定时任务删除过期索引，防止后端存储无限增长。

二 采集侧自动清理配置 Filebeat

忽略过旧文件，避免导入历史包袱
设置 ignore_older: 240h（示例10天）。含义是：若文件最后修改时间早于该阈值，启动时不读取；若运行期间文件又有新内容，仍会采集新增部分。适合只采集近N天的场景。

关闭长时间不活跃的文件句柄，释放系统资源
设置 close_inactive: 24h。文件被读完后在指定时间内无新追加，则关闭句柄；若后续文件再更新，会在下一个扫描周期重新打开并续读。通常应大于日志滚动周期。

清理注册表，避免状态无限增长
设置 clean_inactive: 2160h（需大于 ignore_older + scan_frequency）。清理 registry 中长时间不活跃的文件状态，减少内存与磁盘占用；这些文件若再次更新，会从文件开头重新采集（需评估可接受的数据重复风险）。
设置 clean_removed: true（默认开启）。文件被删除/改名时，从 registry 移除状态；若因权限回收等导致误删，再出现同名文件会被视为新文件而重采。

及时落盘采集进度，降低崩溃时的重复采集
设置 filebeat.registry.flush: 0s。更频繁地写 registry，减少异常退出导致的重复；权衡点是磁盘 fsync 带来的性能开销。

可选：按内容过滤，减少无效数据
设置 include_lines: ['INFO','WARN','ERROR']，仅采集含关键级别的行，降低后端压力。

示例片段（filebeat.yml）：

filebeat.inputs:
  - type: logpaths:
    - /var/log/myapp/*.logignore_older: 240hclose_inactive: 24h
filebeat.registry.flush: 0s
clean_inactive: 2160h
clean_removed: true
output.elasticsearch:hosts: ["es:9200"]index: "myapp-%{+yyyy.MM.dd}"

三 系统侧自动清理 业务日志与 Filebeat 自身日志

业务日志轮转与保留（logrotate）
建议对应用日志统一用 logrotate 管理，按天轮转并保留固定份数，避免 Filebeat 正在采集的文件被直接删除引发“句柄占用、空间不释放”。关键配置示例（/etc/logrotate.d/myapp）：

/var/log/myapp/*.log {
    daily
    missingok
    rotate 7
    compress
    notifempty
    create 0644 app app
    postrotate
        /usr/bin/systemctl reload filebeat >/dev/null 2>&1 || true
    endscript
}

关键点：保留期（rotate 7）应 ≥ Filebeat 的 ignore_older + close_inactive，确保轮转前已完成采集；必要时在 postrotate 中 reload Filebeat，使其感知新文件。

Filebeat 自身日志轮转
方式一（推荐）：使用 Filebeat 内置日志文件管理——设置 logging.to_files: true 并配置 keepfiles: 7。
方式二：使用系统 logrotate 管理 Filebeat 日志文件（/var/log/filebeat/filebeat.log），配置与上类似，并在轮转后 reload Filebeat。

四 存储侧自动清理 Elasticsearch 数据

使用 ILM（Index Lifecycle Management）定义热-温-冷-删除策略，按 @timestamp 自动滚动与删除过期索引，避免手工清理。若暂时无法使用 ILM，可按日期索引（如 myapp-YYYY.MM.DD）编写删除脚本并用 cron 定时执行，删除超过保留期的索引，释放存储。

五 关键注意事项与避坑

• 删除业务日志前，确保 Filebeat 已不再持有该文件的句柄，否则会出现“文件已删但磁盘空间未释放”。可通过 close_inactive 让句柄及时关闭，或在确认无新写入后重启 Filebeat 释放句柄（不建议生产环境用 kill -9）。
• 时间阈值关系要满足：ignore_older < clean_inactive，且 clean_inactive 建议 ≥ ignore_older + scan_frequency，避免误清理仍在使用的状态。
• 若启用 clean_removed: true，当目录权限短暂丢失再恢复时，Filebeat 可能把历史文件当新文件重采；对不可重采的场景，可评估关闭 clean_removed 并配合更稳健的权限与目录管理。
• 调整 registry.flush 频率可提升“崩溃后不丢进度”的确定性，但会增加磁盘 fsync 次数与开销；结合可靠性与性能做权衡。