如何通过Filebeat实现日志转发

通过 Filebeat 实现日志转发的核心思路与步骤

日志采集与转发，几乎是每个运维或开发同学都绕不开的活儿。Filebeat 作为 Elastic 生态里最轻量的采集器，部署简单、资源消耗低，是很多场景下的首选。下面就把它的安装、三种主流转发路径以及一些实操中的“坑”和技巧，一次性理清楚。

先看基础的安装。以 Debian/Ubuntu 为例，一条命令就能装好：

• 更新索引并安装：sudo apt update && sudo apt install filebeat
• 配置文件路径：/etc/filebeat/filebeat.yml
• 启动并设置开机自启：sudo systemctl start filebeat && sudo systemctl enable filebeat
• 验证服务与日志：sudo journalctl -u filebeat -f 或 tail -f /var/log/filebeat/filebeat.log
• 如果跨主机转发，记得开放对应端口（比如 5044 给 Logstash、9200 给 Elasticsearch）。

三种常见转发路径与最小可用配置

直接到 Elasticsearch

这种模式最直接，适合快速接入、不需要复杂处理的场景。配置上，input 监控 /var/log/*.log，output 指向 ES 的地址，同时设置好索引模板和 ILM。下面是一份最小示例：

filebeat.inputs:
- type: log
  enabled: true
  paths:
    - /var/log/*.log

output.elasticsearch:
  hosts: ["es-host:9200"]
  index: "filebeat-%{[agent.version]}-%{+yyyy.MM.dd}"

setup.ilm.enabled: false
setup.template.name: "filebeat"
setup.template.pattern: "filebeat-*"
setup.template.settings:
  index.number_of_shards: 1
  index.number_of_replicas: 1

这里有个提醒：生产环境一定要开启安全认证（username/password 或 API Key），分片和副本也要根据数据量调整，别用默认值。

经 Logstash 处理后再入 ES

如果需要对日志做 Grok 解析、数据清洗、字段丰富或者路由分发，那就得把 Logstash 架在中间。Filebeat 这边只需要把 output 改一下：

output.logstash:
  hosts: ["logstash-host:5044"]

Logstash 那边，input 用 Beats 协议监听 5044 端口，filter 里写 Grok 规则，output 再写回 ES。一个示例片段：

input {
  beats {
    port => 5044
  }
}
filter {
  grok {
    match => { "message" => "%{COMBINEDAPACHELOG}" }
  }
}
output {
  elasticsearch {
    hosts => ["es-host:9200"]
    index => "logstash-%{+YYYY.MM.dd}"
  }
}

注意 Logstash 与 ES 版本要兼容，复杂管道建议拆分配置，并且用队列缓冲来扛流量。

写入 Kafka（再由下游消费者处理）

当需要解耦、削峰，或者同一份日志要给多个系统消费时，中间加一层 Kafka 是标准做法。Filebeat 这边配置 output 指向 Kafka brokers：

output.kafka:
  hosts: ["kafka-broker1:9092", "kafka-broker2:9092"]
  topic: "app-logs"
  required_acks: 1
  partition.round_robin.reachable_only: false

实际使用中可以按业务设置 key、开启压缩、调整重试和批量参数。下游的消费者组可以各取所需，各自消费到不同存储或分析平台。

关键配置与实用技巧

路径与多行

• 多目录采集用 /var/log/**/*.log 这样的通配符，注意层级要写对，避免漏采。
• 遇到 Ja va 堆栈等多行日志，一定要开启 multiline 配置，把异常堆栈合并成一个事件，否则会被拆成若干条，毫无意义。

行过滤与字段增强

• 只采集关键级别：include_lines: ['^ERR','^WARN']
• 剔除调试信息：exclude_lines: ['^DBG']
• 附加元数据：fields: {service: "order", env: "prod"}，把 fields_under_root: true 打开，检索时会更方便。

时间与状态控制

• 忽略历史旧文件：ignore_older: 24h，避免 Filebeat 一启动就一股脑把几天前的日志全扫进来。
• 首次仅追新：tail_files: true，但要小心与 registry 状态的交互，如果 registry 不存在，可能会丢行，建议先测试。

JSON 解析

如果日志本身就是 JSON 格式，直接开启 json.keys_under_root: true、json.overwrite_keys: true、json.add_error_key: true，省去后续解析的麻烦。

模块与仪表盘

Filebeat 内置了不少模块，比如 system、nginx、apache、mysql。执行 filebeat modules enable nginx，配合 Kibana 仪表盘，几分钟就能看到现成的可视化面板。

性能与可靠性

• 批量与队列：调大 bulk_max_size、worker、queue.mem.events，数据量大的时候很管用。必要时开启持久化队列，防止进程重启丢数据。
• 负载均衡与重试：output 端开启负载均衡，并设置合理的重试策略，网络抖动时至少能保证一次投递。

验证与排错清单

配置语法与生效

• 用 filebeat test config -c /etc/filebeat/filebeat.yml 检查语法。
• 动态看日志：journalctl -u filebeat -f 或 tail -f /var/log/filebeat/filebeat.log。

连接与端口

• 到 ES：curl -XGET http://es-host:9200 检查连通。
• 到 Logstash：nc -vz logstash-host 5044 或翻 Logstash 日志。
• 到 Kafka：用控制台生产者和消费者验证 topic 收发是否正常。

数据落地与索引

• ES 里查索引：GET _cat/indices/filebeat-*，看看索引有没有创建、文档计数对不对。
• 如果启用了 ILM，还要确认 rollover 和保留策略是否符合预期，否则日志可能被过早清理或者无限增长。

常见问题

• 权限不足：确保 Filebeat 进程对日志文件有读权限，配置文件目录的权限别太随意。
• 重复采集：避免同一个路径被多个 prospector 覆盖。谨慎使用 tail_files 和清理 registry 文件。
• 时区与格式：采集端、ES、Kibana 的时区要统一，否则时间解析会出现偏差，排查起来很头疼。