如何配置Filebeat的日志路径

配置 Filebeat 日志路径

一 基本配置步骤

上手配置Filebeat的日志采集，其实并不复杂。核心思路就是告诉它“去哪里找日志”以及“把日志送到哪里去”。通常，你只需要跟着下面几个步骤走一遍。

• 编辑配置文件：在Linux系统上，主配置文件通常位于 /etc/filebeat/filebeat.yml。用你熟悉的文本编辑器打开它。
• 定义输入源：在配置文件中找到 filebeat.inputs 部分，设置 type: log，并在 paths 数组中填入一个或多个目标日志文件的完整路径。
• 配置输出目的地：接下来，需要指定日志被采集后送往何处。最常见的选项是输出到 Elasticsearch 或 Logstash 进行后续处理。
• 启动与验证：配置完成后，启动Filebeat服务，并检查其运行状态和自身日志，确保没有报错信息。

来看一个具体的例子，它实现了采集系统日志并发送到本机Elasticsearch：

filebeat.inputs:
- type: log
  enabled: true
  paths:
    - /var/log/syslog
    - /var/log/auth.log

output.elasticsearch:
  hosts: ["localhost:9200"]
  index: "filebeat-%{[agent.version]}-%{+yyyy.MM.dd}"

二 常见路径写法与示例

在 paths 里指定路径，灵活性很高。你可以精确到单个文件，也可以用通配符匹配一批文件。下面这几种写法，基本覆盖了日常大部分场景：

• 单个文件：/var/log/syslog
• 多个文件：/var/log/syslog、/var/log/auth.log
• 目录通配：/var/log/*.log（匹配 /var/log/ 目录下所有以 .log 结尾的文件）
• 递归目录：/var/log/**/*.log（这会采集 /var/log/ 及其所有子目录中匹配的文件）
• 多路径组合：你完全可以在一个输入配置里混合多种模式，实现更复杂的采集范围。

filebeat.inputs:
- type: log
  enabled: true
  paths:
    - /var/log/*.log
    - /opt/app/*.log
    - /var/log/nginx/*.log

三 高级采集选项

面对一些特殊日志或复杂环境，基础配置可能不够用。别担心，Filebeat提供了一系列高级选项来应对。

• 多行日志合并：处理像Ja va异常堆栈这类跨越多行的日志条目是常见需求。通过配置多行合并规则，可以将它们作为一个完整事件发送。

filebeat.inputs:
- type: log
  enabled: true
  paths:
    - /var/log/app/*.log
  multiline.pattern: '^[0-9]{4}-[0-9]{2}-[0-9]{2}'
  multiline.negate: true
  multiline.match: after
  multiline.max_lines: 300

• 排除与包含：有时候你只想采集包含特定关键词的行，或者想过滤掉注释行。
  • 排除以#开头的注释行：exclude_lines: ['^#']
  • 仅采集包含ERROR或WARN的行：include_lines: ['ERROR', 'WARN']
• 从文件尾部开始读：如果目标日志文件已经很大，启用 tail_files: true 可以让Filebeat只读取新增内容，避免历史数据冲击。
• 扫描频率：通过 scan_frequency: 60s 可以调整Filebeat检查新文件的频率，默认是10秒。
• 失败重试退避：如果文件暂时不可读（例如被轮转），backoff: 10s 可以设置重试的等待时间。

一个综合了上述部分选项的配置示例如下：

filebeat.inputs:
- type: log
  enabled: true
  paths:
    - /opt/data/logs/**/*.log
  exclude_lines: ['^#']
  tail_files: true
  scan_frequency: 60s
  backoff: 10s

四 使用模块采集常见应用日志

对于Nginx、System这类常见应用，Filebeat贴心地提供了预配置的“模块”。使用模块能极大简化配置，因为它已经内置了针对该应用日志的解析规则（Parsing）和字段映射。

• 启用模块：模块配置文件通常位于 /etc/filebeat/modules.d/ 目录下，每个应用对应一个 .yml 文件。
• 配置示例：首先在主配置中启用模块加载。

filebeat.config.modules:
  path: ${path.config}/modules.d/*.yml
  reload.enabled: false

• 然后，到 modules.d/ 目录下，找到对应的模块文件（如 nginx.yml），将其中的 enabled 设置为 true，并根据注释调整日志路径等参数即可。

简单来说，模块相当于一个“开箱即用”的采集与解析方案，省去了手动编写复杂解析规则的麻烦。

五 验证与常见问题

配置完成后，启动和验证环节同样重要，这里有几个关键点和常见坑位需要留意。

• 启动与开机自启：
  • 启动服务：sudo systemctl start filebeat
  • 设置开机自启：sudo systemctl enable filebeat
• 查看状态与日志：
  • 检查运行状态：sudo systemctl status filebeat
  • 实时查看Filebeat自身日志：sudo journalctl -u filebeat -f（或者直接 tail -f /var/log/filebeat/filebeat）
• 权限与路径：这是最常见的问题之一。务必确保运行Filebeat进程的系统用户（通常是filebeat）对你要采集的日志文件及所在目录拥有读取权限。路径请使用绝对路径。
• 配置语法：YAML文件对格式敏感。缩进请统一使用空格，避免使用Tab键。修改配置后，建议先用 filebeat test config 命令测试配置文件语法是否正确，然后再重启服务。
• 输出连通性：如果日志没有成功送达，请确认Elasticsearch或Logstash的地址端口是否可达，网络防火墙是否放行。如果输出端启用了安全认证或SSL/TLS，也别忘了在Filebeat的输出配置部分进行相应设置。