Golang容器日志实时采集实现方法

答案是通过Docker API实时读取容器日志流，使用Go的docker/docker库连接Docker Daemon，调用ContainerLogs接口持续获取stdout/stderr日志，并结合Events API监听容器启停事件，实现多容器日志动态采集与处理。

在Golang中实现容器日志的实时采集，核心思路是通过监听容器的标准输出（stdout/stderr），并将其持续读取、解析和转发。Docker等容器运行时默认将容器日志写入本地文件或通过日志驱动外发，而最直接的方式是利用 Docker API 实时获取日志流。

使用 Docker API 实时读取日志

Go 可以通过官方提供的 docker/docker 客户端库与 Docker 守护进程通信，获取指定容器的日志输出流。

关键步骤：

• 连接到本地 Docker Daemon（通过 Unix Socket 或 TCP）
• 调用 ContainerLogs 接口，设置 Follow: true 和 Stdout/Stderr: true
• 持续读取返回的 IO 流，逐行处理日志内容

client, err := docker.NewClient("unix:///var/run/docker.sock")
if err != nil {
    log.Fatal(err)
}

options := docker.LogsOptions{
    Container:    "your-container-id",
    Follow:       true,
    Stdout:       true,
    Stderr:       true,
    Tail:         "10", // 可选：从最近10行开始
    RawTerminal:  false,
    Timestamps:   true,
}

reader, err := client.Logs(options)
if err != nil {
    log.Fatal(err)
}
defer reader.Close()

scanner := bufio.NewScanner(reader)
for scanner.Scan() {
    fmt.Println("Log:", scanner.Text())
    // 可在此处做结构化解析、发送到 Kafka、写入 ES 等
}

处理多容器与动态发现

生产环境中通常需要采集多个容器的日志。可以通过以下方式扩展：

• 调用 client.ListContainers() 获取当前所有运行中的容器
• 对每个容器启动一个 goroutine 执行日志采集
• 使用事件监听（Events API）监控容器的启动和停止，动态增减采集任务

例如，监听容器 start 事件：

eventChan, errChan := client.Events(docker.EventsOptions{})
go func() {
    for {
        select {
        case event := <-eventChan:
            if event.Status == "start" {
                go tailContainerLogs(event.ID)
            }
        case err := <-errChan:
            log.Printf("Event error: %v", err)
        }
    }
}()

日志解析与输出

原始日志通常是带时间戳的文本流。可以根据业务需求进行结构化处理：

• 使用正则表达式提取时间、级别、消息体
• 转换为 JSON 格式便于后续处理
• 输出到本地文件、网络服务、Kafka、Elasticsearch 等

示例：简单解析日志行

re := regexp.MustCompile(`^(\S+) (.*)$`)
parts := re.FindStringSubmatch(line)
if len(parts) == 3 {
    timestamp := parts[1]
    message := parts[2]
    log.Printf("Time: %s, Msg: %s", timestamp, message)
}

注意事项与优化

实际应用中需考虑稳定性与性能：

• 添加重连机制，防止 Docker 重启导致中断
• 限制并发 goroutine 数量，避免资源耗尽
• 使用 ring buffer 或 channel 控制日志处理速度
• 支持日志截断、轮转、背压处理
• 考虑使用 containerd 或 CRI 接口对接更底层运行时

基本上就这些。Go 结合 Docker API 能高效实现轻量级日志采集器，适合嵌入到运维工具或 Agent 中。关键是保持连接稳定、处理好并发和异常。不复杂但容易忽略细节。