Debian Python日志如何处理

Debian 上 Python 日志处理实践指南

日志，是程序运行的“黑匣子”，也是运维排障的“第一现场”。在 Debian 这样的稳定服务器环境中，一套清晰、健壮的日志策略，往往能让后续的维护工作事半功倍。今天，我们就来聊聊如何在 Debian 上，用好 Python 的日志工具链。

一 基础配置与快速上手

别想得太复杂，Python 内置的 logging 模块已经足够强大，能覆盖绝大多数场景，无需额外引入依赖。一个典型的配置示例如下：

import logging

logging.basicConfig(level=logging.DEBUG,
                    format="%(asctime)s - %(name)s - %(levelname)s - %(message)s",
                    filename="app.log",
                    filemode="a")

logger = logging.getLogger(__name__)
logger.debug("调试信息")
logger.info("普通信息")
logger.warning("警告信息")
logger.error("错误信息")

这里有几个关键点值得拎出来说一说：

• 日志级别：从低到高有 DEBUG/INFO/WARNING/ERROR/CRITICAL。设置一个级别后，只会记录该级别及以上的日志。比如设为 INFO，那么 DEBUG 信息就不会被输出。
• 格式定制：通过 format 参数，可以自由组合输出字段，比如时间戳、模块名、行号、进程ID等，让每条日志都信息完整。
• 输出目标：使用 filename 和 filemode 可以轻松地将日志从控制台重定向到文件，并控制写入模式（追加或覆盖）。

二 日志轮转与保留策略

日志文件可不能任其无限增长。轮转机制必不可少，通常有两种思路：应用内轮转和系统级轮转。

应用内轮转（推荐与文件处理器配合使用）：

• 按大小轮转：使用 RotatingFileHandler。例如，当单个日志文件达到 10MB 时，自动将其归档，并最多保留最近的 5 个备份文件。
• 按时间轮转：使用 TimedRotatingFileHandler。例如，每天午夜自动分割日志，并保留过去 7 天的日志文件。

from logging.handlers import RotatingFileHandler, TimedRotatingFileHandler

# 按大小轮转
handler = RotatingFileHandler("app.log", maxBytes=10*1024*1024, backupCount=5)
handler.setFormatter(logging.Formatter("%(asctime)s - %(levelname)s - %(message)s"))
logging.getLogger().addHandler(handler)

# 按时间轮转
handler = TimedRotatingFileHandler("app_timed.log", when="midnight", interval=1, backupCount=7)
handler.setFormatter(logging.Formatter("%(asctime)s - %(levelname)s - %(message)s"))
logging.getLogger().addHandler(handler)

系统级轮转（配合 logrotate 管理长期运行的服务）：
对于由 systemd 等托管的守护进程，使用系统的 logrotate 工具进行统一管理会更方便。只需在 /etc/logrotate.d/ 目录下创建一个配置文件，比如 myapp：

/var/log/myapp.log {
    daily
    rotate 8
    compress
    delaycompress
    missingok
    notifempty
    create 0640 root adm
}

配置好后，可以测试并执行轮转：

sudo logrotate --debug /etc/logrotate.d/myapp
sudo logrotate -f /etc/logrotate.conf

简单来说，应用内轮转更灵活，便于以应用为粒度进行管理；而系统级轮转则更适合由 systemd 统一管理的服务，实现集中化的日志治理。

三 集成系统日志与 journalctl 查看

将应用日志发送到系统日志（syslog），便于与系统其他日志统一收集和分析。在 Debian 上，可以这样操作：

import logging
from logging.handlers import SysLogHandler

logger = logging.getLogger(__name__)
handler = SysLogHandler(address="/dev/log")  # Debian 默认的 syslog 套接字路径
handler.setFormatter(logging.Formatter("%(name)s: %(levelname)s %(message)s"))
logger.addHandler(handler)
logger.info("发送到系统日志")

日志发出去了，怎么看呢？有两种主流方式：

• 传统文件查看：直接 tail -f /var/log/syslog 实时跟踪。
• 使用 journalctl（如果系统使用 journald）：
  • 查看全部日志：journalctl
  • 按服务单元查看：journalctl -u 服务名
  • 按时间范围过滤：journalctl --since “2025-01-01” --until “2025-01-31”

四 配置文件与多环境管理

将日志配置从代码中剥离出来，是提升可维护性的好习惯。可以使用 INI 风格的配置文件：

[loggers]
keys=root

[handlers]
keys=fileHandler

[formatters]
keys=simpleFormatter

[logger_root]
level=DEBUG
handlers=fileHandler

[handler_fileHandler]
class=FileHandler
level=DEBUG
formatter=simpleFormatter
args=('app_config.log', 'a')

[formatter_simpleFormatter]
format=%(asctime)s - %(name)s - %(levelname)s - %(message)s
datefmt=%Y-%m-%d %H:%M:%S

在代码中加载它：

import logging.config
logging.config.fileConfig("logging.conf")
logger = logging.getLogger(__name__)

如果更喜欢在代码中动态构建配置，字典配置方式会更灵活：

import logging.config

logging.config.dictConfig({
    "version": 1,
    "formatters": {
        "standard": {
            "format": "%(asctime)s [%(levelname)s] %(name)s: %(message)s"
        }
    },
    "handlers": {
        "default": {
            "level": "INFO",
            "class": "logging.StreamHandler",
            "formatter": "standard"
        }
    },
    "loggers": {
        "": {
            "handlers": ["default"],
            "level": "INFO",
            "propagate": True
        }
    }
})

对于多环境（开发、测试、生产），一个实用的建议是：通过环境变量来动态切换日志级别。例如，开发环境设为 DEBUG 以便排查细节，而生产环境则设为 INFO 或 WARNING，避免日志量过大。

五 权限与运维要点

到了部署阶段，一些细节决定了日志系统能否稳定运行。

• 文件与目录权限：确保运行应用的用户对日志目录和文件有写入权限，这是最常见的启动失败原因之一。

  touch app.log
  sudo chown $USER:$USER app.log
  sudo chmod 664 app.log

• 输出分离：建议将日志输出到标准错误（stderr），而将正常的业务输出放到标准输出（stdout）。这样在容器或进程管理时，可以很方便地对两者进行分离收集和过滤。
• 异常堆栈：记录异常时，务必带上完整的堆栈信息，这是定位问题的黄金线索。

  try:
      1 / 0
  except Exception:
      logging.error("发生异常", exc_info=True)

• 结构化日志：在微服务或复杂系统中，考虑在日志格式中加入 request_id、user_id 等上下文字段。这能极大提升后续的日志检索和分析效率。
• 第三方库：如果觉得标准库的 API 不够简洁，或者想要更自动化的轮转功能，可以尝试 Loguru 这样的第三方库。

  from loguru import logger
  logger.add("file.log", rotation="10 MB", level="DEBUG")
  logger.add(sys.stdout, level="INFO")

最后，还有一个值得推广的实践：为不同的模块使用独立的 logger 名称（通常使用 __name__）。这样做的好处是，可以针对特定模块进行精细化的日志级别控制和过滤，让维护工作更加得心应手。