Debian上Python日志如何管理

Debian上Python日志管理实践

一 基础配置与多处理器输出

在Debian上管理Python日志，起点通常是标准库logging。直接使用basicConfig可以快速完成基础配置，但更灵活的方式是组合FileHandler和StreamHandler，实现日志同时输出到文件和控制台，兼顾了持久化存储和实时查看的需求。

一个高效的日志格式至关重要。推荐包含时间戳、日志级别、模块名和函数名等关键字段，这能让你在排查问题时，快速定位到“何时、何地、发生了什么”。

来看一个典型的配置示例，它的核心思路是分级输出：

• 控制台：只显示INFO及以上级别，避免调试信息刷屏。
• 文件：记录DEBUG及以上所有级别，保留完整细节。

import logging

LOG_FMT = '%(asctime)s [%(levelname)s] %(name)s.%(funcName)s:%(lineno)d - %(message)s'
LOG_DATEFMT = '%Y-%m-%d %H:%M:%S'

logging.basicConfig(
    level=logging.DEBUG,
    format=LOG_FMT,
    datefmt=LOG_DATEFMT,
    handlers=[
        logging.FileHandler('app.log', encoding='utf-8'),
        logging.StreamHandler()
    ]
)

logger = logging.getLogger(__name__)
logger.debug('调试信息')
logger.info('服务启动')

二 日志轮转与保留策略

应用长期运行，日志文件会不断膨胀。如果不加管理，单个文件动辄几个GB，不仅占用磁盘，查看和分析也极为不便。这时候，日志轮转（Log Rotation）就成了必备手段。

Python的logging.handlers模块提供了两种主流的轮转处理器：

• 按大小轮转（RotatingFileHandler）：为日志文件设定一个大小上限（比如10MB），超过后自动创建新文件，并保留指定数量的备份。这种方式简单直接，适合日志量稳定的场景。
• 按时间轮转（TimedRotatingFileHandler）：可以按秒、分、时、天，甚至每周特定日期进行切割。这对于需要按天或按周归档日志的业务系统来说，管理起来更加清晰。

实际应用中，你可以根据需求选择或组合使用：

from logging.handlers import RotatingFileHandler, TimedRotatingFileHandler

# 按大小轮转：每10MB切分一次，保留最近5个备份
size_handler = RotatingFileHandler('app.log', maxBytes=10*1024*1024, backupCount=5, encoding='utf-8')
size_handler.setFormatter(logging.Formatter(LOG_FMT, LOG_DATEFMT))

# 按时间轮转：每天午夜切分，保留最近30天的日志
time_handler = TimedRotatingFileHandler('app_time.log', when='midnight', interval=1, backupCount=30, encoding='utf-8')
time_handler.setFormatter(logging.Formatter(LOG_FMT, LOG_DATEFMT))

logger = logging.getLogger(__name__)
logger.setLevel(logging.DEBUG)
logger.addHandler(size_handler)
logger.addHandler(time_handler)

三 系统日志与 journald 集成

在Debian这类现代Linux系统上，还有一个强大的选择：将应用日志集成到系统日志体系中去。通过SysLogHandlerrsyslog服务，进而由systemd-journald统一管理。

这么做的好处显而易见：所有系统和服务日志集中存储，可以用统一的工具journalctl进行检索和过滤。你还可以通过指定facility（如LOG_LOCAL0）对日志进行分类。

import logging
from logging.handlers import SysLogHandler

logger = logging.getLogger('myapp')
logger.setLevel(logging.INFO)
sys_handler = SysLogHandler(address='/dev/log', facility=SysLogHandler.LOG_LOCAL0)
sys_handler.setFormatter(logging.Formatter('%(name)s[%(process)d]: %(message)s'))
logger.addHandler(sys_handler)
logger.info('通过 syslog 写入')

写入之后，如何查看呢？journalctl命令提供了强大的过滤能力：

# 查看全部日志
journalctl
# 按服务查看
journalctl -u myapp.service
# 按时间范围查看
journalctl --since "2025-01-01" --until "2025-01-31"

当然，如果你仍然希望日志以文件形式落地，并由系统工具轮转，可以继续使用logrotate。只需在/etc/logrotate.d/下为你的应用添加一个配置文件即可：

# /etc/logrotate.d/myapp
/var/log/myapp.log {
    weekly
    rotate 8
    compress
    delaycompress
    missingok
    notifempty
}

四 配置管理与最佳实践

当配置变得复杂时，将配置与代码分离是一个好习惯。Python的logging.config模块支持多种方式：

• dictConfig：使用Python字典定义配置，灵活且易于用代码动态调整，适合不同环境。
• fileConfig：读取经典的INI风格配置文件，这种方式与代码完全解耦，特别适合交付给运维团队管理。
• YAML配置：结合PyYAML库，用YAML文件编写配置，可读性更高，再转换为字典传给dictConfig。

除了配置方式，还有几条经验之谈值得参考：

• 避免滥用根记录器：尽量不要直接用logging.info()。为每个模块使用getLogger(__name__)来获取独立的记录器，便于分层管理和过滤。
• 环境差异化配置：生产环境中，建议控制台输出INFO或WARNING级别，避免信息过载；文件则可以保留DEBUG级别并启用轮转，以备深度排查。
• 善用systemd集成：如果你的应用以systemd服务运行，优先考虑将日志输出到标准输出/错误流，由journald捕获。这简化了日志管理。如果必须写文件，请确保应用对日志目录有写入权限，并正确设置UMask。
• 关键异常不遗漏：在捕获业务异常时，使用logger.exception()可以自动记录完整的堆栈跟踪。对于频繁的异常捕获点，可以考虑使用装饰器自动完成日志记录。

以下是三种配置方式的示例：

# dictConfig 示例
import logging.config

LOG_CFG = {
    'version': 1,
    'disable_existing_loggers': False,
    'formatters': {
        'default': {'format': LOG_FMT, 'datefmt': LOG_DATEFMT},
    },
    'handlers': {
        'console': {
            'class': 'logging.StreamHandler',
            'level': 'INFO',
            'formatter': 'default',
        },
        'file': {
            'class': 'logging.handlers.TimedRotatingFileHandler',
            'level': 'DEBUG',
            'formatter': 'default',
            'when': 'D', 'interval': 1, 'backupCount': 30,
            'filename': 'app.log', 'encoding': 'utf-8',
        },
    },
    'loggers': {
        '': {'handlers': ['console', 'file'], 'level': 'DEBUG', 'propagate': True},
    },
}
logging.config.dictConfig(LOG_CFG)
logger = logging.getLogger(__name__)

# fileConfig 示例：logging.conf
[loggers]
keys=root,myapp

[handlers]
keys=consoleHandler,fileHandler

[formatters]
keys=simpleFormatter

[logger_root]
level=DEBUG
handlers=consoleHandler

[logger_myapp]
level=DEBUG
handlers=fileHandler
qualname=myapp
propagate=0

[handler_consoleHandler]
class=StreamHandler
level=INFO
formatter=simpleFormatter
args=(sys.stdout,)

[handler_fileHandler]
class=handlers.TimedRotatingFileHandler
level=DEBUG
formatter=simpleFormatter
args=('app.log', 'a', 1, 30)
kwargs={'when':'D', 'backupCount':30, 'encoding':'utf-8'}

[formatter_simpleFormatter]
format=%(asctime)s [%(levelname)s] %(name)s.%(funcName)s:%(lineno)d - %(message)s
datefmt=%Y-%m-%d %H:%M:%S

# YAML 示例（需 PyYAML）
version: 1
disable_existing_loggers: false
formatters:
  default:
    format: '%(asctime)s [%(levelname)s] %(name)s.%(funcName)s:%(lineno)d - %(message)s'
    datefmt: '%Y-%m-%d %H:%M:%S'
handlers:
  console:
    class: logging.StreamHandler
    level: INFO
    formatter: default
  file:
    class: logging.handlers.TimedRotatingFileHandler
    level: DEBUG
    formatter: default
    when: D
    interval: 1
    backupCount: 30
    filename: app.log
    encoding: utf-8
loggers:
  '':
    handlers: [console, file]
    level: DEBUG
    propagate: true