如何递归解压嵌套的 GZIP 文件（.gz 套 .gz）

如何递归解压嵌套的 GZIP 文件（.gz 套 .gz）

本文介绍使用 python 递归解压多层嵌套的 .gz 文件（即压缩包内含 .gz 文件，其内部又可能含 .gz），最终提取出原始 xml 等目标数据，并支持自定义输出路径。

处理网络路由数据、日志归档或是科研数据集时，你很可能遇到过一种让人头疼的“俄罗斯套娃”式压缩文件：一个顶层的 .gz 文件解压出来，里面躺着的居然还是 .gz 文件，一层套一层，非得剥开好几层“外壳”，才能见到真正的 XML 或文本数据。Python 自带的 gzip 模块虽然好用，但面对这种嵌套结构就束手无策了。不过别担心，通过“递归解压”配合“文件类型识别”，完全可以实现全自动的一键展开。

下面这个函数，就是一个兼顾健壮性与扩展性的解决方案：

import gzip
import shutil
import os
from pathlib import Path

def extract_gz_recursively(
    gz_path: str, 
    output_dir: str = ".", 
    keep_intermediates: bool = False) -> None:
    """
    递归解压嵌套 .gz 文件，直至获得非 .gz 文件（如 XML、TXT 等）。
    Args:
        gz_path: 输入 .gz 文件路径
        output_dir: 最终解压内容存放目录（默认为当前目录）
        keep_intermediates: 是否保留中间解压出的 .gz 文件（默认 False）
    """
    gz_path = Path(gz_path)
    output_dir = Path(output_dir)
    output_dir.mkdir(exist_ok=True)

    # 构造解压后的文件名（移除最外层 .gz）
    stem = gz_path.stem if gz_path.suffix == ".gz" else gz_path.name
    extracted_path = output_dir / stem

    # 解压当前 .gz 文件
    try:
        with gzip.open(gz_path, "rb") as f_in:
            with open(extracted_path, "wb") as f_out:
                shutil.copyfileobj(f_in, f_out)
        print(f"✓ Extracted: {gz_path.name} → {extracted_path.name}")
    except Exception as e:
        print(f"✗ Failed to extract {gz_path.name}: {e}")
        return

    # 若解压结果仍是 .gz 文件，则递归处理
    if extracted_path.suffix == ".gz" and extracted_path.is_file():
        extract_gz_recursively(
            extracted_path, 
            output_dir=output_dir, 
            keep_intermediates=keep_intermediates
        )
        # 可选：清理中间 .gz（仅当不保留时）
        if not keep_intermediates:
            extracted_path.unlink(missing_ok=True)
    else:
        # 已到达最终数据（如 XML），可选重命名或分类
        if extracted_path.suffix.lower() in (".xml", ".txt", ".csv"):
            print(f"→ Final data found: {extracted_path.name}")

# ✅ 使用示例：批量处理指定目录下所有 .gz 文件
if __name__ == "__main__":
    INPUT_DIR = "./archives"      # 存放顶层 .gz 文件的目录
    OUTPUT_DIR = "./extracted"    # 所有最终 XML 数据将落在此目录
    for gz_file in Path(INPUT_DIR).glob("*.gz"):
        extract_gz_recursively(gz_file, output_dir=OUTPUT_DIR)

关键说明与注意事项：

要让这个流程跑得既稳当又高效，有几个细节值得琢磨：

• 安全终止机制：函数通过检查文件后缀是否为 “.gz” 来决定是否继续递归，这能有效避免因文件损坏或命名异常导致的无限循环。
• 路径健壮性：全程使用 pathlib.Path 对象而非字符串拼接，好处是自动兼容不同操作系统的路径分隔符，代码更清晰，也减少了低级错误。
• 错误防护：对核心的解压操作（gzip.open）进行了异常捕获。这样一来，即便某个嵌套文件损坏，也只会跳过该文件并打印错误，而不会让整个批量处理流程戛然而止。
• 资源管理：默认情况下，中间解压产生的 .gz 文件会被自动清理（keep_intermediates=False）。这对于处理大量深层嵌套文件尤其重要，能避免磁盘空间被一堆临时文件迅速占满。
• 扩展建议：如果你希望最终文件能按原始嵌套层级来组织（比如输出到 ./extracted/level1/level2/xmldata1.xml 这样的路径），可以在递归函数中增加一个“深度”参数，并根据它来动态创建对应的子目录。

运行起来之后，无论原先的结构有多复杂，比如 maingzfile/subgzfile1/xmldata1 这样的多层嵌套，所有目标 XML 文件都会被自动提取出来，并整齐地归集到你指定的输出目录（如 ./extracted/）。整个过程无需人工干预，真正实现了“一键穿透多层 GZIP”。