Zarr Group 字节大小获取方法

本文介绍如何使用 zarr 库内置的 `zarr.getsize()` 函数快速、准确地获取 Zarr Group（包括其所有子组和数组）在磁盘上占用的总字节数。

Zarr 是一种用于存储 N 维数组的高效、分块、压缩格式，常用于大规模科学计算和遥感、生物信息等场景。与单个数组不同，Zarr Group 是一个容器结构，可包含多个子组、数据集（数组）及元数据（如 .zgroup 和 .zattrs 文件）。因此，获取其真实磁盘占用大小不能仅靠统计某个文件，而需递归遍历所有关联文件。

幸运的是，zarr 提供了开箱即用的工具函数 zarr.getsize()，它会自动解析 Group 的层级结构，并汇总所有底层存储对象（如 .zarray、分块数据文件、元数据文件等）的实际字节大小。

以下是最简实用示例：

import zarr

# 以只读模式打开 Zarr Group（推荐，避免意外写入）
group = zarr.open_group('path/to/your/zarr_group', mode='r')

# 获取整个 Group（含所有子组、数组及其分块）的总字节数
size_in_bytes = zarr.getsize(group)

print(f"Size of Zarr group: {size_in_bytes:,} bytes")  # 使用千位分隔符提升可读性

✅ 注意事项：

• zarr.getsize() 要求传入的是已打开的 zarr.Group 或 zarr.Array 对象（不能直接传入路径字符串）；
• 它会真实访问存储后端（如本地文件系统、S3 等），因此对远程存储（如 S3）可能产生网络请求和延迟；
• 若 Group 存储在 ZipStore 或 LMDBStore 等非文件系统后端，getsize() 仍能正确工作，因其基于 Store 接口统一实现；
• 该函数不包含未提交的内存变更（如 mode='a' 下尚未 flush 的缓存），确保结果反映磁盘上的实际状态；
• 对于嵌套较深或含大量小分块的 Group，性能依然良好——zarr 内部已优化为批量元数据扫描，而非逐文件 os.stat()。

? 小技巧： 可进一步转换为更直观的单位：

def format_size(num_bytes: int) -> str:
    for unit in ['B', 'KB', 'MB', 'GB', 'TB']:
        if num_bytes < 1024.0:
            return f"{num_bytes:.2f} {unit}"
        num_bytes /= 1024.0
    return f"{num_bytes:.2f} PB"

print(f"Group size: {format_size(size_in_bytes)}")

总之，zarr.getsize() 是获取 Zarr Group 磁盘占用的权威、可靠且跨后端兼容的方法，无需手动遍历或解析目录结构，是生产环境和调试分析中的必备工具。