合并多个NumPy .npz文件方法详解

核心概念：.npz文件结构与合并挑战

NumPy的.npz文件是一种方便的归档格式，用于存储多个NumPy数组。它本质上是一个包含多个.npy文件的zip压缩包，每个.npy文件对应一个数组，并通过一个字符串键进行访问。当我们使用np.savez或np.savez_compressed保存数据时，可以传入多个数组作为位置参数，它们将默认以arr_0, arr_1等键名存储；或者传入关键字参数，此时键名即为关键字。

在尝试合并多个.npz文件时，一个常见的误区是简单地将它们加载到字典中并使用dict.update()方法。例如：

import numpy as np
import os

# 假设 file_list 是所有 npz 文件的路径列表
# data_all = [np.load(fname) for fname in file_list]
# merged_data = {}
# for data in data_all:
#     [merged_data.update({k: v}) for k, v in data.items()]
# np.savez('new_file.npz', **merged_data)

这种方法的问题在于，如果不同.npz文件中的数组具有相同的键（例如，都是arr_0或自定义的feature_data），dict.update()会用后面加载的文件中的值覆盖前面文件中的值，导致最终合并的.npz文件只包含最后一个文件的内容。正确的合并策略应该是将所有文件中相同键下的数组进行拼接（concatenate），而不是简单地覆盖。

数据准备：正确保存.npz文件

为了能够成功合并，首先需要确保原始的.npz文件以一种可拼接的方式保存。这意味着每个文件中存储的数组应该有明确的、一致的键名，并且在逻辑上是相同类型的数据。推荐的做法是将待保存的多个数组封装在一个字典中，然后使用字典解包（**操作符）的方式保存：

import numpy as np
import os

# 示例数据
arr_0_part1 = np.random.rand(10, 3)
arr_1_part1 = np.random.randint(0, 100, (10, 2))

# 将数据存储在字典中，并使用有意义的键
data_part1 = {'features': arr_0_part1, 'labels': arr_1_part1}
np.savez_compressed('data_part1.npz', **data_part1)

arr_0_part2 = np.random.rand(15, 3)
arr_1_part2 = np.random.randint(0, 100, (15, 2))
data_part2 = {'features': arr_0_part2, 'labels': arr_1_part2}
np.savez_compressed('data_part2.npz', **data_part2)

print("已创建 data_part1.npz 和 data_part2.npz")

通过这种方式，data_part1.npz和data_part2.npz都将包含名为features和labels的数组。

合并策略：按键拼接数组

有了正确保存的.npz文件，合并过程就变得直观了。核心思想是：加载所有文件，然后对于每个共享的键，收集所有文件中该键对应的数组，并使用np.concatenate将它们拼接起来。

以下是具体的合并代码示例：

import numpy as np
import os

# 假设文件已存在
# data_part1.npz, data_part2.npz
filenames = ['data_part1.npz', 'data_part2.npz']

# 1. 加载所有 npz 文件
data_all = [np.load(fname) for fname in filenames]

# 2. 初始化用于存储合并数据的字典
merged_data = {}

# 3. 遍历第一个文件的所有键（假设所有文件键结构一致）
for k in data_all[0].keys():
    # 4. 收集所有文件中当前键 k 对应的数组
    #    list(d[k] for d in data_all) 会生成一个包含所有文件对应数组的列表
    arrays_to_concatenate = [d[k] for d in data_all]

    # 5. 拼接这些数组并存储到 merged_data 中
    merged_data[k] = np.concatenate(arrays_to_concatenate)

# 6. 将合并后的数据保存为新的 npz 文件
output_filename = 'merged_dataset.npz'
np.savez_compressed(output_filename, **merged_data)

print(f"\n数据已成功合并并保存到 {output_filename}")

# 验证合并结果
loaded_merged_data = np.load(output_filename)
print(f"合并文件中包含的键：{list(loaded_merged_data.keys())}")
print(f"合并后的 'features' 数组形状：{loaded_merged_data['features'].shape}")
print(f"合并后的 'labels' 数组形状：{loaded_merged_data['labels'].shape}")

# 清理示例文件
for fname in filenames:
    os.remove(fname)
os.remove(output_filename)
print("\n示例文件已清理。")

在上述代码中，data_all[0].keys()获取了第一个.npz文件中的所有键。我们假设所有待合并的.npz文件都具有相同的键集合。然后，通过列表推导式[d[k] for d in data_all]，我们为每个键k收集了所有文件对应的数组。最后，np.concatenate()将这些数组沿着默认轴（通常是第一个轴）拼接起来。

注意事项

1. 键的一致性：此合并策略要求所有待合并的.npz文件具有相同的键集合。如果键不一致，你需要根据具体需求调整合并逻辑，例如，只合并共同的键，或者为缺失的键填充默认值。
2. 数组形状兼容性：np.concatenate()要求除了拼接轴之外的其他轴的维度必须匹配。例如，如果拼接的是形状为(N, M, K)的数组，那么M和K必须在所有待拼接数组中保持一致，只有N可以不同。
3. 内存消耗：在处理大量或超大.npz文件时，一次性将所有文件加载到内存中（data_all = [np.load(fname) for fname in filenames]）可能会导致内存溢出。对于这种情况，可以考虑分批加载和合并，或者使用dask等库进行更高效的内存管理。
4. 压缩与未压缩：np.savez和np.savez_compressed都可用于保存。np.savez_compressed会对数据进行压缩，节省磁盘空间，但可能增加读写时间。根据需求选择。

总结

合并多个NumPy .npz文件的关键在于理解其内部结构以及np.concatenate()的工作原理。通过在保存时明确键名，并在合并时对每个共享键下的数组进行逐一拼接，可以有效地将分散的数据整合到一个单一的.npz文件中，避免了因键覆盖而导致的数据丢失问题。这种方法保证了数据的完整性和可追溯性，是处理NumPy数组归档的专业且高效的实践。