如何高效统计字典中值列表的唯一组合及其出现频次

如何高效统计字典中值列表的唯一组合及其出现频次

本文介绍如何准确统计字典中所有值列表（如 ['x', 'y']）作为完整组合（而非子集或排列）的出现次数，并按频次降序输出标准化格式（如 n=5: ('x', 'y')），避免因键重复或子集误匹配导致的漏计或错计。

在数据处理工作中，我们常常会遇到这样一个场景：需要将一个结构化字典（例如 `{'HH1': ['x'], 'HH2': ['y', 'x'], ...}`）中，每个键对应的“值列表”作为一个整体构成来统计其出现的频率。这里的核心挑战在于，如何确保统计的是列表的完整组合，而不是其子集或某种排列。

关键在于一个标准化的操作：必须将每个值列表规范化为不可变且可哈希的元组形式。具体来说，就是对列表进行排序后转换为元组（例如 `tuple(sorted(['y','x']))` 会得到 `('x','y')`），然后以这个元组作为键来进行计数。许多常见的错误都源于忽略了这一步：

• ❌ 错误地对列表生成所有可能的子集组合（例如使用 `itertools.combinations`），这会导致统计的是子集的频次，而非原始列表的精确匹配；
• ❌ 直接尝试用列表作为字典的键（Python会报错），或者忽略了排序，导致 `['y','x']` 和 `['x','y']` 被误判为两个不同的组合；
• ❌ 使用频次字符串（如 `"n=1"`）作为字典的键，这会导致多个不同组合因为频次相同而被相互覆盖，造成数据丢失。

✅ 正确的路径其实很清晰：以归一化后的元组为键，累计其出现次数作为值，最后再按频次进行降序排列输出。

下面是一个完整且健壮的实现方案，可以直接应用于实际项目：

from collections import defaultdict

# 示例输入数据
hfuels = {
    'HH1': ['x'], 'HH2': ['y', 'x'], 'HH3': ['x', 'z'], 'HH4': ['x'], 'HH5': ['x'],
    'HH6': ['x'], 'HH7': ['x'], 'HH8': ['x', 'y', 'z'], 'HH9': ['x'], 'HH10': ['x', 'y'],
    'HH11': ['x'], 'HH12': ['x'], 'HH13': ['x'], 'HH14': ['x'], 'HH15': ['x', 'y'],
    'HH16': ['x', 'y'], 'HH17': ['x', 'y'], 'HH18': ['x']
}

# 步骤1：统计每个唯一组合（排序后元组）的出现次数
combination_count = defaultdict(int)
for fuel_list in hfuels.values():
    # 核心操作：排序后转元组，确保 ['y','x'] 和 ['x','y'] 被视为同一组合
    canonical = tuple(sorted(fuel_list))
    combination_count[canonical] += 1

# 步骤2：按频次降序输出（频次相同时，按元组字典序可选）
for combo, count in sorted(combination_count.items(), key=lambda x: (-x[1], x[0])):
    print(f"n={count}: {combo}")

运行上述代码，你将得到如下结果：

n=11: ('x',)
n=5: ('x', 'y')
n=1: ('x', 'z')
n=1: ('x', 'y', 'z')

? 几个需要留意的细节：

• tuple(sorted(...)) 是整套方法的核心技巧，它一举两得：既消除了列表内部元素的顺序影响，又将其转化为可哈希的数据类型，从而能够作为字典的键。
• 使用 defaultdict(int) 或者 collections.Counter 都可以方便地计数，但务必避免使用“n=i”这样的字符串作为键，否则会导致不同组合因频次相同而被覆盖。
• 如果业务逻辑要求必须区分原始列表的顺序（即认为 `['x','y']` 和 `['y','x']` 不同），那么可以去掉 `sorted()` 步骤，但前提是你能确保所有输入数据的顺序是一致的。
• 输出排序时，使用 key=lambda x: (-x[1], x[0]) 可以实现主排序依据（频次）降序，次排序依据（组合元组）升序，使得输出结果更加清晰易读。

从性能角度看，该方法的时间复杂度约为 O(N×M log M)，其中 N 是字典的项数，M 是列表的平均长度。这个复杂度对于中等规模的数据处理场景来说，在效率和准确性之间取得了很好的平衡。