如何使用 Java Stream API 根据对象属性筛选重复项

如何使用 Ja va Stream API 根据对象属性筛选重复项

本文介绍如何利用 Ja va Stream 和 Collectors.groupingBy 高效提取对象列表中基于指定属性（如 osName）的全部重复元素，无需重写 equals/hashCode，代码简洁且具备生产可用性。

在日常开发中，你是否遇到过这样的场景：需要从一个对象集合里，找出那些在“逻辑上”重复的项？这里的“逻辑重复”，指的是某些特定字段的值相同，但对象本身并不相等的情况。

举个例子，假设我们有一个 Computer 类，它没有重写 equals() 和 hashCode() 方法。这意味着，你无法直接用 Set 去重，或者调用 distinct() 方法来判断。然而，从业务角度看，我们关心的恰恰是那些操作系统名称（osName）相同的计算机，至于它们的 id 是否不同，反倒不重要了。

面对这种需求，最清晰、高效，也最符合函数式编程风格的解决方案是什么呢？答案是：先按目标属性分组，再筛选出组内元素数大于 1 的所有条目，最后将这些条目扁平化为一个单一的列表。

下面就是完整的实现代码（基于 Ja va 16+，支持 .toList()；如果使用 Ja va 11 到 15，请将最后的 .toList() 替换为 .collect(Collectors.toList())）：

List duplicated = computers.stream()
    .collect(Collectors.groupingBy(Computer::getOsName))
    .entrySet().stream()
    .filter(entry -> entry.getValue().size() > 1)
    .flatMap(entry -> entry.getValue().stream())
    .toList();

✅ 执行逻辑解析：

立即学习“Ja va免费学习笔记（深入）”；

1. 分组：groupingBy(Computer::getOsName) 会将原始列表按 osName 属性进行分组，生成一个 Map>。例如，结果可能是：
   　　“Window10” → [c1, c4, c5]，
   　　“Window11” → [c2]，
   　　“Linux” → [c3]；
2. 筛选：filter(e -> e.getValue().size() > 1) 这一步是关键，它只保留那些包含 2 个或以上元素的分组。换句话说，只有存在重复操作系统名称的分组才会被留下；
3. 扁平化：flatMap(...stream()) 负责将每个匹配分组的 List 展开，合并成一个单一的流；
4. 收集：toList() 将最终的结果收集起来。这里有个细节：由于 groupingBy 默认保持插入顺序，所以最终结果列表的顺序，与原始列表中首次出现该 osName 的位置是一致的。

⚠️ 注意事项：

• 这个方法不会修改原始列表，也完全不依赖对象的 equals/hashCode 实现。它纯粹基于属性值进行判断，因此既安全又可靠；
• 如果你的需求是去重后每组只保留一个代表（比如第一个），可以考虑改用 Collectors.toMap(..., (a,b) -> a) 或者结合 distinct() 与自定义的 key 提取器；
• 对于超大规模的数据集（比如百万级别），可以考虑使用并行流（.parallelStream()）来提升性能。但要注意，groupingBy 在并行流下默认不保证分组内的顺序。如果顺序很重要，需要显式使用 Collectors.groupingByConcurrent() 并配合后续的排序操作；
• 如果 getOsName() 方法有可能返回 null，建议先用 Objects.requireNonNull() 或者 filter(Objects::nonNull) 进行预处理，以避免潜在的 NullPointerException。

总而言之，这套方案用声明式的风格，精准地表达了业务意图——“找出所有在 osName 上重复的计算机”。它在可读性、健壮性和性能之间取得了很好的平衡，堪称是使用 Ja va Stream 处理属性级重复问题的标准实践。