Java统计字符串唯一单词方法详解

本文旨在介绍如何使用Java Stream API高效地统计字符串中的唯一单词数量。通过结合字符串预处理、拆分、去重和计数等操作，Stream API提供了一种简洁且强大的方法来解决此类文本处理任务，避免了传统手动迭代和数据结构管理的复杂性，显著提升了代码的可读性和开发效率。

在Java开发中，统计字符串中唯一单词的数量是一个常见的文本处理需求。例如，分析文本内容、生成关键词列表或进行数据清洗时，都需要准确识别并计数不重复的单词。虽然可以采用传统的循环和条件判断结合数据结构（如Set）的方式实现，但Java 8引入的Stream API为这类任务提供了更为简洁、高效且富有表达力的解决方案。本文将详细阐述如何利用Stream API的强大功能，优雅地完成字符串唯一单词的统计。

核心概念与方法

要准确统计唯一单词，我们需要处理几个关键步骤：

1. 字符串预处理：原始字符串可能包含标点符号、特殊字符以及多余的空格，这些都会干扰单词的正确识别。我们需要将它们移除或标准化。
2. 单词拆分：将预处理后的字符串按照空格拆分成独立的单词。
3. 去重：从拆分出的单词列表中移除所有重复的单词。
4. 计数：统计去重后单词的数量。

Stream API通过链式操作将这些步骤无缝连接起来，形成一个清晰的数据处理管道。

实现步骤详解

以下是使用Java Stream API统计唯一单词的具体实现方法：

import java.util.Arrays;

public class UniqueWordCounter {

    /**
     * 统计字符串中唯一单词的数量。
     * 该方法会忽略大小写，并移除标点符号。
     *
     * @param str 待处理的输入字符串。
     * @return 字符串中唯一单词的数量。
     */
    public static long countUniqueWords(String str) {
        // 1. 预处理字符串：移除所有非字母、非数字、非空格的字符，并将多个连续空格替换为单个空格
        //    注意：这里假设单词由字母和数字组成，并以空格分隔。
        String cleanedStr = str.replaceAll("[^a-zA-Z0-9 ]", "") // 移除所有非字母、非数字、非空格字符
                             .replaceAll(" +", " ") // 将一个或多个连续空格替换为单个空格
                             .trim(); // 移除字符串首尾的空格

        // 2. 将预处理后的字符串按空格拆分为单词数组
        //    如果 cleanedStr 为空字符串，split(" ") 会返回一个包含空字符串的数组，需要特殊处理
        if (cleanedStr.isEmpty()) {
            return 0;
        }
        String[] words = cleanedStr.split(" ");

        // 3. 将单词数组转换为Stream，并进行去重和计数
        return Arrays.stream(words)
                     .distinct() // 移除重复的单词
                     .count();  // 统计剩余单词的数量
    }

    public static void main(String[] args) {
        String sentence1 = "A long long time ago, I can still remember";
        System.out.println("句子: \"" + sentence1 + "\" 中的唯一单词数: " + countUniqueWords(sentence1)); // 预期输出: 8

        String sentence2 = "Hello world, hello Java! Java is great.";
        System.out.println("句子: \"" + sentence2 + "\" 中的唯一单词数: " + countUniqueWords(sentence2)); // 预期输出: 5 (Hello, world, Java, is, great)

        String sentence3 = "  apple, banana, apple, orange  ";
        System.out.println("句子: \"" + sentence3 + "\" 中的唯一单词数: " + countUniqueWords(sentence3)); // 预期输出: 3 (apple, banana, orange)

        String emptySentence = "";
        System.out.println("句子: \"" + emptySentence + "\" 中的唯一单词数: " + countUniqueWords(emptySentence)); // 预期输出: 0

        String punctuationOnly = "!!!???---";
        System.out.println("句子: \"" + punctuationOnly + "\" 中的唯一单词数: " + countUniqueWords(punctuationOnly)); // 预期输出: 0
    }
}

代码解析

1. str.replaceAll("[^a-zA-Z0-9 ]", ""):

   • 这个正则表达式 [^a-zA-Z0-9 ] 匹配任何不是字母（a-z, A-Z）、数字（0-9）或空格的字符。
   • replaceAll() 方法将所有匹配到的字符替换为空字符串，从而有效地移除了标点符号和特殊字符。
   • 例如，"ago," 会变成 "ago"。

2. .replaceAll(" +", " ").trim():

   • 正则表达式 " +" 匹配一个或多个连续的空格。此操作将字符串中所有连续的空格替换为单个空格，确保单词之间只有一个分隔符。
   • trim() 方法则用于移除字符串开头和结尾可能存在的空格。

3. cleanedStr.split(" "):

   • split(" ") 方法根据单个空格将字符串拆分成一个字符串数组。数组中的每个元素都是一个独立的单词。
   • 注意事项：如果 cleanedStr 为空字符串，split(" ") 会返回一个包含一个空字符串的数组 [""]。为了避免将空字符串计为唯一单词，我们在 split 之前添加了一个 isEmpty() 检查。

4. Arrays.stream(words):

   • 这是一个将普通数组转换为Stream的关键步骤。Arrays.stream() 方法提供了一种便捷的方式，将 String[] 转换为 Stream，从而可以使用Stream API进行后续操作。

5. .distinct():

   • 这是Stream API的一个中间操作，用于返回一个由Stream中不同元素组成的Stream。
   • 它通过对象的 equals() 方法来判断元素是否相同。对于字符串，这意味着它会识别并移除内容完全相同的单词。例如，如果 words 包含 ["long", "long"]，distinct() 后将只剩下 ["long"]。

6. .count():

   • 这是一个终端操作，用于返回Stream中元素的数量。
   • 在 distinct() 操作之后调用 count()，即可得到字符串中唯一单词的总数。

Stream API的优势

• 简洁性与可读性：Stream API通过链式调用，将数据处理逻辑表达得非常清晰和流畅，减少了冗余代码。
• 声明式编程：开发者只需描述“做什么”，而不是“怎么做”，Stream API负责底层的迭代和优化。
• 效率：Stream API在某些场景下可以利用并行处理来提高性能（尽管本例中未直接使用并行流）。
• 避免副作用：Stream操作通常是无状态的，不会修改原始数据源，这有助于编写更健壮的代码。

注意事项与扩展

• 大小写敏感性：上述示例是大小写敏感的（例如，"Java" 和 "java" 会被视为不同的单词）。如果需要忽略大小写，可以在 distinct() 之前添加一个 map(String::toLowerCase) 操作，将所有单词转换为小写。
• 国际化：对于包含非英文字符的文本，正则表达式 [^a-zA-Z0-9 ] 可能需要调整，以包含其他语言的字母或字符集。
• 性能考量：对于非常大的文本文件或字符串，replaceAll() 操作可能会有性能开销。在极端情况下，可以考虑使用更底层的字符迭代或专门的文本处理库。
• 空字符串处理：在 split 操作前增加 isEmpty() 检查是良好的实践，以避免将空字符串计入单词数。

总结

Java Stream API为统计字符串中的唯一单词提供了一种现代、高效且易于理解的解决方案。通过结合正则表达式进行字符串预处理，然后利用Stream的拆分、去重和计数功能，我们可以用极少的代码实现复杂的文本分析逻辑。掌握Stream API是现代Java开发者的必备技能，它能极大地提升代码质量和开发效率。