Pandas文本分类：关键词概率标签识别教程

1. 引言与问题背景

在数据分析和自然语言处理中，我们经常需要根据文本内容对其进行分类或打标签。一个常见的场景是，给定一组预定义的关键词类别（如“水果”、“动物”、“国家”），我们需要分析文本数据中哪些类别出现的频率最高，并以此来标记该文本。例如，如果一段话中“苹果”、“香蕉”出现的次数远多于“狗”、“猫”，那么这段话很可能属于“水果”类别。

本教程旨在解决以下问题：如何为Pandas DataFrame中的文本列，基于关键词的出现概率，自动生成一个代表最高概率类别的标签列。概率的计算方式为：某个类别中关键词的总出现次数除以该行文本的总词数。

2. 核心概念与方法

要实现上述目标，我们需要掌握以下几个核心概念和技术：

• 关键词类别定义: 将不同类别的关键词组织起来，方便查询和管理。
• 文本预处理: 对原始文本进行标准化处理，例如转换为小写、提取独立单词。
• 词频统计: 高效地统计文本中每个单词的出现频率。
• 概率计算: 根据预设公式计算每个关键词类别的概率。
• 标签判定: 找出概率最高的类别作为最终标签，并处理无匹配情况。

3. 实现步骤与代码示例

我们将通过一个具体的Pandas DataFrame示例来演示整个实现过程。

3.1 准备工作：导入库与模拟数据

首先，导入必要的Python库，并创建一个示例DataFrame。

import pandas as pd
import re
from collections import Counter

# 模拟DataFrame数据
data = {
    'content': [
        'My favorite fruit is mango. I like lichies too. I live in au. Cows are domistic animals.',
        'I own RTX 4090...',
        'There is political colfict between us and ca.',
        'au, br mango, lichi apple,.... \n cat, cow, monkey donkey dogs'
    ]
}
df = pd.DataFrame(data)

print("原始DataFrame:")
print(df)
print("-" * 30)

3.2 定义关键词类别

我们将关键词列表组织成一个字典，键为类别名称，值为该类别下的关键词列表。

labels = {
    'fruits': ['mango', 'apple', 'lichi'],
    'animals':  ['dog', 'cat', 'cow', 'monkey'],
    'country': ['us', 'ca', 'au', 'br'],
}

print("定义的关键词类别:")
for k, v in labels.items():
    print(f"  {k}: {v}")
print("-" * 30)

3.3 实现概率计算函数

这是核心逻辑部分。我们将创建一个名为calculate_probability的函数，它接受一个文本字符串和关键词类别字典作为输入，返回概率最高的类别标签。

def calculate_probability(text, labels_dict):
    """
    计算给定文本中各关键词类别的概率，并返回概率最高的类别标签。

    Args:
        text (str): 输入的文本字符串。
        labels_dict (dict): 包含关键词类别的字典，键为类别名，值为关键词列表。

    Returns:
        str: 概率最高的类别标签，如果所有概率均为0则返回 'NaN'。
    """
    # 1. 文本预处理：提取单词并转换为小写
    # re.findall(r'\b\w+\b', ...) 匹配所有独立的单词（字母数字下划线），
    # \b 是单词边界，确保 'apples' 不会匹配 'apple'，而是提取 'apples' 作为一个完整的词。
    words = re.findall(r'\b\w+\b', str(text).lower())
    word_count = len(words)

    # 如果文本为空或没有提取到单词，则无法计算概率
    if word_count == 0:
        return 'NaN'

    # 2. 词频统计：使用 collections.Counter 高效统计单词出现次数
    counts = Counter(words)

    # 3. 计算每个类别的概率
    probs = {}
    for category, keywords in labels_dict.items():
        # 统计当前类别所有关键词在文本中的总出现次数
        category_keyword_count = sum(counts[word] for word in keywords)
        # 计算概率
        probs[category] = category_keyword_count / word_count

    # 4. 找出概率最高的类别
    # 使用 max 函数配合 key 参数，找到字典中值最大的键
    max_label = max(probs, key=probs.get)

    # 5. 返回结果：如果最高概率大于0，则返回标签，否则返回 'NaN'
    return max_label if probs[max_label] > 0 else 'NaN'

3.4 应用函数到DataFrame

最后，使用Pandas的apply方法将上述函数应用到DataFrame的content列，生成新的label列。

# 应用函数到 'content' 列
# 注意：apply 函数默认会将 Series 的每个元素作为第一个参数传递给函数。
# 额外的参数（如 labels_dict）可以通过关键字参数传递。
df['label'] = df['content'].apply(calculate_probability, labels_dict=labels)

print("处理后的DataFrame:")
print(df)

输出结果:

原始DataFrame:
                                             content
0  My favorite fruit is mango. I like lichies too...
1                                  I own RTX 4090...
2      There is political colfict between us and ca.
3  au, br mango, lichi apple,.... \n cat, cow, mo...
------------------------------
定义的关键词类别:
  fruits: ['mango', 'apple', 'lichi']
  animals: ['dog', 'cat', 'cow', 'monkey']
  country: ['us', 'ca', 'au', 'br']
------------------------------
处理后的DataFrame:
                                             content    label
0  My favorite fruit is mango. I like lichies too...   fruits
1                                  I own RTX 4090...      NaN
2      There is political colfict between us and ca.  country
3  au, br mango, lichi apple,.... \n cat, cow, mo...   animals

解释:

• 第一行: "mango" (fruits) 出现1次, "lichi" (fruits) 出现1次, "au" (country) 出现1次, "cows" (animals) 出现1次。总词数17。P(fruits) = 2/17, P(country) = 1/17, P(animals) = 1/17。最高概率为 fruits。
• 第二行: 未匹配任何关键词。返回 NaN。
• 第三行: "us" (country) 出现1次, "ca" (country) 出现1次。总词数8。P(country) = 2/8。最高概率为 country。
• 第四行: "au" (country) 出现1次, "br" (country) 出现1次, "mango" (fruits) 出现1次, "lichi" (fruits) 出现1次, "apple" (fruits) 出现1次, "cat" (animals) 出现1次, "cow" (animals) 出现1次, "monkey" (animals) 1次, "dogs" (animals) 1次。总词数10。P(fruits) = 3/10, P(animals) = 4/10, P(country) = 2/10。最高概率为 animals。

4. 注意事项与优化

• 函数参数传递: 在使用 df.apply() 时，如果自定义函数需要额外的固定参数（如本例中的 labels_dict），应通过关键字参数传递给 apply。例如 df['col'].apply(my_func, arg1=value1)。错误的做法是尝试在函数内部直接访问全局变量，或者对 Series 应用时使用 axis=1 (这会将整行作为DataFrame传递，而不是Series元素)。
• 词形变化处理: 当前方案通过 re.findall(r'\b\w+\b', ...) 提取独立单词，然后进行精确匹配。这意味着，如果关键词是'lichi'，而文本中出现的是'lichies'，则不会被计数。若需处理此类词形变化（例如，'run'、'running'、'ran'都算作'run'），可以考虑引入词干提取（stemming）或词形还原（lemmatization）技术，例如使用NLTK或SpaCy库对文本和关键词进行预处理。
• 性能优化: collections.Counter 在统计词频方面效率很高。对于极大规模的文本数据，若处理速度仍是瓶颈，可以考虑并行处理，或使用更专业的文本处理库（如spaCy）其内置的词法分析器通常更为高效。
• 关键词定义: 关键词列表的质量直接影响分类的准确性。应确保关键词具有代表性，并且涵盖目标类别的核心概念。
• 处理特殊字符与停用词: re.findall(r'\b\w+\b', ...) 已经能较好地处理大部分标点符号。但如果文本中包含大量无意义的停用词（如“的”、“是”、“在”等），可能会稀释关键词的概率。在某些场景下，可以考虑在词频统计前移除停用词。
• 概率相等时的处理: 如果