TF-IDF原理及TfidfVectorizer应用解析

本文深入解析了 TfidfVectorizer 在计算 TF-IDF 值时的细节，重点解释了 IDF 的计算公式，包括 smooth_idf 参数的影响。同时，澄清了 TF 值的计算方式，强调了归一化步骤在 IDF 计算之后。通过本文，读者可以更准确地理解和使用 TfidfVectorizer 进行文本特征提取。

TF-IDF (Term Frequency-Inverse Document Frequency) 是一种常用的文本特征提取方法，用于评估一个词语对于一个文件集或一个语料库中的其中一份文件的重要程度。scikit-learn 库中的 TfidfVectorizer 提供了便捷的 TF-IDF 计算功能。理解 TfidfVectorizer 的计算细节对于正确使用它至关重要。本文将深入探讨 TfidfVectorizer 如何计算 TF-IDF 值，并解释一些常见的疑惑。

IDF 的计算

TfidfVectorizer 计算 IDF (Inverse Document Frequency) 的公式略有不同于简单的 log(总文档数 / 包含该词的文档数)。默认情况下，TfidfVectorizer 启用了 smooth_idf 参数，这会对 IDF 的计算产生影响。

当 smooth_idf=True 时，IDF 的计算公式如下：

IDF(t) = ln((1 + n) / (1 + df(t))) + 1

其中：

• n 是文档总数。
• df(t) 是包含词语 t 的文档数。

smooth_idf 的作用是平滑 IDF 值，防止出现 IDF 为零的情况，从而避免某些词语被完全忽略。 如果 smooth_idf=False，则计算公式为：

IDF(t) = ln(n / df(t)) + 1

以下是一个示例，说明 smooth_idf 的影响：

假设我们有 3 个文档，词语 "art" 只出现在 1 个文档中。

• 当 smooth_idf=True 时：IDF("art") = ln((3 + 1) / (1 + 1)) + 1 = ln(2) + 1 ≈ 1.6931
• 当 smooth_idf=False 时：IDF("art") = ln(3 / 1) + 1 = ln(3) + 1 ≈ 2.0986

可以通过设置 TfidfVectorizer 的 smooth_idf 参数来控制是否启用平滑。

from sklearn.feature_extraction.text import TfidfVectorizer
import numpy as np

data = ['Souvenir shop|Architecture and art|Culture and history',
        'Souvenir shop|Resort|Diverse cuisine|Fishing|Shop games|Beautiful scenery',
        'Diverse cuisine|Resort|Beautiful scenery']

# smooth_idf=True
vectorizer = TfidfVectorizer(smooth_idf=True)
tfidf_matrix = vectorizer.fit_transform(data)
print(f"smooth_idf=True 的 IDF 值：{vectorizer.idf_}")

# smooth_idf=False
vectorizer = TfidfVectorizer(smooth_idf=False)
tfidf_matrix = vectorizer.fit_transform(data)
print(f"smooth_idf=False 的 IDF 值：{vectorizer.idf_}")

输出结果类似：

smooth_idf=True 的 IDF 值：[1.69314718 1.         1.         1.69314718 1.         2.09861229
 1.69314718 2.09861229 2.09861229 1.69314718 2.09861229 2.09861229
 1.69314718]
smooth_idf=False 的 IDF 值：[2.09861229 1.         1.         2.09861229 1.
 2.40546511 2.09861229 2.40546511 2.40546511 2.09861229 2.40546511
 2.40546511 2.09861229]

TF 的计算

TF (Term Frequency) 指的是词语在文档中出现的次数。TfidfVectorizer 默认情况下直接使用词频作为 TF 值，并不进行文档长度的归一化。归一化是在 TF-IDF 计算的后续步骤中进行的。

例如，如果文档 "art" 在文档 1 中出现 1 次，文档 1 总共有 8 个词，那么 "art" 的 TF 值就是 1，而不是 1/8。

TfidfVectorizer 中有一个 norm 参数，可以控制是否进行归一化。如果 norm='l2'，则会对每个文档的 TF-IDF 向量进行 L2 归一化，使得每个向量的模长为 1。

from sklearn.feature_extraction.text import TfidfVectorizer

data = ['Souvenir shop|Architecture and art|Culture and history',
        'Souvenir shop|Resort|Diverse cuisine|Fishing|Shop games|Beautiful scenery',
        'Diverse cuisine|Resort|Beautiful scenery']

vectorizer = TfidfVectorizer(norm='l2')
tfidf_matrix = vectorizer.fit_transform(data)

print(tfidf_matrix.toarray())

注意事项和总结

• smooth_idf 参数会影响 IDF 的计算，默认值为 True。
• TfidfVectorizer 直接使用词频作为 TF 值，不进行文档长度的归一化。
• norm 参数控制是否对 TF-IDF 向量进行归一化。

理解 TfidfVectorizer 的计算细节对于正确使用 TF-IDF 进行文本特征提取至关重要。通过调整 smooth_idf 和 norm 参数，可以根据具体任务的需求来优化 TF-IDF 的计算方式。 掌握这些细节可以帮助开发者更好地理解文本数据，并构建更有效的文本分析模型。