当前位置:

首页 > 编程开发 > Pandas文本预处理:数据类型与处理顺序解析

Pandas文本预处理:数据类型与处理顺序解析

本文深入探讨了在PandasDataFrame中进行NLP文本预处理时,如何正确处理不同操作间的数据类型转换与处理顺序。核心问题在于许多文本处理函数期望字符串作为输入,而分词等操作会将字符串转换为单词列表,若不进行适当的迭代处理,将导致类型错误。文章通过详细的代码示例和解释,展示了如何利用列表推导式在分词后的列表上逐个单词地应用清洗和标准化操作,从而构建一个健壮、高效的文本预处理流程。

本文目录

    Pandas DataFrame文本预处理:数据类型与处理顺序深度解析

    本文深入探讨了在Pandas DataFrame中进行NLP文本预处理时,如何正确处理不同操作间的数据类型转换与处理顺序。核心问题在于许多文本处理函数期望字符串作为输入,而分词等操作会将字符串转换为单词列表,若不进行适当的迭代处理,将导致类型错误。文章通过详细的代码示例和解释,展示了如何利用列表推导式在分词后的列表上逐个单词地应用清洗和标准化操作,从而构建一个健壮、高效的文本预处理流程。

    核心挑战:数据类型不匹配

    在对Pandas DataFrame中的文本数据进行预处理时,一个常见的陷阱是不同预处理步骤对输入数据类型有不同的要求。例如,nltk.word_tokenize函数将一个字符串分解成一个单词列表,而像contractions.fix或unidecode这样的函数通常期望接收一个完整的字符串作为输入。如果在分词后直接将单词列表传递给这些期望字符串的函数,就会引发AttributeError,例如'list' object has no attribute 'split',因为列表对象没有split方法。

    解决此问题的关键在于理解Pandas Series.apply() 方法的工作方式:它会逐个元素地将指定函数应用于Series中的每个数据点。因此,如果一个列中的元素是字符串,apply会将字符串传递给函数;如果元素是列表,apply会将列表传递给函数。当我们的数据经过分词后,列中的每个单元格都变成了单词列表,此时后续的字符串操作就需要通过列表推导式来逐个单词地应用。

    文本预处理流程与正确的数据类型处理

    下面我们将构建一个完整的文本预处理流程,并详细解释每一步如何处理数据类型,确保流程的顺畅执行。

    1. 初始化设置

    首先,我们需要导入所有必要的库并定义一些全局变量,如停用词、词形还原器等。

    import pandas as pd
    import nltk
    from nltk.corpus import stopwords, wordnet
    from nltk.stem import WordNetLemmatizer
    from nltk.tokenize import word_tokenize
    from unidecode import unidecode
    import contractions
    import re
    import string
    # from textblob import TextBlob # TextBlob可能在处理单个单词时效率不高或行为不符预期,此处暂时注释
    
    # 下载NLTK所需资源
    try:
        nltk.data.find('corpora/stopwords')
    except nltk.downloader.DownloadError:
        nltk.download('stopwords')
    try:
        nltk.data.find('corpora/wordnet')
    except nltk.downloader.DownloadError:
        nltk.download('wordnet')
    try:
        nltk.data.find('taggers/averaged_perceptron_tagger')
    except nltk.downloader.DownloadError:
        nltk.download('averaged_perceptron_tagger')
    try:
        nltk.data.find('tokenizers/punkt')
    except nltk.downloader.DownloadError:
        nltk.download('punkt')
    
    
    # 初始化词形还原器和词性标注映射
    lemmatizer = WordNetLemmatizer()
    pos_tag_dict = {"J": wordnet.ADJ, "N": wordnet.NOUN, "V": wordnet.VERB, "R": wordnet.ADV}
    
    # 定义停用词
    local_stopwords = set(stopwords.words('english'))
    additional_stopwords = ["http", "u", "get", "like", "let", "nan"]
    words_to_keep = ["i'", " i ", "me", "my", "we", "our", "us"] # 注意:这里的"i'"可能需要进一步处理,例如 "i'm"
    local_stopwords.update(additional_stopwords)
    # 确保要保留的词不在停用词列表中
    for word in words_to_keep:
        if word in local_stopwords:
            local_stopwords.remove(word)
    

    2. 自定义词形还原函数

    这个函数负责对单个单词进行词形还原,并根据其词性进行更精确的处理。

    def lemmatize_pos_tagged_text(text, lemmatizer, post_tag_dict):
        """
        对给定的文本进行分句、小写、分词、词性标注和词形还原。
        注意:此函数期望输入为单个字符串(通常是一个句子或一个单词),
        在DataFrame的apply中,如果处理的是单词列表,需要确保每次传入的是列表中的一个单词。
        """
        # 鉴于此函数在后续处理中被应用于单个单词,其内部的分句和分词逻辑需要调整
        # 如果text已经是单个单词,则直接处理
        if not isinstance(text, str): # 确保输入是字符串
            return text # 或者报错,取决于需求
    
        # 简化为处理单个单词的逻辑
        word = text.lower() # 确保单词小写
        pos_tuples = nltk.pos_tag([word]) # 对单个单词进行词性标注
        nltk_word_pos = pos_tuples[0][1] # 获取标注结果
    
        wordnet_word_pos = post_tag_dict.get(nltk_word_pos[0].upper(), None)
        if wordnet_word_pos is not None:
            new_word = lemmatizer.lemmatize(word, wordnet_word_pos)
        else:
            new_word = lemmatizer.lemmatize(word)
        return new_word
    

    注意:原始lemmatize_pos_tagged_text函数设计为处理整个句子甚至多句文本。但在我们的DataFrame处理流程中,它最终会被应用于已经分词后的单个单词。因此,上述代码对其进行了简化,使其更适合处理单个单词的场景。

    3. 核心预处理步骤 processing_steps

    这个函数将遍历DataFrame的每一列,并依次应用各种预处理操作。关键在于,当列中的元素变为列表后,所有后续操作都需要通过列表推导式 [func(item) for item in x] 来确保函数作用于列表中的每个单词。

    def processing_steps(df):
        """
        对DataFrame中的文本列进行一系列NLP预处理操作。
    
        参数:
        df (pd.DataFrame): 包含文本数据的DataFrame。
    
        返回:
        pd.DataFrame: 经过预处理的新DataFrame。
        """
        new_data = {} # 用于存储处理结果,避免SettingWithCopyWarning
    
        for column in df.columns:
            # 1. 分词 (Tokenization)
            # 将每个字符串单元格转换为单词列表
            results = df[column].apply(word_tokenize)
    
            # 2. 小写转换 (Lowercasing)
            # 遍历每个单词列表,将每个单词转换为小写
            results = results.apply(lambda x: [word.lower() for word in x])
    
            # 3. 移除停用词和非字母字符 (Stopword Removal & Non-alphabetic Filter)
            # 遍历每个单词列表,过滤掉停用词和非字母的单词
            results = results.apply(lambda tokens: [word for word in tokens if word.isalpha() and word not in local_stopwords])
    
            # 4. 去除变音符号 (Diacritic Replacement)
            # 遍历每个单词列表,对每个单词应用unidecode
            results = results.apply(lambda x: [unidecode(word, errors="preserve") for word in x])
    
            # 5. 扩展缩写 (Expand Contractions)
            # 遍历每个单词列表,对每个单词应用contractions.fix
            # 注意:contractions.fix期望字符串,如果word本身是复合词(如"don't"),word.split()仍会返回单元素列表,
            # 但contractions.fix会正确处理。
            results = results.apply(lambda x: [contractions.fix(word) for word in x]) # 简化了原有的word.split()
    
            # 6. 移除数字 (Remove Numbers)
            # 遍历每个单词列表,对每个单词移除数字
            results = results.apply(lambda x: [re.sub(r'\d+', '', word) for word in x])
    
            # 7. 移除标点符号 (Remove Punctuation except period, then remove period if it's the only char)
            # 遍历每个单词列表,对每个单词移除标点符号 (除了句号,但如果只剩句号也移除)
            # 这里需要注意,如果一个单词只包含标点,它可能在前面被isalpha()过滤掉。
            # 这里的处理是针对可能残留的标点符号。
            results = results.apply(lambda x: [re.sub(r'[%s]' % re.escape(string.punctuation), '', word) for word in x])
            # 进一步清理可能因为移除标点而产生的空字符串
            results = results.apply(lambda x: [word for word in x if word])
    
    
            # 8. 移除多余空格 (Remove Extra Spaces)
            # 遍历每个单词列表,对每个单词移除多余空格(尽管此时单词通常不含空格)
            results = results.apply(lambda x: [re.sub(r' +', ' ', word).strip() for word in x])
            # 再次清理可能产生的空字符串
            results = results.apply(lambda x: [word for word in x if word])
    
    
            # 9. 词形还原 (Lemmatization)
            # 遍历每个单词列表,对每个单词应用自定义的词形还原函数
            results = results.apply(lambda x: [lemmatize_pos_tagged_text(word, lemmatizer, pos_tag_dict) for word in x])
    
            # 将处理后的结果存入新字典
            new_data[column] = results
    
        # 从处理后的数据创建新的DataFrame
        new_df = pd.DataFrame(new_data)
    
        return new_df
    

    4. 示例用法

    为了演示上述代码的运行,我们创建一个示例文本DataFrame:

    # 创建一个示例文本DataFrame
    data = {'title': ["Don't go to that HTTP site.", "It's a great day! 123.", "I'm happy to get this."],
            'body': ["The article was really good, I liked it. http://example.com", "Let's meet at 5 p.m. It's awesome.", "U should try it. Nan, it's not bad."]}
    df = pd.DataFrame(data)
    
    print("原始DataFrame:")
    print(df)
    
    # 执行预处理
    processed_df = processing_steps(df.copy()) # 传入副本以防修改原始df
    
    print("\n预处理后的DataFrame:")
    print(processed_df)

    输出示例:

    原始DataFrame:
                             title                                               body
    0  Don't go to that HTTP site.  The article was really good, I liked it. http:...
    1          It's a great day! 123.                  Let's meet at 5 p.m. It's awesome.
    2      I'm happy to get this.       U should try it. Nan, it's not bad.
    
    预处理后的DataFrame:
                               title                         body
    0                [do, not, go, site]  [article, really, good, like]
    1                     [great, day]             [let, meet, awesome]
    2  [i, am, happy, get, this]              [try, not, bad]

    注意事项与最佳实践

    1. 理解 apply 的机制: DataFrame.apply() 或 Series.apply() 是对每个元素进行操作。当元素是字符串时,函数接收字符串;当元素是列表时,函数接收列表。这是解决类型错误的关键。
    2. 列表推导式的重要性: 当一个Series的元素是列表时(例如,经过分词后),后续的元素级操作必须通过列表推导式 [func(item) for item in current_list] 来应用到列表中的每个子元素(单词)。
    3. 操作顺序: 预处理步骤的顺序会影响结果。通常的顺序是:
      • 标准化/清理: 小写、去除变音符号、扩展缩写、移除数字、移除标点、移除多余空格。这些操作通常在分词前或分词后逐个单词进行。
      • 分词: 将文本分解为单词或子词单元。
      • 过滤: 移除停用词、短词、非字母字符等。
      • 词形还原/词干提取: 将单词还原为基本形式。
    4. 性能考量: 某些操作(如TextBlob().correct())可能计算成本较高。在大型数据集上,应谨慎使用或考虑替代方案。在上述代码中,TextBlob被注释掉,因为它可能不适合在每个单词上单独应用,或效率不高。
    5. 避免原地修改: 在processing_steps函数中,我们创建了一个new_data字典来收集处理结果,最后构建一个新的DataFrame。这比直接修改原始DataFrame的列(如df[column] = ...)更安全,可以避免SettingWithCopyWarning。
    6. 错误处理: 在实际应用中,应考虑更健壮的错误处理机制,例如对空字符串或非字符串类型的数据进行处理。

    总结

    在Pandas DataFrame中进行NLP文本预处理时,数据类型的管理是至关重要的一环。通过清晰地理解每个预处理步骤对输入数据类型的要求,并灵活运用Pandas的apply方法结合Python的列表推导式,我们可以有效地处理字符串与列表之间的转换,从而构建一个高效且健壮的文本清洗流水线。遵循本文介绍的原则和示例代码,将有助于避免常见的类型错误,并确保文本数据为后续的NLP任务做好准备。

    本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系bd@zhengruan.com
    作者最新文章
    编程开发
    相关文章 更多
    QQ影音怎么加速播放视频课程
    QQ影音怎么加速播放视频课程

    播放时右键选播放速度,或点控制条倍速,1.25 到 1.5 倍看课最舒服;公式代码类内容别超过 1.25 倍。

    企业微信创建企业提示失败怎么办 实名与填写检查
    企业微信创建企业提示失败怎么办 实名与填写检查

    先看提示属于哪类:名称占用就加后缀,实名不一致就重填本人信息,证件不清晰就重拍。统一社会信用代码逐位核对,连续三次失败别改材料重投,直接联系客服人工核。

    Modern Web Guidance 的 legacy-scan 反转建议应该怎样判断?
    Modern Web Guidance 的 legacy-scan 反转建议应该怎样判断?

    说明源码提交对字符串、生成器和数组的识别边界,以及扫描命令与发行包核验限制。

    Codex 0.170.0 正式版的语音与连接更新,适用范围有哪些限制?
    Codex 0.170.0 正式版的语音与连接更新,适用范围有哪些限制?

    0.170.0 的语音更新限于终端通话协商能力的明确新增,同名工具服务器跨环境支持仍标注实验性质;连接部分则修复大请求回退、认证竞态和云端重连等具体问题。这份正式版公告不足以证明所有账户、所有客户端都已具备完整语音功能。

    Hy4 flash 三种权重怎么选,安装和授权要注意哪些条件?
    Hy4 flash 三种权重怎么选,安装和授权要注意哪些条件?

    了解Hy4 flash、FP8与base的适用任务,阅读官方安装及图文代码,并核对资源和MaaS许可条件。

    OpenAI Python SDK 3.55.0 升级看点:Live MCP 服务配置与预算接口变化
    OpenAI Python SDK 3.55.0 升级看点:Live MCP 服务配置与预算接口变化

    OpenAI Python SDK 3.55.0 升级看点:Live MCP 服务配置与预算接口变化。说明已核实的更新范围、类型兼容性和本地版本确认方法。

    OpenAI Java SDK 4.108.0 的两项新增能力适合哪些项目?
    OpenAI Java SDK 4.108.0 的两项新增能力适合哪些项目?

    OpenAI Java SDK 4.108.0 面向 Live MCP 工具接入与 Managed Agents 预算状态处理,说明新增模型、事件含义、正式发布范围和适用限制。

    Free Claude Code 6.19.37 如何兼顾网页搜索与普通工具调用?
    Free Claude Code 6.19.37 如何兼顾网页搜索与普通工具调用?

    Free Claude Code 6.19.37 在自动搜索时保留客户端工具及选择条件,代理执行搜索后仍返回普通调用。说明适用场景、历史信息保留、请求约束与第三方项目的版本边界。

    Google GenAI Go SDK 1.78.0 的 v1beta 配置优先级怎样判断?
    Google GenAI Go SDK 1.78.0 的 v1beta 配置优先级怎样判断?

    Google GenAI Go SDK 1.78.0 将 Gemini Developer API 默认改为 v1,可用 HTTPOptions.APIVersion 或环境变量保留 v1beta,Vertex AI 默认值不变。

    Google GenAI SDK 3.5.0实时交互值得哪些项目升级评估?
    Google GenAI SDK 3.5.0实时交互值得哪些项目升级评估?

    解释实验性实时支持、环境检查与生产评估中需要验证的条件。

    查看更多
    精品专题 更多
    装机必备
    装机必备

    正软商城装机必备专区,精选办公、浏览器、安全防护、影音播放、压缩解压、设计创作和系统工具等电脑常用正版软件,帮助用户快速完成新电脑软件配置。

    Windows
    Windows

    正软商城Windows软件专区,汇集适用于Windows电脑的办公、设计、安全防护、影音播放、开发工具和系统优化软件,提供软件介绍、系统要求、正版授权及购买下载服务。

    PDF教程
    PDF教程

    正软商城PDF教程频道提供PDF编辑、转换、合并、拆分、压缩及格式处理方法,同时介绍常用PDF软件和工具的使用技巧。

    Mac软件 更多
    讯飞智作 网页版
    讯飞智作 网页版
    Windows/ macOS/ Linux

    讯飞智作是一款基于语音合成技术、虚拟人驱动技术与数字人形象声音构建能力的 AI 数字人音视频创作平台。

    火山引擎 网页版
    火山引擎 网页版
    Windows/ macOS/ Linux

    火山引擎是字节跳动旗下企业级云与AI服务平台。聚焦大模型核心能力,依托字节自研豆包多模态大模型,凭借火山方舟一站式平台,提供模型精调、推理部署、智能应用搭建等全链路服务,结合高性能AI算力,助力各行业快速落地大模型数字化与智能化应用。

    Aperty macOS版
    Aperty macOS版
    macOS

    Aperty 是 Skylum 推出的 AI 人像修图软件,支持自然肤质修饰、瑕疵处理、面部与身体调整、预设及批量同步。

    WINDOWS 更多
    讯飞智作 网页版
    讯飞智作 网页版
    Windows/ macOS/ Linux

    讯飞智作是一款基于语音合成技术、虚拟人驱动技术与数字人形象声音构建能力的 AI 数字人音视频创作平台。

    火山引擎 网页版
    火山引擎 网页版
    Windows/ macOS/ Linux

    火山引擎是字节跳动旗下企业级云与AI服务平台。聚焦大模型核心能力,依托字节自研豆包多模态大模型,凭借火山方舟一站式平台,提供模型精调、推理部署、智能应用搭建等全链路服务,结合高性能AI算力,助力各行业快速落地大模型数字化与智能化应用。

    PixTV 网页版
    PixTV 网页版
    Windows

    PixTV 是一款在浏览器中使用的 AI 视觉内容创作平台,提供图片、视频、音频、文字生成、AI 分镜、局部重绘、提示词反推和无限画布等工具,适合短剧、漫剧、广告及社交媒体内容制作。