当前位置:

首页 > 编程开发 > Python中yield如何工作?生成器底层揭秘

Python中yield如何工作?生成器底层揭秘

yield关键词使函数变为生成器,返回生成器对象而非立即执行;2.每次调用next()时从上次暂停处恢复执行并记住局部变量和指令位置;3.Python通过PyGenObject和PyFrameObject在C层保存/恢复状态实现暂停与恢复;4.yieldfrom委托子生成器,自动转发next/send/throw/close并捕获返回值,简化协作。这使得生成器具备记忆能力、低内存开销及高效协同特性,远超普通函数的一次性执行模式。

本文目录

    yield 关键词使函数变为生成器,返回生成器对象而非立即执行;2. 每次调用next()时从上次暂停处恢复执行并记住局部变量和指令位置;3. Python通过PyGenObject和PyFrameObject在C层保存/恢复状态实现暂停与恢复;4. yield from委托子生成器,自动转发next/send/throw/close并捕获返回值,简化协作。这使得生成器具备记忆能力、低内存开销及高效协同特性,远超普通函数的一次性执行模式。

    Python源码中yield关键词是如何工作的 探索生成器的底层实现

    yield 关键词在 Python 源码层面,实际上是将一个普通的函数“变身”为一个可以暂停和恢复执行的特殊迭代器——也就是我们常说的生成器。它工作的核心机制在于,当函数体中出现 yield 语句时,Python 解释器并不会立即执行整个函数,而是返回一个生成器对象。每当你对这个生成器对象调用 next() 方法时,函数会从上次 yield 暂停的地方继续执行,直到遇到下一个 yield 语句,再次暂停并“吐出”一个值。这种暂停-恢复的能力,是 Python 在 C 语言层面巧妙地保存和恢复函数执行状态(包括局部变量、指令指针、甚至整个栈帧上下文)的结果。

    Python源码中yield关键词是如何工作的 探索生成器的底层实现

    生成器在底层,说白了,就是 Python 提供的一种高效、内存友好的迭代方式。它不像列表那样一次性把所有数据都加载到内存里,而是按需生成数据。这对于处理大量数据流、无限序列或者需要进行复杂计算但又不想一次性占用太多资源的情况,简直是神来之笔。

    生成器与普通函数有何本质区别?

    在我看来,生成器和普通函数最根本的区别在于它们的“生命周期”和“记忆能力”。普通函数一旦执行完毕,它的所有局部变量、执行上下文就都销毁了,下次再调用,一切从头开始。这就像你走进一个房间,做完一件事就出来了,下次再进去,你还得从门口开始。

    Python源码中yield关键词是如何工作的 探索生成器的底层实现

    但生成器不一样。当一个包含 yield 的函数被调用时,它不会立即执行函数体,而是返回一个生成器对象。这个对象,你可以把它想象成一个“被冻结的函数执行现场”。每次你对它调用 next()(或者通过 for 循环隐式调用),它就像被“解冻”了一样,从上次 yield 暂停的地方继续执行。更厉害的是,它不仅能记住自己停在了哪里(指令指针),还能记住所有局部变量的当前值。这就像你走进房间,做到一半被叫出去了,但你把所有工具和做到一半的活儿都留在原地,下次回来可以直接从上次离开的地方继续。这种“记忆”和“暂停/恢复”的能力,是普通函数所不具备的,也是 yield 魔法的核心。

    从内存角度看,普通函数往往需要一次性计算并返回所有结果(比如一个大列表),这可能导致内存爆炸。生成器则不然,它每次只生成一个值,用完就丢,极大地降低了内存占用,尤其适合处理无限序列或海量数据。

    Python源码中yield关键词是如何工作的 探索生成器的底层实现

    Python解释器如何管理生成器的内部状态?

    要理解 Python 解释器是如何管理生成器内部状态的,我们需要稍微深入到 CPython 的实现细节。这背后主要涉及两个关键的 C 结构体:PyGenObject 和 PyFrameObject。

    当你调用一个生成器函数时,Python 解释器并不会执行函数体内的代码,而是立即创建一个 PyGenObject 实例。这个 PyGenObject 内部有一个非常重要的字段,通常是一个指向 PyFrameObject 的指针。PyFrameObject 就是 Python 运行时用来表示一个函数调用栈帧的结构,它包含了函数的所有运行时信息,比如局部变量、参数、代码对象、以及最重要的——当前执行到的字节码指令位置(通常由 f_lasti 字段表示)。

    初次创建 PyGenObject 时,它内部的 PyFrameObject 只是一个骨架,还没有真正被激活执行。当第一次调用生成器的 next() 方法时,解释器会激活这个 PyFrameObject,将其推入 C 语言的调用栈,然后开始执行生成器函数体内的字节码。

    执行过程中,一旦遇到 yield 语句,解释器会做几件事:

    1. 它会记录下当前 PyFrameObject 的执行状态,特别是 f_lasti(下一条要执行的指令的偏移量)以及所有局部变量的当前值。
    2. 然后,它会将这个 PyFrameObject 从 C 语言的调用栈中“弹出”,但并不会销毁它,而是将其继续保留在 PyGenObject 内部。
    3. 最后,它会将 yield 后面的值作为 next() 方法的返回值抛出。

    当再次调用 next() 时,解释器会从 PyGenObject 中取出之前保存的 PyFrameObject,根据 f_lasti 记录的偏移量,直接跳转到上次暂停的地方,并恢复所有局部变量的值,然后继续执行。这个过程会一直重复,直到生成器函数执行完毕(或者遇到一个不带值的 return 语句),这时解释器会抛出 StopIteration 异常,表示迭代结束。

    这种设计非常巧妙,它利用了现有的栈帧机制,但又通过 PyGenObject 实现了栈帧的“冻结”和“解冻”,从而实现了函数的暂停和恢复。

    yield from 语句如何提升生成器协同工作的效率?

    yield from 语句,在我看来,是 Python 3.3 引入的一个语法糖,但它远不止是糖那么简单,它为生成器之间的协作提供了一种优雅而强大的机制。它主要用于委托子生成器,将迭代器的大部分操作(next()、send()、throw()、close())直接转发给子生成器处理,直到子生成器耗尽或返回一个值。

    在 yield from 出现之前,如果你想在一个生成器里迭代另一个生成器,你可能需要写这样的代码:

    def sub_generator():
        yield 1
        yield 2
        return "Sub done" # 返回值在老方法中很难直接获取
    
    def main_generator_old():
        for value in sub_generator():
            yield value
        # 如何获取 sub_generator 的返回值?需要额外的try-except StopIteration逻辑

    这不仅代码冗余,而且更重要的是,子生成器的返回值(通过 return 语句返回的值)在外部是很难直接获取的,你必须捕获 StopIteration 异常才能拿到。此外,send()、throw()、close() 等方法也需要手动转发,非常麻烦。

    yield from 彻底改变了这一切。它提供了一种透明的委托机制:

    def sub_generator():
        yield 1
        yield 2
        return "Sub done" # 这个返回值会被 yield from 捕获
    
    def main_generator_new():
        result = yield from sub_generator() # 直接委托给 sub_generator
        print(f"Sub generator finished with: {result}")
        yield 3
    
    gen = main_generator_new()
    print(next(gen)) # 输出 1
    print(next(gen)) # 输出 2
    print(next(gen)) # 输出 "Sub generator finished with: Sub done",然后输出 3

    yield from 的核心在于它建立了一个双向通道:

    1. 数据流向: 子生成器 yield 出来的值,会直接传递给委托生成器的调用者。
    2. 控制流向: 委托生成器的调用者通过 next()、send()、throw()、close() 等方法发送给委托生成器的值或异常,会直接转发给子生成器。
    3. 返回值捕获: 当子生成器通过 return 语句返回一个值时,这个值会被 yield from 表达式捕获,成为 yield from 表达式的求值结果。

    这种直接委托机制,极大地简化了复杂生成器链的编写,使得代码更加清晰、易读。它不仅解决了返回值的问题,还自动处理了 StopIteration 异常的传播,以及 send() 和 throw() 方法的转发,让多个生成器之间的协同工作变得如同调用普通函数一样自然。这在异步编程(如 asyncio 中的 async/await,它们在底层就大量依赖 yield from 的机制)中尤为关键,因为它为协程的嵌套和组合提供了坚实的基础。

    本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系bd@zhengruan.com
    作者最新文章
    编程开发 Python Python编程
    相关文章 更多
    python删除一个列表里的重复元素的方法与代码示例
    python删除一个列表里的重复元素的方法与代码示例

    学习如何使用Python高效删除列表中的重复元素。本文提供5种常见方法的代码示例,涵盖保持顺序与不保持顺序的场景,适合初学者和进阶开发者参考。

    Python写接口的步骤及完整代码示例
    Python写接口的步骤及完整代码示例

    详细讲解使用Python编写Web接口的核心步骤与完整代码示例,涵盖环境准备、路由定义、数据校验、服务启动及调试测试方法。

    codex怎么读取word文档及docx文件操作教程
    codex怎么读取word文档及docx文件操作教程

    介绍如何利用编程工具读取和解析Word文档(docx格式),涵盖基础文本提取代码示例、结构化数据处理逻辑,以及处理复杂排版时的技术局限与替代方案。

    怎么在Python中调用C语言代码提升性能
    怎么在Python中调用C语言代码提升性能

    详细讲解在Python中调用C语言代码提升性能的完整实践指南,包含原理分析、编译步骤、ctypes与CFFI具体实现、性能对比及常见陷阱。

    Python与C语言的性能差异及底层原理
    Python与C语言的性能差异及底层原理

    深入解析Python与C语言在执行效率上的数量级差异,从编译机制、变量内存布局、动态类型推断到GIL锁,系统阐明底层核心原理。

    Python和C语言哪个更适合编程入门
    Python和C语言哪个更适合编程入门

    客观对比Python与C语言在心智负担、底层机制与学习反馈上的核心差异,提供清晰有据的选择标准与切实的入门学习路径。

    selenium上传文件教程本地文件路径设置方法
    selenium上传文件教程本地文件路径设置方法

    深入解析Selenium处理文件上传的技术细节,涵盖标准HTML控件的路径直接注入法与非标准控件的系统级模拟方案,提供Windows与Linux环境下的路径设置最佳实践及常见异常排查。

    大数据开发语言选型:Java对比Scala与Python的优缺点及适用场景
    大数据开发语言选型:Java对比Scala与Python的优缺点及适用场景

    针对大数据工程场景,系统对比Java、Scala与Python在执行性能、生态结合、开发效率和维护成本上的核心差异,给出清晰的架构选型依据与落地方案。

    langgraph python guide中文入门教程详解
    langgraph python guide中文入门教程详解

    本篇LangGraph Python中文入门教程详解,系统梳理StateGraph状态机定义、节点编写、边与条件路由、检查点持久化(MemorySaver)等核心机制,提供从环境安装到完整循环智能体构建的代码示例与实操指导。

    Windows 安装 Python:从官方入口到虚拟环境的可复现实践
    Windows 安装 Python:从官方入口到虚拟环境的可复现实践

    面向后端开发者,基于 Python 官方文档说明如何在 Windows 上安装 Python、创建 venv 虚拟环境及使用 pip 管理依赖。包含可复制命令、验证方法及工具选择边界,避免常见配置误区。

    查看更多
    精品专题 更多
    装机必备
    装机必备

    正软商城装机必备专区,精选办公、浏览器、安全防护、影音播放、压缩解压、设计创作和系统工具等电脑常用正版软件,帮助用户快速完成新电脑软件配置。

    Windows
    Windows

    正软商城Windows软件专区,汇集适用于Windows电脑的办公、设计、安全防护、影音播放、开发工具和系统优化软件,提供软件介绍、系统要求、正版授权及购买下载服务。

    PDF教程
    PDF教程

    正软商城PDF教程频道提供PDF编辑、转换、合并、拆分、压缩及格式处理方法,同时介绍常用PDF软件和工具的使用技巧。

    Mac软件 更多
    讯飞智作 网页版
    讯飞智作 网页版
    Windows/ macOS/ Linux

    讯飞智作是一款基于语音合成技术、虚拟人驱动技术与数字人形象声音构建能力的 AI 数字人音视频创作平台。

    火山引擎 网页版
    火山引擎 网页版
    Windows/ macOS/ Linux

    火山引擎是字节跳动旗下企业级云与AI服务平台。聚焦大模型核心能力,依托字节自研豆包多模态大模型,凭借火山方舟一站式平台,提供模型精调、推理部署、智能应用搭建等全链路服务,结合高性能AI算力,助力各行业快速落地大模型数字化与智能化应用。

    Aperty macOS版
    Aperty macOS版
    macOS

    Aperty 是 Skylum 推出的 AI 人像修图软件,支持自然肤质修饰、瑕疵处理、面部与身体调整、预设及批量同步。

    WINDOWS 更多
    讯飞智作 网页版
    讯飞智作 网页版
    Windows/ macOS/ Linux

    讯飞智作是一款基于语音合成技术、虚拟人驱动技术与数字人形象声音构建能力的 AI 数字人音视频创作平台。

    火山引擎 网页版
    火山引擎 网页版
    Windows/ macOS/ Linux

    火山引擎是字节跳动旗下企业级云与AI服务平台。聚焦大模型核心能力,依托字节自研豆包多模态大模型,凭借火山方舟一站式平台,提供模型精调、推理部署、智能应用搭建等全链路服务,结合高性能AI算力,助力各行业快速落地大模型数字化与智能化应用。

    PixTV 网页版
    PixTV 网页版
    Windows

    PixTV 是一款在浏览器中使用的 AI 视觉内容创作平台,提供图片、视频、音频、文字生成、AI 分镜、局部重绘、提示词反推和无限画布等工具,适合短剧、漫剧、广告及社交媒体内容制作。