如何使用数据库游标描述信息初始化 Polars DataFrame

告别低效中转：一步到位，用 psycopg2 游标数据构建 Polars DataFrame

直接从数据库查询结果构建数据分析框架，是数据工作流中的常见环节。然而，一个不经意的习惯——先将数据读入 Pandas，再转换为 Polars——可能会在不经意间拖慢整个流程。其实，Polars 本身就提供了极为高效的原生方法，让你能利用 psycopg2 游标获取的列名和行数据，一步到位生成 DataFrame，彻底绕开不必要的性能损耗。

核心原理：善用 `schema` 参数

关键在于正确理解 Polars 的 `DataFrame` 构造函数。它的 `schema` 参数能力强大，远不止于定义数据类型。当你传入一个列名列表时，Polars 不仅会将其作为列名，还会自动为每一列推断最合适的数据类型（如整数、字符串、布尔值、浮点数等），整个过程智能且高效，完全无需手动指定。

完整实践：从游标到 DataFrame

以下示例延续了你已有的 psycopg2 连接逻辑，展示了如何无缝衔接：

import polars as pl
import psycopg2

# 建立数据库连接（保持原有配置）
rds_conn = psycopg2.connect(
    host=config.RDS_HOST_NAME,
    database=config.RDS_DB_NAME,
    user=config.RDS_DB_USER,
    password=config.RDS_DB_PASSWORD,
    port=config.RDS_PORT
)
cur = rds_conn.cursor()
cur.execute(sql_query)

# 提取列名：从 cursor.description[0] 获取每个字段的名称
names = [x[0] for x in cur.description]
rows = cur.fetchall()
cur.close()
rds_conn.close()  # 推荐及时关闭连接

# ✅ 正确方式：将列名列表直接传入 schema 参数
df = pl.DataFrame(rows, schema=names)

⚠️ 几个关键点需要留意：

• 在 pl.DataFrame(rows, schema=names) 中，rows 必须是行优先结构（即 list[list] 或 list[tuple]），其中每个子项代表一行数据。Polars 会按照你提供的列名顺序，逐列映射并完成类型推断。
• 别用 with_columns() 或 rename() 这类后置方法来尝试定义列名——它们适用于对已有 DataFrame 的列进行操作，无法替代初始化时的 schema 定义。
• 如果需要对数据类型进行显式控制（例如，强制某一列为 pl.Utf8 字符串类型或 pl.Int32 整数类型），可以传入一个 schema 字典：schema={"col_a": pl.Utf8, "col_b": pl.Int32}。
• 面对超大规模数据集时，更推荐使用 Polars（≥ 0.20.0 版本）的 pl.read_database() 函数进行流式读取。它的性能更优，并且能自动处理 schema 问题：

  df = pl.read_database(sql_query, connection=rds_conn)
  

总结

总而言之，迁移到 Polars 以享受其卓越的内存效率和并行计算优势，成本可以非常低。很多时候，你只需要把熟悉的 pd.DataFrame(rows, columns=names) 替换成 pl.DataFrame(rows, schema=names)，就能直接完成转换，让数据处理流程变得更加流畅高效。