AWS Lambda 使用 SQLAlchemy 连接 Redshift 报错解决

本文旨在解决在使用 AWS Lambda 和 SQLAlchemy 连接 Redshift 数据库时，遇到的 "AttributeError: module 'sqlalchemy.util' has no attribute 'text_type'" 错误。该错误通常是由于 sqlalchemy_redshift 和 sqlalchemy 之间的版本不兼容导致的。通过了解依赖关系和正确安装依赖，可以有效解决此问题。

问题分析

当你在 AWS Lambda 函数中使用 SQLAlchemy 连接 Redshift，并遇到以下错误时：

[ERROR] AttributeError: module 'sqlalchemy.util' has no attribute 'text_type'
>>Traceback (most recent call last):
...
File "/opt/python/sqlalchemy_redshift/dialect.py", line 1373, in on_connect
    conn.py_types[quoted_name] = conn.py_types[util.text_type]

这通常表明 sqlalchemy_redshift 依赖的 sqlalchemy 版本与你实际安装的版本不兼容。sqlalchemy_redshift 通常依赖于特定版本的 sqlalchemy，而显式安装一个不兼容的版本会导致此错误。

解决方案

解决此问题的关键在于理解 sqlalchemy_redshift 的依赖关系，并避免手动安装 sqlalchemy。

正确安装依赖

你应该只安装 sqlalchemy_redshift 包，而让它自动安装兼容的 sqlalchemy 版本作为依赖。在你的 Lambda 函数的部署包中，确保只包含 sqlalchemy_redshift，而不要显式包含 sqlalchemy。

例如，如果使用 pip 进行依赖管理，你的 requirements.txt 文件应该只包含：

sqlalchemy_redshift
redshift_connector
pandas

然后，运行 pip install -r requirements.txt -t . 将依赖安装到你的 Lambda 函数的部署包中。

检查已安装的 SQLAlchemy 版本

如果问题仍然存在，请检查你的 Lambda 函数环境中实际安装的 sqlalchemy 版本。你可以通过以下代码在 Lambda 函数中打印版本信息：

import sqlalchemy

def lambda_handler(event, context):
    print(f"SQLAlchemy version: {sqlalchemy.__version__}")
    # ... 你的其他代码

然后查看 Lambda 函数的日志输出，确认 sqlalchemy 的版本是否与 sqlalchemy_redshift 兼容。通常，sqlalchemy_redshift 会指定一个较低版本的 sqlalchemy 作为依赖。

示例代码

以下是一个使用 sqlalchemy 和 redshift_connector 连接 Redshift 的示例代码：

import pandas as pd
import sqlalchemy as sq
import os

def lambda_handler(event, context):
    redshift_endpoint = os.environ['REDSHIFT_ENDPOINT']
    redshift_db_user = os.environ['REDSHIFT_DB_USER']
    redshift_db_password = os.environ['REDSHIFT_DB_PASSWORD']

    url = sq.engine.url.URL.create(
        drivername='redshift+redshift_connector',
        host=redshift_endpoint,
        port=5439,
        database='dev',
        username=redshift_db_user,
        password=redshift_db_password
    )

    print('Connection URL is', url)

    engine = sq.create_engine(url)
    try:
        cnn = engine.connect()
        print("Connection successful!")
        # 在这里执行你的数据库操作
        cnn.close() # 关闭连接
    except Exception as e:
        print(f"Connection failed: {e}")

    return {
        'statusCode': 200,
        'body': 'Function executed successfully!'
    }

注意事项

• 确保你的 AWS Lambda 函数具有访问 Redshift 集群的权限。
• 在 Lambda 函数的环境变量中配置 Redshift 连接所需的参数，例如主机名、端口、数据库名称、用户名和密码。
• 及时更新你的依赖包，以获得最新的安全修复和性能改进。

总结

解决 "AttributeError: module 'sqlalchemy.util' has no attribute 'text_type'" 错误的关键在于确保 sqlalchemy_redshift 和 sqlalchemy 之间的版本兼容性。通常，避免显式安装 sqlalchemy，而是让 sqlalchemy_redshift 自动安装其依赖项，可以有效解决此问题。如果问题仍然存在，请检查已安装的 sqlalchemy 版本，并确保其与 sqlalchemy_redshift 兼容。通过遵循这些步骤，你应该能够成功地在 AWS Lambda 函数中使用 SQLAlchemy 连接 Redshift 数据库。