Flask 自动刷新 CSV 数据教程

本文将介绍如何在 Flask 应用中实现定时刷新 CSV 数据的功能。通过使用 Python 的定时任务库，例如 APScheduler，可以创建一个独立的进程来定期抓取和更新 CSV 文件，而 Flask 应用则专注于读取最新的 CSV 数据。本文将重点介绍如何使用 APScheduler 实现这一功能，并讨论文件锁定的问题，以确保数据的一致性。

使用 APScheduler 实现定时任务

APScheduler 是一个强大的 Python 库，用于调度各种类型的任务。它可以让你轻松地在 Flask 应用中添加定时任务，例如定期刷新 CSV 文件。

安装 APScheduler:

首先，需要安装 APScheduler 库。可以使用 pip 命令进行安装：

pip install APScheduler

创建定时任务:

接下来，需要在 Flask 应用中创建一个定时任务。以下是一个示例，展示如何使用 APScheduler 定时更新 CSV 文件：

from flask import Flask
from apscheduler.schedulers.background import BackgroundScheduler
import time
import pandas as pd

def update_csv():
    """
    这个函数负责抓取数据并更新 CSV 文件。
    你需要在这里实现你的数据抓取逻辑。
    """
    print("Updating CSV file...")
    # 模拟数据抓取和 CSV 文件更新
    data = {'col1': [1, 2], 'col2': [3, 4]}
    df = pd.DataFrame(data)
    df.to_csv('data.csv', index=False) # 将数据保存到 CSV 文件
    print("CSV file updated.")

def create_app():
    app = Flask(__name__)
    app.config['SECRET_KEY'] = "abcjzllkk"

    # 创建调度器
    scheduler = BackgroundScheduler()
    # 添加定时任务，每 10 分钟执行一次 update_csv 函数
    scheduler.add_job(update_csv, 'interval', minutes=10)
    # 启动调度器
    scheduler.start()

    from .views import views
    from .auth import auth

    app.register_blueprint(views, url_prefix="/")
    app.register_blueprint(auth, url_prefix="/")

    return app

if __name__ == '__main__':
    app = create_app()
    app.run(debug=True)

代码解释:

1. 导入必要的库: 导入 Flask 和 APScheduler 的相关模块。
2. update_csv() 函数: 这个函数包含实际的数据抓取和 CSV 文件更新逻辑。你需要根据你的具体需求修改这个函数，替换模拟的数据抓取部分。这里使用了 pandas 库将数据保存为 CSV 文件。
3. 创建调度器: 使用 BackgroundScheduler 创建一个后台调度器。
4. 添加定时任务: 使用 scheduler.add_job() 添加一个定时任务，指定 update_csv 函数每 10 分钟执行一次。'interval' 表示任务类型为间隔执行，minutes=10 指定间隔时间为 10 分钟。
5. 启动调度器: 使用 scheduler.start() 启动调度器。

注意事项:

• 确保 update_csv() 函数中的数据抓取和 CSV 文件更新逻辑是线程安全的。
• 在生产环境中，建议使用更健壮的调度器，例如 Celery，它可以处理更复杂的任务调度需求。

文件锁定

当多个进程同时访问同一个文件时，可能会出现数据竞争的情况。为了避免这种情况，可以使用文件锁定机制。

使用 fcntl 模块进行文件锁定:

import fcntl

def update_csv():
    """
    更新 CSV 文件，并使用文件锁定机制。
    """
    print("Updating CSV file...")
    try:
        with open('data.csv', 'w') as f:
            # 获取文件锁
            fcntl.flock(f.fileno(), fcntl.LOCK_EX)
            # 模拟数据抓取和 CSV 文件更新
            data = {'col1': [1, 2], 'col2': [3, 4]}
            df = pd.DataFrame(data)
            df.to_csv(f, index=False)
            # 释放文件锁
            fcntl.flock(f.fileno(), fcntl.LOCK_UN)
            print("CSV file updated.")
    except Exception as e:
        print(f"Error updating CSV: {e}")
    finally:
        if 'f' in locals() and not f.closed:
            # 确保文件锁被释放
            fcntl.flock(f.fileno(), fcntl.LOCK_UN)
            f.close()

代码解释:

1. 导入 fcntl 模块: 导入用于文件锁定的模块。
2. 获取文件锁: 使用 fcntl.flock(f.fileno(), fcntl.LOCK_EX) 获取独占锁。这将阻止其他进程在当前进程释放锁之前访问该文件。
3. 释放文件锁: 使用 fcntl.flock(f.fileno(), fcntl.LOCK_UN) 释放文件锁。
4. 异常处理: 使用 try...except...finally 块来确保即使发生异常，文件锁也能被正确释放。

注意事项:

• fcntl 模块在 Windows 平台上不可用。如果需要在 Windows 平台上使用文件锁定，可以考虑使用 msvcrt 模块。
• 文件锁定会降低程序的性能，因此只在必要时才使用。

总结

通过使用 APScheduler 或 Celery 等定时任务库，可以轻松地在 Flask 应用中实现定时刷新 CSV 数据的功能。为了确保数据的一致性，可以使用文件锁定机制来避免数据竞争。根据你的具体需求和应用场景，选择合适的定时任务库和文件锁定机制。在低流量的网站上，简单地重试可能比实现复杂的文件锁定机制更有效。