Airflow 固定执行日期为当日零点方法

在 Airflow 中，可通过自定义 Jinja 宏将 execution_date 转换为指定时区（如 Europe/Amsterdam）的当日零点时间戳（格式：YYYYMMDDT00:00:00），确保任务无论何时触发，时间标记始终一致。

在 Airflow 中，可通过自定义 Jinja 宏将 execution_date 转换为指定时区（如 Europe/Amsterdam）的当日零点时间戳（格式：YYYYMMDDT00:00:00），确保任务无论何时触发，时间标记始终一致。

Airflow 默认的 execution_date 是 UTC 时区的 pendulum.DateTime 对象。若需按本地业务时区（例如荷兰阿姆斯特丹）对齐每日调度边界，并将时间统一归零（即取当日 00:00:00），不能仅靠字符串拼接或简单时区转换——必须先完成时区切换，再调用 start_of('day') 获取该时区下的自然日起点。

推荐做法是定义一个自定义宏函数，并注册到 DAG 的 user_defined_macros 中。该函数接收 execution_date，执行三步操作：

1. 将其转换至目标时区（如 'Europe/Amsterdam'）；
2. 调用 .start_of('day') 截断时间为当日 00:00:00（注意：此操作必须在目标时区内进行，否则跨时区“归零”会出错）；
3. 使用 format('YYYYMMDDT00:00:00') 输出标准字符串（Pendulum 格式中 YYYY 表示四位年份，MM/DD 为补零月份与日期，T 为 ISO 分隔符）。

以下是完整实现示例：

from airflow import DAG
from airflow.operators.python import PythonOperator
from pendulum import DateTime

def format_execution_date(execution_date: DateTime) -> str:
    amsterdam_time = execution_date.in_timezone('Europe/Amsterdam')
    midnight_amsterdam_time = amsterdam_time.start_of('day')
    return midnight_amsterdam_time.format('YYYYMMDDT00:00:00')

with DAG(
    'daily_midnight_marker_dag',
    schedule_interval='0 3 * * *',  # 每日 03:00 UTC（即阿姆斯特丹 04:00）
    start_date=DateTime(2024, 1, 1),
    catchup=True,
    user_defined_macros={'format_execution_date': format_execution_date},
) as dag:

    def print_time_marker(**context):
        time_marker = context['params']['time_marker']
        print(f"Resolved time_marker: {time_marker}")

    task = PythonOperator(
        task_id='log_time_marker',
        python_callable=print_time_marker,
        params={
            'time_marker': '{{ format_execution_date(execution_date) }}'
        }
    )

✅ 关键注意事项：

• execution_date 在 Jinja 模板中是可直接传入宏的上下文变量，无需额外解析；
• 切勿使用 pendulum.parse() 手动构造时间——它无法正确处理时区夏令时（DST）偏移；
• 若 DAG 启用 catchup=True，历史回填任务将基于每个 execution_date 独立计算对应时区的零点，结果天然准确；
• 输出格式中的 T00:00:00 是硬编码写法（因 start_of('day') 已保证时间为 00:00:00），也可改用 'YYYYMMDDTHH:mm:ss' 动态格式化，但前者更简洁明确。

通过该方式，无论任务在阿姆斯特丹时间当天的 04:00、12:00 还是 23:59 触发，time_marker 始终稳定输出类似 20240115T00:00:00 的标识，为下游数据分区、文件命名或外部系统对接提供强一致性时间基准。