调度参数

语法速查：
  ${yyyyMMdd}         → 实例数据时间（推荐用于分区值）
  $(yyyyMMdd)         → 计划调度时间（推荐用于海外时区场景）
  $[yyyyMMdd]         → 实例执行时间（适用于日志/审计）

偏移速查：
  ${yyyyMMdd-1d}      → 前 1 天
  ${yyyyMMdd+3M}      → 后 3 个月
  ${yyyyMMdd+2w}      → 后 2 周
  ${yyyyMMddHHmmss-2H}→ 前 2 小时

特殊偏移速查：
  ${yyyyMMdd+ME}      → 当月月末
  ${yyyyMMdd+MS}      → 当月月初
  ${yyyyMMdd+PME}     → 上月月末
  ${yyyyMMdd+YE}      → 当年年末

时区速查：
  ${UTC+0_yyyyMMdd}   → UTC+0 时区
  ${UTC+7_yyyyMMdd}   → UTC+7 时区
  不加时区前缀          → 默认 UTC+8

参数语法：
  实例数据时间: ${[UTC+N_]<format>[±N<unit>][+<special>]}
  计划调度时间: $([UTC+N_]<format>[±N<unit>][+<special>])
  实例执行时间: $[[UTC+N_]<format>[±N<unit>][+<special>]]

其中：
  [UTC+N_]  可选，时区前缀，N 为整数，默认 UTC+8
  <format>  yyyy, MM, dd, HH, mm, ss 及其自由组合（支持分隔符）
  [±N<unit>] 可选，偏移量
    <unit>  y(年), M(月), w(周), d(天), H(小时), m(分钟)
  [+<special>] 可选，特殊偏移标识
    TE, ME, QE, HYE, YE, TS, MS, HYS, YS, PME, PYE

-- 天任务，2026-03-22 执行，写入 dt='20260321' 分区
INSERT OVERWRITE TABLE dw.user_daily PARTITION(dt='${yyyyMMdd-1d}')
SELECT * FROM ods.user_log
WHERE dt = '${yyyyMMdd-1d}';

-- 天任务，2026-03-22 执行
-- ${yyyy-MM-dd} 解析为 '2026-03-22'
SELECT ${yyyy-MM-dd} AS p_date, user_id, action
FROM ods.user_events
WHERE dt = '${yyyyMMdd}';

-- 每月 1 号跑任务，统计上月全月数据
-- ${yyyyMMdd+PME} → 上月月末, ${yyyyMMdd+MS} → 当月月初（用于定位上月范围）
SELECT COUNT(*) AS order_cnt
FROM dw.order_detail
WHERE dt >= '${yyyyMMdd+PME}' AND dt < '${yyyyMMdd+MS}';

#!/bin/bash
# 时间参数在 Shell 中作为变量注入
echo "Processing data for date: ${yyyyMMdd}"
hdfs dfs -ls /data/warehouse/dt=${yyyyMMdd-1d}/

# 调度系统会在运行前将参数替换为实际值
data_date = "${yyyyMMdd-1d}"
df = spark.sql(f"SELECT * FROM ods.events WHERE dt = '{data_date}'")
df.write.mode("overwrite").saveAsTable(f"dw.events_daily")

SELECT
  '${projectIdent}'  AS project_ident,
  '${workflowName}'  AS workflow_name,
  '${taskName}'      AS task_name,
  '${taskId}'        AS task_id,
  '${taskInCharge}'  AS task_in_charge,
  '${taskType}'      AS task_type,
  user_id
FROM wedata_demo_db.user_info
LIMIT 10;

--name ${projectIdent}-${workflowName}-${taskInCharge}

spark.app.name=${projectIdent}-${workflowName}-${taskInCharge}