Apache airflow运行的进程太多

在使用 Apache Airflow 时，如果发现运行的进程太多，可能会导致系统资源耗尽，影响任务的执行效率和稳定性。以下是一些常见的原因和解决方法，帮助你优化和管理 Airflow 的进程数量。

1. 调整并发设置

Airflow 有多个配置参数可以控制并发性和资源使用。你可以在 airflow.cfg 文件中调整这些参数。

1.1. parallelism

parallelism 参数控制整个 Airflow 系统中可以同时运行的任务数量。

[core]
parallelism = 32  # 根据你的系统资源调整

1.2. dag_concurrency

dag_concurrency 参数控制每个 DAG 可以同时运行的任务数量。

[core]
dag_concurrency = 16  # 根据你的需求调整

1.3. max_active_runs_per_dag

max_active_runs_per_dag 参数控制每个 DAG 可以同时运行的实例数量。

[core]
max_active_runs_per_dag = 1  # 根据你的需求调整

1.4. worker_concurrency

worker_concurrency 参数控制每个 Celery worker 可以同时运行的任务数量（如果你使用 CeleryExecutor）。

[celery]
worker_concurrency = 16  # 根据你的系统资源调整

2. 使用资源池（Pools）

Airflow 的资源池（Pools）功能允许你限制特定任务或任务组的并发性。你可以在 Airflow Web UI 中创建和管理资源池。

2.1. 创建资源池

在 Airflow Web UI 中，导航到 "Admin" -> "Pools"，然后创建一个新的资源池。

2.2. 分配任务到资源池

在 DAG 文件中，将任务分配到特定的资源池。

from airflow import DAG
from airflow.operators.dummy_operator import DummyOperator
from datetime import datetime

default_args = {
    'owner': 'airflow',
    'start_date': datetime(2023, 1, 1),
}

dag = DAG('example_dag', default_args=default_args, schedule_interval='@daily')

task1 = DummyOperator(
    task_id='task1',
    pool='my_pool',  # 指定资源池
    dag=dag,
)

task2 = DummyOperator(
    task_id='task2',
    pool='my_pool',  # 指定资源池
    dag=dag,
)

3. 优化任务和 DAG

3.1. 合并小任务

如果你的 DAG 中有很多小任务，可以考虑合并这些任务，以减少调度和执行的开销。

3.2. 使用 SubDAGs

对于复杂的 DAG，可以使用 SubDAGs 来分组和管理任务。注意，SubDAGs 也会增加调度器的负担，因此要谨慎使用。

4. 监控和调试

4.1. 使用 Airflow Web UI

在 Airflow Web UI 中，导航到 "Admin" -> "Configuration" 查看当前的配置参数。使用 "DAGs" 页面监控 DAG 的运行状态和任务的执行情况。

4.2. 查看日志

查看 Airflow 的日志文件，了解任务执行的详细信息和可能的错误。

# 查看调度器日志
tail -f $AIRFLOW_HOME/logs/scheduler/latest/airflow-scheduler.log

# 查看任务日志
tail -f $AIRFLOW_HOME/logs/dag_id/task_id/execution_date/attempt_number.log

5. 使用合适的执行器

根据你的需求选择合适的执行器（Executor）。常见的执行器包括：

• SequentialExecutor：适用于开发和测试环境，单线程执行任务。
• LocalExecutor：适用于小型生产环境，多线程执行任务。
• CeleryExecutor：适用于大型生产环境，分布式执行任务。

在 airflow.cfg 文件中配置执行器：

[core]
executor = LocalExecutor  # 或者 CeleryExecutor