如何在自定义docker镜像上使用CeleryExecutor运行airflow

在自定义Docker镜像上使用CeleryExecutor运行Airflow，您可以按照以下步骤进行操作：

首先，确保您已经安装了Docker和Docker Compose，并且已经熟悉了基本的Docker使用方法。
创建一个新的目录，用于存放Airflow相关的配置文件和Docker Compose文件。
在该目录下创建一个名为Dockerfile的文件，并添加以下内容：

FROM puckel/docker-airflow:1.10.9

USER root

RUN apt-get update && apt-get install -y \
    build-essential \
    libssl-dev \
    libffi-dev \
    python3-dev \
    python3-pip \
    && apt-get clean

RUN pip3 install 'apache-airflow[celery]'

这个Dockerfile基于puckel/docker-airflow镜像，并在其中安装了CeleryExecutor所需的依赖。

在同一目录下创建一个名为docker-compose.yml的文件，并添加以下内容：

version: '3'
services:
  webserver:
    build:
      context: .
      dockerfile: Dockerfile
    image: my-airflow
    restart: always
    ports:
      - 8080:8080
    volumes:
      - ./dags:/usr/local/airflow/dags
      - ./logs:/usr/local/airflow/logs
      - ./plugins:/usr/local/airflow/plugins
    environment:
      - LOAD_EX=n
      - EXECUTOR=CeleryExecutor
      - SQL_ALCHEMY_CONN=postgresql+psycopg2://airflow:airflow@postgres/airflow
      - FERNET_KEY=myfernetkey

  postgres:
    image: postgres:12
    restart: always
    environment:
      - POSTGRES_USER=airflow
      - POSTGRES_PASSWORD=airflow
      - POSTGRES_DB=airflow

  redis:
    image: redis:latest
    restart: always

这个Docker Compose文件定义了三个服务：webserver、postgres和redis。webserver服务使用之前创建的Docker镜像构建，并设置了一些环境变量和挂载目录。