问在何处查看airflow作业的输出

EN

就像@tobi6所说的，您可以根据环境在DAG服务器或控制台中查看DAG运行的输出。

要在您的your服务器中执行此操作：

click of the >选择您刚刚运行的DAG，然后在该DAG中输入您要查看其输出的任务。在接下来的弹出窗口中，单击View Log.

• In

• ，您现在可以看到输出，或者它会为您提供一个可以查看输出的页面的链接(例如，如果您使用的是Databricks，则最后一行可能是"INFO - view run status，Spark UI，

• logs at domain.cloud.databricks.com#job/jobid/run/1").

如果要查看运行时的日志，请在airflow_home目录中执行此操作。

来自Airflow官方文档的

• 信息如下：

用户可以在airflow.cfg中指定日志文件夹。默认情况下，它位于AIRFLOW_HOME目录中。

此外，用户还可以提供一个远程位置，用于在云存储中存储日志和日志备份。目前支持亚马逊S3和谷歌云存储。要启用此功能，必须按照以下示例配置airflow.cfg：

core # Airflow可以将日志远程存储在亚马逊网络服务S3或谷歌云存储中。Users #必须提供远程位置URL (以's3://...‘开头)或# 'gs://...')以及提供对存储#位置的访问的气流连接id。remote_base_log_folder = s3://my-bucket/path/ to /logs remote_log_conn_id = MyS3Conn #对存储在S3中的日志使用服务器端加密encrypt_s3_logs = False远程日志记录使用现有的气流连接来读/写日志。如果您没有正确设置连接，则此操作将失败。

在上面的例子中，Airflow将尝试使用S3Hook('MyS3Conn')。

在Airflow Web UI中，本地日志优先于远程日志。如果找不到或访问不到本地日志，将显示远程日志。请注意，日志仅在任务完成(包括失败)后才会发送到远程存储。换句话说，运行任务的远程日志不可用。日志以{dag_id}/{task_id}/{execution_date}/{try_number}.log.的形式存储在日志文件夹中

如果任务处于Airflow状态，下面是如何在web UI中查找其日志的方法：

1. 单击任务的

的名称

​

​

1. 单击任务run

​

1. 在打开

的弹出窗口中单击[查看日志]按钮

​

​

1. 将打开日志页面(用户需要不断刷新该页面才能实时查看日志)。

​

​