Composer由于无法读取日志文件而导致任务失败,它抱怨编码不正确。以下是显示在UI中的日志:
*** Unable to read remote log from gs://bucket/logs/campaign_exceptions_0_0_1/merge_campaign_exceptionsHTTPConnectionPool(host='airflow-work
我觉得自己有点像个笨蛋,但在使用KubernetesExecutor和新发布的官方Helm图表时,我似乎无法在持久卷上进行日志记录。在手动创建简单的PV和PVC后,我在values.yaml文件的底部更改了以下内容: logs: # Enable persistent volume for storing, pass name here ## the name of an existing PVC to use
我通过Azure中的terraform在Kubernetes集群上部署了Airflow。 DAG能够成功运行,并且日志已写入Azure存储容器。但是,在Airflow UI中,当我尝试访问某个任务的日志时,它无法从同一容器中获取日志。这就是它给出的错误。*** Log file does not exist: /usr/local/airflow/logs/<dag_name&g