我在Airflow Web服务器中遇到了身份验证问题。为了进行调试，我想将Flask-AppBuilder的调试级别设置为DEBUG。我在values.yaml中更改了以下环境变量 AIRFLOW__CORE__LOGGING_LEVEL: "DEBUG"AIRFLOW__LOGGING__LOGGING_LEVEL: "DEBUG" 我
浏览 26提问于2021-01-13得票数 2
2回答
我在EC2上运行Airflow 2.0.1，并启用了s3日志。我想禁用在本地(EC2)服务器中创建的日志。 该怎么做呢？
浏览 21提问于2021-06-22得票数 0
回答已采纳
在气流教程中，BashOperator具有输出(通过echo)。如果任务在调度程序中运行，您将在何处查看输出？有没有游戏机之类的？我确定我找错地方了。
浏览 3提问于2018-07-26得票数 18
回答已采纳
3回答
我尝试了气流教程DAG，它与调度器一起工作，我可以看到由计划运行生成的日志。但是，如果我使用命令行测试，我没有看到输出：[2018-09-10 15:41:43,121] {__init09-10 15:41:43,281] {models.py:258} INFO - Filling up the DagBag from /Users/xiang/Documents/BigData/airflow</e
浏览 1提问于2018-09-10得票数 3
回答已采纳
我需要访问Airflow web服务器的web访问日志，但我找不到它。我也看过airflow.cfg。Airflow是否会将web访问日志保存在某个地方？我知道它是在Flask中实现的。
浏览 62提问于2019-04-30得票数 3
回答已采纳
我应该如何配置或发送任务日志从气流1.9到弹性搜索？我在当前的git存储库中找到了配置模板，但不确定是否可以在v1.9中完成。
浏览 1提问于2018-05-15得票数 9
我无法查看我在Kubernetes上部署的Airflow实例中记录的任何日志。目前正在使用Airflow 2.0.2发行版，并使用Kubernetes executor通过其最新的Helm图表进行安装。我还必须在helm文件中将"AIRFLOW__KUBERNE
浏览 1提问于2021-07-01得票数 2
最近我们将气流从1.8升级到1.10.1，我们发现气流服务不再在/var/log/airflow中写入日志。我们使用自定义命令来运行气流服务，甚至这些命令也不会写入命令中指定的日志文件：-
nohup气流调度程序-sd /usr/ airflow /DAGS stdout /dev/null -stderrscheduler_error.log > /dev/null 2>nohup_error.log &
浏览 0提问于2019-02-27得票数 2
回答已采纳
1回答
我有一个启动和运行Airflow 1.8.1实例。remote_log_conn_id = 'my_working_conn_id'我重新启动了所有的服务，但是日志并没有上传到您是否已成功地使用gcs启用远程日志？如果是，你改变了什么/做了什么？
浏览 0提问于2017-09-19得票数 3
回答已采纳
我们正在使用带有docker-compose的 docker镜像运行Airflow集群。Airflow的调度器容器将其日志输出到/usr/local/airflow/logs/scheduler。问题是日志文件不会轮换，并且磁盘使用率会增加，直到磁盘满为止。可用，但未清理在工作节点上运行的DAG和计划程序容器上的日志目录。我正在寻找将调度程序日志输出到标准输出或S3/GCS存储桶的方法，但找不到。是否可以将调度
浏览 3提问于2021-01-10得票数 1
1回答
我使用的是与Kubernetes执行器一起的气流，并在本地进行测试(使用minikube)，虽然我能够启动并运行它，但我似乎无法将我的日志存储在S3中。0x7fd00688a650>: Failed to establish a new connection: [Errno -2] Name or service not known'))
我实现了这个中提到的自定义日志类+psycopg2://postgres:airflow@airflow-postgresql:5432/<
浏览 3提问于2020-03-30得票数 3
回答已采纳
1回答
我通常会在我的python脚本中创建一个全局logger，然后在所有函数的日志中写入我自己的消息。我知道Airflow有自己的日志记录功能，但我发现它们太冗长了，无法浏览。有没有办法为所有任务创建我自己的日志函数，使日志只包含我的自定义日志消息？
浏览 65提问于2021-07-21得票数 0
回答已采纳
我已经开始使用KubernetesExecutor，并使用AWS设置了一个PV/PVC来为我的dags存储日志。我还使用s3远程日志记录。
在一个守护程序完成后，所有的日志记录都非常正常。但是，当我cat日志文件时，只要执行器仍在运行，我就不会看到日志。但是，执行程序完成后，我可以在cat文件和气流UI中看到完整的日志。奇怪的是，在运行过程中，当我执行到executor pod中，并且在共享EFS中执行完全相同的日志文件时，
浏览 3提问于2021-01-28得票数 1
1回答
在我们的气流DAG代码中，我们试图使用中的示例代码将气流日志直接写入堆栈驱动程序。remote_logging = True但是，当我们按日志</em
浏览 7提问于2022-07-12得票数 1
3回答
在Airflow中写入日志的一种方法是从PythonOperator返回一个字符串，就像在第44行上那样。
是否有其他方式允许我写入airflow日志文件？我发现打印语句没有保存到日志中。
浏览 6提问于2016-10-19得票数 48
回答已采纳
我正在使用apache airflow和BashOperator。每个BashOperator执行一个python脚本。例如：from airflow.operators.bash_operator import BashOperator logging.info('Log something')
log_fun()
我不
浏览 18提问于2020-05-20得票数 1
我已经在预先存在的容器中成功地运行了芹菜任务，方法是使用指定的redis代理和后端实例化芹菜应用程序，并通过send_task进行远程调用；然而，芹菜任务执行的日志记录都不能返回到气流日志。这确实导致捕获了所有的日志记录，但这绝对不是我们希望它架构的方式，因为这使得气流容器由于django项目的依赖项的重复而变得非常胖。文档中说，“大多数任务处理程序在任务完成后发送日志”，但是我无法找到更多的细节，这些细节可能会给我提供在我的情况下如何启用同样的功能的线索。
在远程执行芹菜任务时，有没有
浏览 6提问于2022-06-08得票数 1
我有一个可以工作的DockerOperator，但是airflow没有显示我的DockerOperator的任何日志记录语句，当我使用"airflow test“运行它时，它对PythonOperator但是，我可以看到运行相同任务的日志语句。我如何使记录器在“气流测试”中也可见？
浏览 1提问于2018-09-14得票数 15
试图将“你好世界”写进气流日志(气流1.10.3)。基于和提出的SO解决方案，我应该能够只使用import logging和logging.info('hello world')。但是，当我检查日志时，我看到的只是：
*** Reading local file: /home/ubuntu/airflow/logs/fun_logs/log_test_task/2019-08-31T19考虑到我的日志级别设置，我不希望看到所有这些语句
浏览 0提问于2019-08-31得票数 12
回答已采纳
我用airflow scheduler -D启动调度程序，一切看起来都很好。通过API调用触发的所有作业都可以可靠地执行，外部触发的作业也可以正常工作。在特定的任务日志或airflow-scheduler.log中没有出现错误或警告
我很困惑。是什么破坏了我的DAG，我该怎么修复它？
浏览 2提问于2018-02-08得票数 2
云服务器
ICP备案
云直播
腾讯会议
实时音视频
腾讯云开发者
