我正试着在空气中安排一个火花作业，这是我的达格，import airflow
'
浏览 11提问于2018-08-01得票数 1
3回答
我的目标是使以下DAG任务成功运行from airflow import DAGfrom airflow.operators.bash_operator import BashOperator
default_args =/airflow</em
浏览 0提问于2019-08-28得票数 1
回答已采纳
我有一个pyspark脚本，它现在工作得很好，我想做的是，我想为每一分钟安排该作业，为此，我使用了Apache Airflow，我为airflow创建了一个.py文件，如下所示： from airflowimport DAGfrom datetime import datetime, timedeltaimport os
from builtins import range
浏览 24提问于2019-04-08得票数 0
我试过这个：from datetime import timedelta, datetimeSparkSubmitOperatorfrom airflow.modelscmd:
['s
浏览 0提问于2018-12-14得票数 19
回答已采纳
我在插件文件夹下复制了spark_submit_operator.py。from airflow import DAG
Traceback (most recent call last):
File "/usr/local/
浏览 0提问于2018-09-20得票数 4
1回答
_init__.py db.py --> get_primary_keys function _init_.py名称: pf-utils版本: 0.0.0摘要:未知主页:未知作者:无作者-电子邮件:无许可:未知位置: /home/
浏览 2提问于2021-08-09得票数 1
以下是我尝试过的方法：出现以下错误： ProcessBuilder processBuilder = new ProcessB
浏览 5提问于2012-09-05得票数 21
2回答
(无此类文件或目录) /usr /share/tomcat7/backup/Catina.policy(无此类文件或目录)将文件复制到/usr/share/tomcat7/backup/catalina.properties:时出错/usr/share/tomcat7&#
浏览 1提问于2012-01-14得票数 4
'airflow |-- test_operator.py |-- __init__.pyDag文件内容：from a
浏览 3提问于2022-06-11得票数 1
回答已采纳
我们需要安排spark作业，因为我们熟悉apache-airflow，所以我们想继续使用它来创建不同的工作流。我在网上搜索，但没有找到一步一步的指南，以安排spark作业的airflow和选项，以运行它们在不同的服务器运行主机。
对此问题的回答将受到高度赞赏。提前谢谢。
浏览 4提问于2018-11-17得票数 8
回答已采纳
2回答
我已经将钩子放在$AIRFLOW_HOME/plugins目录中。home__ubuntu__airflow__plugins_snowflake_hook2.SnowflakeHook2'>]因为这与文档中所说的一致，所以我应该可以在我的DAG中使用以下内容：from airflow.ho
浏览 2提问于2018-04-18得票数 5
我将在dag文件中运行一个查询，并创建一个如下列表：然后，我将根据列表的大小创建任务： sample_airflow_operator(name=i + '_operator') >> sample_airflow_operator(name=(i+1) +
浏览 2提问于2021-06-03得票数 0
2回答
我打算在文件夹中归档4天的报告。在我的代码的开头，我有一行代码删除了5天前生成的报告的所有24个文件。我的变通办法是编写代码，它只在第一个小时运行时执行"delete“函数，但我认为这只是一个创可贴解决方案。
浏览 0提问于2016-06-01得票数 2
Spark提交命令 spark-submit --class=com.test.App /home/ubuntu/app.jar /home/ubuntu/abc.properties 用于安排spark作业的Airflow脚本 from airflow import DAGfrom airflow.contrib.operatorsimport SparkSubmitOpera
浏览 134提问于2019-01-04得票数 0
回答已采纳
1回答
当我试图下载源代码并构建它时，我会得到无法解决的构建错误：
Makefile:117: charset.d:无此类文件或目录Makefile:117: child.d.d:无此类文件或目录Makefile:117: config.d:无此类文件或目录Makefile:117: ctrls.d:无此类</
浏览 6提问于2011-06-18得票数 0
回答已采纳
我正在尝试使用DAG文件夹中的包。airflow_home目录的当前状态为：airflow_home/airflow.dbhello_world.py有代码：from airflow import DAG
fro
浏览 1提问于2017-08-20得票数 15
Cloud Composer makes available到所有DAG一个用于存储应用程序数据的共享文件目录。目录中的文件驻留在由Composer管理的Google Cloud Storage存储桶中。Composer使用FUSE将目录映射到其所有Airflow worker pods上的路径/home/airflow/gcs/data。在我的DAG中，我运行了几个Kubernetes pod，如下所示： from <e
浏览 20提问于2021-11-04得票数 2
我试图将星火应用程序提交给Kubernetes集群，作业文件位于:/opt/ Spark / application / path，使用以下命令提交spark：--conf spark.driver.memory=2g \
local:///opt/spark/applications/spark_submit_test_jo
浏览 0提问于2018-10-22得票数 0
回答已采纳
云服务器
ICP备案
云直播
腾讯会议
实时音视频
腾讯云开发者
