Task1:应该只在星期天执行Task2:应该每天执行 任务将包含提交spark作业的命令 我正在寻找示例DAG文件
浏览 55提问于2021-08-20得票数 0
我有不同的spark和airflow服务器。我没有在airflow服务器上安装spark二进制文件。我能够很好地使用SSHOperator并在集群模式下运行spark作业。我想知道从长远来看，使用SSHOperator或SparkSubmitOperator提交pyspark作业会有什么好处。任何帮助都会提前表示感谢。
浏览 9提问于2020-06-25得票数 1
我正在使用Apache批处理POST方法提交Spark作业。使用Apache可以这样做吗？
浏览 4提问于2019-01-20得票数 4
回答已采纳
1回答
我们正在使用Airflow来计划我们在电子病历上的作业，目前我们想使用apache Livy通过Airflow提交Spark作业，我需要更多的指导如下:哪种Airflow-Livy操作符我们应该用于python、3+、pyspark和scala作业。我看过以下内容：和
想知道更多关于稳定的AirflowLivy操作符，任何人在生产中使用，可能是在亚马逊网络服务堆栈
浏览 4提问于2020-04-13得票数 0
Spark提交命令 spark-submit --class=com.test.App /home/ubuntu/app.jar /home/ubuntu/abc.properties 用于安排spark作业的Airflow脚本 from airflow import DAGfrom airflow.cont
浏览 134提问于2019-01-04得票数 0
回答已采纳
1回答
为什么火花执行者还没死
、、、
这是我的设置：
运行airflow的Kubernetes集群将spark作业提交给Kubernetes集群，作业运行良好，但是容器应该在完成任务后死亡，但它们仍然挂在那里。cluster.Dag上出现的气流设置是在气流对接器图像中烘焙的，因为不知何故，我无法将达格与s3同步。由于某些原因，cron无法运行。将spark作业提交给K8S集群，作业运行良好。，但现在它没有在执行和完成作业</em
浏览 1提问于2019-09-17得票数 0
我们需要安排spark作业，因为我们熟悉apache-airflow，所以我们想继续使用它来创建不同的工作流。我在网上搜索，但没有找到一步一步的指南，以安排spark作业的airflow和选项，以运行它们在不同的服务器运行主机。
对此问题的回答将受到高度赞赏。提前谢谢。
浏览 4提问于2018-11-17得票数 8
回答已采纳
我正在使用airflow bash操作符来运行spark-submit作业。spark作业需要一些参数。最后一个参数是一个字符串，可以使用"，“和"|”split将其转换为嵌套数组。提交命令示例：
spark-submit --verbose --master yarn --deploy-mode cluster --queue some_queue job.jar <dt> <
浏览 12提问于2018-08-31得票数 0
我是Spark和Airflow的新手，正在尝试创建一个在pyspark中运行spark提交作业的DAG。在我的Ubuntu系统中，我创建了一个名为'hadoopusr‘的用户，我通过它手动运行我的spark提交。所有环境变量都是在此用户下在<code>D0</code>中设置的。当我从终端手动运行spark-submit时，作业<
浏览 162提问于2019-12-04得票数 0
背景:我创建了一个新的气流作业/任务DAG，其中我正在使用SparkSubmitOperator。我正在运行星火和气流在我的桌面(版本等以下)。DAG可以正常工作，直到它到达火花作业的提交部分为止。我尝试使用以下选项更改连接。无论我尝试什么，我都会在气流日志中收到以下消息。问题:是什么阻止气流识别和
浏览 5提问于2020-03-18得票数 1
我正在尝试设置一个DAG，它将在第一个任务中创建一个星火集群，在临时任务中向集群提交Spark应用程序，并在最后一个任务中最终删除spark集群。我现在正在尝试的方法是使用KubernetesPodOperators来创建Spark和Worker。问题是，它们运行的是一个从未退出的星火守护进程。事实上，调用豆荚的命令永远不会退出，这意味着这些任务在运行阶段被困在气流中。所以，我想知道是否有一种方法运行星火守护进程，然后继续执行DAG<
浏览 2提问于2020-01-15得票数 1
回答已采纳
1回答
最近，亚马逊推出了，我想重新定位使用的现有数据管道编排:有一些步骤可以创建EMR集群、运行一些lambda函数、提交火花作业(大部分是Scala作业使用火花提交)，并最终终止集群。有些文档和github示例描述了从编排框架(如AirFlow )提交作业的情况，但没有描述如何在EMR中使用AWS函数。在这方面的任何帮助都将受到赞赏。首先，我感兴趣的是重新定义arn:
浏览 7提问于2022-06-10得票数 1
我有一个气流DAG，我用它来提交一个spark作业，为此我使用了SparkSubmitOperator。在DAG中，我必须指定需要运行的应用程序JAR。目前，它被硬编码为spark-job-1.0.jar，如下所示：
from airflow.contrib.operators.spark_submit_operatortotal_executor_cores='1'
浏览 12提问于2020-05-23得票数 0
回答已采纳
我有Airflow作业，它们在EMR集群上运行得很好。我需要的是，假设我有4个airflow作业，需要EMR集群20分钟才能完成任务。为什么不呢?我们可以在DAG运行时创建一个EMR集群，一旦作业完成，它将终止创建的EMR集群。
浏览 4提问于2019-03-19得票数 2
3回答
我正在使用Airflow来安排和运行Spark任务。到目前为止，我发现的是Airflow可以管理的python DAG。DAG示例：import logging
from airflow.operators import PythonOperatorfrom datetime import datetime
'owner&#x
浏览 0提问于2016-10-03得票数 41
回答已采纳
我正在尝试使用气流来触发本地星火独立点上的spark-examples.jar，但我总是遇到异常。当我在终端上手动提交相同的作业时，它工作如下： --class org.apache.spark.examples.SparkPi \ 1000
我将复制到$SPARK
浏览 1提问于2018-08-01得票数 0
回答已采纳
每个TaskGroup有两个任务：t1使用spark部署yaml文件向kubernetes集群提交spark作业。我有这种情况，然后提交火花作业出错: UnknownHostException，这是我想重试的时候，但是我想重试整个TaskGroup，而不仅仅是t2。
我现在不可能重试整个TaskGroup。如何通过气流2.3.3正确地重试<em
浏览 20提问于2022-09-01得票数 0
我有一个Spark作业，它将参数作为键值对，并将其映射到代码中，如下所示：gcloud dataproc jobs submit spark --async --project testing-airflow，我们尝试将其与dataproc作业
浏览 49提问于2021-10-13得票数 2
2回答
在测试多个作业同时运行或稍后提交的较小作业时火花作业的行为时。我在spark中遇到了两个设置。一种是可用的调度模式，如下图所示：其中一个在调度程序中，如下所示
我想了解两个设置和抢占之间的区别。我的要求是，在处理更大的工作时，在两者之间提交的小工作必须获得资源，而不需要等待更长时间。
浏览 2提问于2016-08-10得票数 1
回答已采纳
我需要在AWS EMR中运行结构化流spark作业。作为弹性需求，如果spark作业由于某些原因而失败，我们希望spark作业可以在EMR中重新创建。类似于ECS中的任务编排，如果健康检查失败，可以重启任务。然而，EMR更多是一个计算引擎，而不是编排系统。 我正在寻找一些大数据工作流程编排工具，例如Airflow。但是，它不能支持DAG中的循环。
浏览 44提问于2020-07-13得票数 1
回答已采纳
云服务器
ICP备案
对象存储
实时音视频
云直播
腾讯云开发者
