在Apache Airflow中使用spark2-submit

文章/答案/技术大牛

发布

0回答

python、apache-spark、airflow

对于我的工作流，我需要使用spark2运行一个作业。spark.sql.warehouse.dir': 'file:/tmp/', 'spark.serializer': 'org.apache.spark.serializer.KryoSerializernum_executors=50, application_args={

浏览 7提问于2018-07-10得票数 0

1回答

Windows 10上的Apache Airflow Dev 2.0安装程序

docker、airflow

我对Apache Airflow非常陌生，有人能提供在windows环境(包括Docker)上安装和运行Apache Airflow Dev 2.0的步骤吗?我在那里找到了很多关于安装Apache Airflow 1.10.x的好文章。

浏览 22提问于2020-05-03得票数 0

8回答

安装气流时出错:默认情况下，气流的依赖项之一安装GPL

airflow

运行pip install airflow[postgres]命令后获得以下错误：> a GPL "> RuntimeError: By default one of Airflow's dependencies installs a GPL> SLUGIFY

浏览 12提问于2018-09-06得票数 63

回答已采纳

1回答

如何在本地安装与在GCP上的Composer气流环境中安装相同的pip依赖项？

python、google-cloud-platform、pip、airflow、google-cloud-composer

我正在尝试在VS代码中设置一个本地开发环境，以便为Composer/Apache气流使用的包获得代码完成。文件如下：在VS代码中激活我的虚拟环境之后，我可以通过运行pip install -r requirements.txt将它安装到虚拟环境中，然后我在VS" could not be resolved Pylance(reportMissing

浏览 12提问于2022-05-19得票数 5

回答已采纳

1回答

在本地安装气流时出现问题

airflow、airflow-scheduler

我在本地安装了airflow，因为我正在测试airflow (2.0.0)中的sftp操作符。当我尝试运行这段代码时 from airflow.providers.sftp.operators import sftp_operatorimportTraceback (most recent call last): fr

浏览 68提问于2020-12-29得票数 0

回答已采纳

2回答

我正在创建一个开发环境来使用气流进行测试。我正在使用docker-compose.yaml文件，可在气流网站上找到。我想知道是否可以在这个文件中设置我的连接和变量。我知道我可以使用带有URI参数的AIRFLOW_CONN_...来建立连接。是否可以在AIRFLOW_CONN_...文件中使用docker-compose.yaml和EXPORT VARIABLE？apache-airflow-providers-<em

浏览 17提问于2021-09-27得票数 4

回答已采纳

1回答

spark2-submit抛出了java.lang.NoClassDefFoundError: org/apache/hadoop/fs/FSDataInputStream

hadoop、apache-spark

我在安装spark 2.0.0后运行spark2-submit时遇到以下错误。有人知道为什么它不能指向hadoop jar文件吗？当我在spark2-submit中'echo $HADOOP_HOME‘时，它会显示正确的HADOOP_HOME路径。Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/hadoop/fs/FSData

浏览 0提问于2017-01-05得票数 0

1回答

azure-快速入门- airflow 2的模板

azure、docker、airflow、azure-container-instances、azure-template

几天前，我使用的azure快速入门模板安装了AirFlow1.X 我正在寻找一个类似的模板，以方便(只是尝试)在Azure上部署Airflow 2。我试着从上面的链接修改模板，指向官方的Apache Airflow图像，但airflow应用程序一直关闭。

浏览 4提问于2021-09-15得票数 0

4回答

如何在气流中安装组件(对接-组合)？

python、docker、airflow

唯一的区别是我在码头里运行气流有没有不需要重建图像的解决方案？

浏览 12提问于2021-06-08得票数 15

回答已采纳

1回答

在码头上运行气流。我在运行气流时出现了这个错误

python、docker、airflow

文件"/home/airflow/.local/lib/python3.7/site-packages/airflow/providers_manager.py"，第255行，_sanity_check32行，import_string模块= import_module(module_path)文件“/usr/local/lib/python3.7/importlib/init.py”，第127行，<

浏览 3提问于2022-09-01得票数 -3

2回答

损坏的DAG:没有名为'airflow.contrib.gsc_to_gcs‘的模块

python、docker、airflow

对Airflow/Python等非常陌生，但似乎不知道我需要做些什么来解决这个问题。Airflow在Puckel/Docker上运行Broken DAG : [/usr/local/airflow/dags/xxxx.py] No module named 'airflow.contrib.operators.gsc_to_gcs'

浏览 0提问于2018-05-23得票数 6

1回答

如何在Ubuntu上本地运行的气流2.x上安装Kubernetes执行器--无舵图

linux、airflow、ubuntu-20.04、airflow-2.x

谁能告诉我如何在本地气流部署中配置kuberenetes执行器。/logs/yamls/pod_template.yamlworker_container_tag = 2.2.3image: apache/airflow:2.2.3 name: base volumeMo

浏览 4提问于2022-01-21得票数 1

1回答

Airflow SFTP传感器不存在

python-3.x、airflow

(奇怪的是，SFTP操作符使用an SSH connection，这也是我对传感器的期望)。所以我转到UI来创建一个SFTP连接，就像airlfow附带的示例sftp连接： ? 但是，在可选的连接类型中不存在此连接类型。当我“编辑”现有示例时，“type”显示为Amazon Web Services： ? 我是否必须使用命令行界面以described here身份创建此类型的连接。所以就像这样： airflow connections -a \ --conn_id my_sftp_connect

浏览 26提问于2020-10-13得票数 0

1回答

Airflow -无法导入Spark provider - package:未定义名称'client‘

python、apache-spark、pip、airflow

我已经在现有的Airflow 2.0.0安装的基础上安装了Apache Spark provider，安装方法如下： pip install apache-airflow-providers-apache-spark' from 'apache-airflow-providers-apache-spark' package: name 'client' is not defined [

浏览 16提问于2021-01-20得票数 3

2回答

Airflow DockerOperator，如何向容器添加体积

docker、airflow、docker-volume、dockeroperator

在遇到许多错误后，我发现不再支持添加卷，现在必须指定一个装载对象：https://github.com/apache/airflow/pull/15843 我的任务代码如下所示： from airflow.operators.docker_operator/var/run/docker.sock", dag=da

浏览 15提问于2021-08-03得票数 0

回答已采纳

1回答

在Google的气流实例上安装apache- airflow -backport-providers-google模块

airflow、google-cloud-composer、google-cloud-data-fusion

我需要从Composer中执行数据融合管道，为此使用Data：当我试图在编写器(如PyPi包)上安装python2021.3.3 has requirement apache-air

浏览 6提问于2021-10-15得票数 0

回答已采纳

1回答

当在Docker中运行Apache气流时，我如何解决即使在修复了DAG之后，DAG也不能完好无损的问题？

python、docker、docker-compose、airflow

因此，在我的例子中，我以前在我的机器上直接运行过气流，现在我尝试使用码头在容器中运行，同时保持我以前的测试记录。不过，我一直有一些问题。但是，当我解决这

浏览 13提问于2022-02-01得票数 1

回答已采纳

1回答

airflow随机向任务发送sigterm

python、celery、airflow

我遇到了airflow 1.10.1的问题。dag中的一些任务正在从helpers.py获取SIGTERM，据我所知，这是为工作进程执行关闭并终止所有子进程，但我在10个dag中只有2-3个任务中看到了这一点，并且在再次运行dag时收到信号的任务会发生变化Subtask BS_PMU2 [2019-12-10 11:13:45,933] {models.py:271} INFO - Filling up the DagBag from /home/centos/air

浏览 54提问于2019-12-12得票数 13

2回答

用于气流ModuleNotFound的导入错误aws_lambda

amazon-web-services、aws-lambda、airflow、airflow-2.x

我正在使用气流2.2.5，并希望触发一个AWSλ函数。这是我的Dockerfile下面是导入aws_lambda调用的方式： from airflow

浏览 3提问于2022-04-25得票数 0

1回答

airflow DockerOperator中的超时

python、docker、airflow、dockeroperator

_execute_task(context, task_copy) File "/home/airflow/.local/lib/python3.6/site-packages/airflow</

浏览 54提问于2021-07-21得票数 0

回答已采纳

点击加载更多