2回答
我有一个在for循环中附加到列表中的操作符的列表。我想为我的DAG设置一个关系，其中每个任务都按列表的顺序设置在下游。
浏览 13提问于2020-09-17得票数 1
回答已采纳
我使用气流连接从RDS SQL实例中提取和处理数据。问题是该进程正在生成超过21个连接(尽管我的并发性在cfg文件中设置为4)，并且RAM正在重载。根据我如何设置这个过程，我一次不会有超过6-8个连接。是否有一个良好的cfg文件设置或管理面板选项，将允许我控制这种行为？随着连接数量的增加和RDS实例上的RAM饱和，您可以在gant图表上看到系统性能开始下降的位置：
浏览 3提问于2017-10-12得票数 2
回答已采纳
我遇到了一个叫做LivyBatchOperator的东西，但是找不到一个很好的例子让它在气流中提交火花源应用程序。任何有关这方面的信息都将不胜感激。提前谢谢。
浏览 5提问于2020-06-30得票数 2
回答已采纳
对于Apache气流来说是新的，并且对代码和数据是如何在多节点气流设置中跨工作节点使用的很好奇。当考虑ETL逻辑应该位于dag中的dag中，还是在dag中的操作符调用的单独文件中时，我从这里(https://www.astronomer.io/guides/dag-best-practices/)由此，我的
浏览 0提问于2019-10-08得票数 1
回答已采纳
验证结果数据应存储在S3中。我没有看到向GE操作员发送气流连接名称的选项，并且我的组织中的AWS凭据存储在气流连接中。
如何从气流连接中检索s3凭据？而不是来自.aws dir中的默认aws凭据？
浏览 4提问于2022-08-08得票数 0
2回答
我很难理解气流中的路径是如何工作的。我创建了这个存储库，以便很容易理解我的意思：，我根据气流页面上的手册从头创建了这个存储库。我刚刚取消了示例的DAG。正如您在唯一的DAG (dags/testdag.py)中看到的那样，DAG包含两个任务和一个使用打开文件的变量声明。这两个任务正在使用存储库(dags/testdag/testscript.sql).中</em
浏览 14提问于2022-02-28得票数 0
回答已采纳
尝试升级到气流2并执行airflow upgrade_check，我有以下错误：FutureWarning:在插件中注册操作符或传感器是不可取的--这些应该被视为“普通”python模块，并在DAGs.下面是类的来源，在_ init _.py文件中： appbuilder_menu_items = []
这
浏览 4提问于2021-04-21得票数 0
回答已采纳
我目前正在Linux服务器A中设置气流调度程序，在Linux服务器B中设置气流web服务器。两台服务器都没有互联网访问权限。我已经在服务器A中启动了initDB，并在服务器A中保留了所有的暂存。当我刷新webserver时，它一直有错误消息：-如何配置用于web服务器(服务器B)的dag我用的是bashopera
浏览 2提问于2018-11-12得票数 1
回答已采纳
1回答
我每天都在删除和创建同一个文件(s3对象)，这个文件需要被不同公司的供应商访问。每次运行之后，该对象默认为私有对象。是否有一种方法可以自动将这个桶对象设置为公共或白名单某些IP的？我用的是气流。在气流中搜索文档，但没有帮助。
白名单ip的一些操作员
浏览 0提问于2019-08-27得票数 1
我们想要达到的目标：
我们希望使用气流来管理我们的机器学习和数据管道，同时使用Kubernetes来管理资源和调度作业。我们想要实现的是气流组织工作流(例如，各种任务依赖关系)。换句话说，气流将告诉库伯奈特集群该做什么，而库伯奈特斯决定如何分配工作。同时，我们也希望气流能够监测各个任务的状态。例如，如果我们有10个任务分散在一个由5个节点组成的集群中，那么气流应该能够与集群进行通信
浏览 0提问于2018-06-19得票数 15
回答已采纳
1回答
气流和谷歌床单
、、
我对气流和Python很陌生。我正在尝试将气流与Google连接起来，虽然与Python连接没有问题，但我不知道如何从气流中实现这一点。我在任何地方都搜索过信息，但我只找到了find或BigQuery的Python信息，而不是Google。
如有任何建议或联系，我将不胜感激。
浏览 1提问于2018-03-08得票数 0
回答已采纳
我使用气流2.0.2连接数据库使用气流-数据库操作员.SQL操作符不允许我指定执行查询的数据库，所以我必须在table_name前面加上database_name。我试着阅读databricks的文档--这里也是sql--连接器-- ，但仍然找不出是否可以将数据库名作为连接字符串本身中的一个参数。我尝试在database/schema/namespace中设置**kwargs，但没有成功。查询执行器一直说找不到表，
浏览 7提问于2022-04-16得票数 2
回答已采纳
我使用的是气流版本1.10.12。
在这个版本的气流中是否有任何操作员可以将文件从Azure DataLakeGen2Blob存储复制到Google云存储。
浏览 0提问于2021-07-01得票数 0
我目前正在试验一种新的概念，即操作员将与外部服务通信以运行操作员，而不是在本地运行操作员，外部服务可以与气流通信以更新DAG的进度。task_id="bash_task",)
这是DAG的一部分bash_command="echo \&quo
浏览 2提问于2022-08-10得票数 0
回答已采纳
我希望创建一个可以运行两个任务的DAG。理想的工作流程是使用新创建的文件创建PEM密钥文件，然后使用SSH。这将获取存储在那里的PEM密钥，并编写一个临时文件。
第二个任务将使用SSHOperator，在ssh_hook中它将引用PEM文件。我似乎能够将临时文件写入一个位置，但在下一个任务中无法使用SSHOperator访问它。task1中生成的文件。是否有一种理想的方法来编写这些任务，这样我就可以使用Python代码来完成我所需要<
浏览 8提问于2022-06-20得票数 0
我是新来的。我创建了下面的第一个守护程序，从google大查询表中选择数据&将其保存到pd数据中。需要以下建议
我应该在哪里提供大查询的连接id？由于pd.read_gbq要求自动化，如何在气流场中处理这些问题？
浏览 4提问于2021-03-02得票数 0
我在k8s上找到了阿帕奇气流。早些时候，当Airflow在我的本地服务器(不是k8s)上运行时，我在oauth2证书验证方面没有遇到问题:当谷歌操作员(基于GoogleCloudHook)启动时，我的浏览器打开并将我重定向到谷歌身份验证页面由于Airflow在k8s上运行我的任务在不同的pod上运行，并且这个oauth2 creds验证有问题，我不能在pod中“打开浏览器”，我也不想每次运行我的任务时都这样做。
浏览 0提问于2020-02-29得票数 1
1回答
我试图运行一个只有一个虚拟的简单的守护进程，而数据库操作员(DatabricksRunNowOperator)只是为了测试它。我将dag上传到了气流容器中，但是databricks操作符并不是普通气流包的一部分。我用pip安装apache-airflow-providers-databricks (本地)安装了它。因此，包不存在于容器中，并发生错误。
有人知道我是如何将上述包装提供给气流容器的吗？
浏览 3提问于2022-03-16得票数 1
(无耻的插件：使postgres成为数据集高达兆字节的一个很好的DW选项)注意到坞-撰写已经定义了postgres db：
如果没有，不同方法之间
浏览 5提问于2021-05-18得票数 1
回答已采纳
我想为特定的任务设置触发规则。例如，如果我的dag中有以下依赖项：task_init需要安全才能运行task_1task_2，只有当task_init还好但不注意task
浏览 15提问于2022-07-29得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
腾讯会议
云直播
对象存储活动推荐
腾讯云开发者
