虽然Airflow提供了AirflowException及其衍生物，但我很好奇，当与外部API对话时，钩子中发生的错误应该如何处理？例如，假设我们有一个类似REST的API，并且正在使用requests与此API对话--如果我们的响应对象没有成功的响应，例如response.ok == False，我们希望引发某种类型的
浏览 24提问于2021-01-30得票数 1
是否可以在消息到达SQS队列时安排DAG运行？我还需要dag来处理队列中的消息。据我所知，这可以通过使用SQSSensor来完成，但我找不到任何示例，我对如何前进感到困惑。
浏览 24提问于2021-08-02得票数 0
我正在寻找流GCP数据流作业的编排软件-可以提供警报，状态，作业启动等类似于在Kubernetes上所做的事情。答案建议使用Airflow，因为他们有一些钩子连接到GCP -这将是很好的，因为我们有一些其他的基础设施在Airflow上运行。然而，我不确定这是否能够处理流式作业-我的理解是，Airflow是为将要完成的任务而设计的
浏览 0提问于2017-06-20得票数 4
我最近在Wes Bos的高级react教程中遇到了Apollo。我喜欢单钩子+缓存机制。我也喜欢graphql，但我有一个项目没有使用graphql。有没有像Apollo中的useQuery钩子那样只有一个钩子来返回数据、错误和加载的包？我发现这真的很巧妙和有用，在处理REST API时，我希望在其他项目中也能有类似的东西。
浏览 37提问于2021-10-08得票数 0
回答已采纳
2回答
我在执行 3.6.5.3节“将日志写入Azure Blob存储”时遇到困难
文档声明您需要一个指向Azure Blob存储的活动钩子。我不知道怎么创造这个。一些消息来源说您需要在UI中创建钩子，还有一些消息说您可以使用环境变量。无论哪种方式，我的日志都不会被写到blob商店，而且我已经束手无策了。
浏览 6提问于2019-11-25得票数 1
回答已采纳
Airflow允许通过命令行或实验性rest api将参数传递给dags。例如：运算符的常用单元测试示例如下所示： result = task.execute(ti.get_template_context())
self.assertEqual(r
浏览 3提问于2018-08-25得票数 1
回答已采纳
目的:利用apache气流稳定apis在REST外部触发dags。我们试图通过在composer: airflow.api.auth.backend.default中设置气流覆盖配置和发出IAP请求，使用气流实验apis在外部触发dags。效果很好。我们遵循了中描述的步骤。
从气流2.0.0 +开始，提出了气流实验apis，并引入了新的稳定apis。新的稳定api不支持airflow</em
浏览 4提问于2021-08-06得票数 3
4回答
我试图通过气流2.0 REST触发一个新的dag运行。如果我登录到远程机器上的气流API服务器，然后转到swagger文档页测试API，则调用是成功的。如果我注销了，或者API调用是通过Postman或curl发送的，那么我将得到403条禁止消息。无论我是否提供web服务器用户名密码，在curl或postman中都会收到相同的403错误消息。/docs/2.0.0/st
浏览 8提问于2021-01-05得票数 3
回答已采纳
我正在尝试使用AirFlow rest API触发我的dag。但是，不能理解如何进行身份验证。 下面的URL在我的浏览器中运行良好。http://localhost:8181/api/experimental/dags/demo/dag_runs 但是，下面的代码会给出身份验证错误。import requestsfrom
浏览 24提问于2020-04-21得票数 2
我们正在新旧气流之间进行迁移，我们试图实现从Airflow1到Airflow2的触发器(反之亦然)，这有可能吗？
浏览 3提问于2022-02-07得票数 0
回答已采纳
我已经编写了用于使用PythonOperator的气流达格，我需要在不改变dag功能的情况下为同一个dag使用PostgreSQL操作符。下面是Python操作符的代码。如何用PostgreSQL运算符替换Python运算符？或者我们可以在一个进程中使用两个不同的操作符吗？from airflow import DAGfrom airflow.utils.dates im
浏览 6提问于2022-02-27得票数 2
回答已采纳
在Twilio中，当我们以一个活动号注册了一个web钩子URL之后，我们就可以根据我们注册的web钩子的类型(语音/SMS)，在注册号码中的任何时候得到事件通知。webhook的注册可以通过REST实现。类似地，是否有任何API来停止web钩子通知？不然我们该怎么处理呢？
浏览 3提问于2022-07-15得票数 0
回答已采纳
我在我的气流DAG中有两个任务。一个触发API调用( Http操作符)，另一个使用另一个api ( Http传感器)不断检查其状态。此DAG计划每小时& 10分钟运行一次。例如，如果我在01:10完成这项工作，需要10个小时.本应运行的调度02:10、03:10、04:10、... 11:10等被跳过，只执行12:10的调度。export AIRFLOW
浏览 11提问于2019-08-09得票数 1
回答已采纳
我可以在命令行中使用'airflow trigger_dag‘并指定'run_id’来指定此名称，但我不知道如何在通过when服务器触发DAG时指定此ID？ 有没有人找到了这样做的方法？
浏览 84提问于2021-04-26得票数 2
2回答
我有一个由Dataprep生成的数据流模板，并使用Composer (即Apache Airflow)执行它。该任务正在触发数据流作业，但是这将失败，并显示错误消息，according to posts on SO指示我需要指定具有更高内存的机器类型。我在DataflowTemplateOperator中指定了machineType，但它不适用于数据流作业： dataflow_default_options={
'project': 'projectnametempL
浏览 23提问于2019-04-18得票数 1
在实际系统中，某些传感器数据会以csv文件的形式转储到特定目录中。然后一些数据管道会将这些数据填充到某个数据库中。另一个管道将这些数据发送到预测服务。 到目前为止，我只有培训和验证csv文件。我计划通过以下方式模拟发送数据以预测服务的流程： DAG1 -每隔2分钟，从特定路径中随机选择一些文件，并更新这些文件的时间戳。稍后，我可能会选择在开始节点之后添加一个随机延迟。如果它发现带有修改的时间戳的文件
浏览 71提问于2021-09-17得票数 0
1回答
我对网络钩子的概念还很陌生。我认为它应该与Webhooks-GitHub API类似。如何自定义API以侦听任何非Github托管自定义存储库？有什么办法吗？
浏览 3提问于2015-03-05得票数 0
假设我的Outlook外接程序(使用Office.js)中有以下代码在约会的组成形式上运行：item.loadCustomPropertiesAsync(我知道我可以基于扩展的属性)
保存预约，得到
浏览 5提问于2017-03-31得票数 4
回答已采纳
2回答
我们使用的是Apache 1.9.0。我写了一个雪花钩子插件。我已经将钩子放在$AIRFLOW_HOME/plugins目录中。plugin_manager中添加了一些打印语句，以尝试更好地处理正在发生的事情。在重启were服务器并运行airflow list_dags之后，这些行显示"new module name“(新模块名称)(没有错误
SnowflakePluginMod
浏览 2提问于2018-04-18得票数 5
我们正在尝试从我们的角度应用程序中访问apache气流稳定的rest apis。但我们正在处理CORS的问题。我们在airflow.cfg文件中设置了以下内容：access_control_allow_methods = POST、GET、OPTIONS、DELETEauth_backe
浏览 5提问于2021-08-18得票数 1
云服务器
ICP备案
云直播
即时通信 IM
实时音视频
腾讯云开发者
