利用气流进行实时作业调度
利用气流进行实时作业调度
提问于 2018-02-10 02:29:12
我有一个作为web服务运行的应用程序，它在用户请求时将作业提交给Spark。每个用户都需要限制作业队列。我计划使用气流作为业务流程框架来管理作业队列，但是虽然它支持并行DAG执行，但它是针对批处理而不是实时优化的。气流是设计用来处理每秒200次DAG执行的多个队列(每个用户一次)，还是我应该寻找替代方案？
回答 1
Stack Overflow用户
发布于 2018-02-10 20:58:53
数据从一个任务转移到另一个任务吗？既然你提到实时，时间在这里重要吗？随着气流，预计工作流程将主要是静态或缓慢变化。主要用于ETL批处理，您可以加快气流心跳，但最好有一个POC与您的用例进行测试。
以下是气流官方文件：https://airflow.apache.org/#beyond-the-horizon
气流不是数据流解决方案。任务不会将数据从一个移动到另一个(尽管任务可以交换元数据！)。气流不是在星火流或风暴空间里，它更像奥兹或阿兹卡班
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://stackoverflow.com/questions/48716648
复制相关文章
相似问题
腾讯云开发者
