气流任务的内存、CPU和IO
是指在云计算中，针对气流任务所需的计算资源的三个重要指标。
- 内存（Memory）：内存是计算机用于存储数据和程序的临时存储空间。在气流任务中，内存的大小决定了能够同时处理的数据量和程序的运行效率。较大的内存可以提高任务的并发处理能力和数据处理速度。
- CPU（Central Processing Unit）：CPU是计算机的核心组件，负责执行指令和处理计算任务。在气流任务中，CPU的性能决定了任务的计算能力和处理速度。较高性能的CPU可以提高任务的计算效率和响应速度。
- IO（Input/Output）：IO是指计算机与外部设备之间的数据输入和输出。在气流任务中，IO的速度和稳定性对于数据的读取和写入至关重要。较快的IO速度可以提高任务的数据传输效率和响应速度。
气流任务通常需要较大的内存来存储和处理大量的数据，较高性能的CPU来执行复杂的计算任务，以及较快的IO速度来实现数据的高效传输。根据具体的气流任务需求，可以选择适当的云计算产品来满足需求。
腾讯云提供了一系列适用于气流任务的产品，包括：
- 云服务器（CVM）：提供灵活的计算资源，可根据需求选择不同配置的实例，满足不同规模和性能要求的气流任务。
- 云数据库（CDB）：提供高可用、可扩展的数据库服务，支持气流任务中的数据存储和管理。
- 云存储（COS）：提供安全可靠的对象存储服务，适用于气流任务中的大规模数据存储和访问。
- 人工智能（AI）：提供丰富的人工智能服务，包括图像识别、语音识别、自然语言处理等，可应用于气流任务中的数据分析和处理。
- 物联网（IoT）：提供全面的物联网解决方案，可用于气流任务中的设备连接和数据采集。
以上是腾讯云相关产品的简介，更详细的信息和产品介绍可以参考腾讯云官方网站：https://cloud.tencent.com/
相关·内容
我们正处于发展阶段。我们正在使用由主从EC2实例组成的Kubernetes集群。我们使用气流的Kubernetes_Pod_Operator将任务提交给Kubernetes集群。我们希望扩大这一进程。因此，我们将使用气流的加速器执行器，这是用来同时提交和调度任务的气流。
所以问题是，我们应该关心提交给库伯奈特的任务数量，还是不管提交给库伯奈特的任务有多少，库伯奈特是否会以任何内部排队来服务所有任务而不会失败？
浏览 0提问于2018-04-16得票数 0
我对气流完全陌生，在任何地方都找不到在一个气流DAG中可以安排多少任务的地方。和每个任务的最大大小是什么.
我想安排一个任务，它应该能够处理数百万个查询，识别它的类型，并根据查询的类型来调度下一个任务。
阅读完整的文档，但找不到
浏览 0提问于2018-06-07得票数 9
Apache气流平台中有一个任务，它通过SQL通过熊猫数据帧来提取数据。数据大小超过600 K。以下是代码：
def stage1_data_extract(**kwargs):
sql="some sql logic"
df1 = pd.read_sql(sql, conn)
df1 = df1.loc[:, ~df1.columns.duplicated()]
return df1
我观察到，当Apache气流任务返回任务中的上述数据帧时，Apache气流挂起，我需要手动关闭所有进程，以使服务器重新启动和运行。
看起来，气流任务的资源/
浏览 0提问于2019-04-26得票数 1
2回答
根据这两种和的说法，由于内存不足问题，我的气流DAG运行正在返回错误INFO - Task exited with return code -9。我的DAG运行有10个任务/操作符，每个任务简单地：
进行查询以获取我的一个BigQuery表，并且
将结果写入我的Mongo数据库中的集合。
10个BigQuery表的大小介于1MB到400 1MB之间，所有10个表的总大小为1GB。我的停靠容器有默认的2GB内存，我已经将这个内存增加到了4GB，但是我仍然收到来自几个任务的这个错误。我对此感到困惑，因为4GB应该是足够的内存。我也很担心，因为在将来，这些表可能会变得更大(单个表查询
浏览 3提问于2020-05-13得票数 2
回答已采纳
我们使用的是气流版本2，当我们将DAG文件放置在DAG文件夹中时，需要20到30秒才能在气流数据列表中反映这个dag。
注意事项：我们使用芹菜执行器和postgres作为数据库。
有人能帮我如何使气流更快地拿起DAG吗？它是否有一个配置/任何想法都是值得注意的。
谢谢你，哈利
浏览 3提问于2021-09-19得票数 1
回答已采纳
2回答
几个星期以来，气流运转良好，几天来突然开始出现错误。由于此错误，Dags随机失败。
日志文件不存在:气流路径/1.log
取自：
*无法从工作人员获取日志文件。对“：/”的请求缺少“http://”
浏览 3提问于2021-09-14得票数 3
7回答
我们已经使用LocalExecutor为我们的ETL设置了Airbnb/Apache气流，当我们开始构建更复杂的DAG时，我们注意到气流已经开始消耗大量的系统资源。这对我们来说是令人惊讶的，因为我们主要是用气流来安排其他服务器上发生的任务，所以风流DAG大部分时间都在等待它们完成--没有实际的本地执行。
最大的问题是，气流似乎在任何时候都消耗了100%的CPU (在AWSt2.media上)，并且使用超过2GB的内存和默认的airflow.cfg设置。
如果相关的话，我们正在使用码头运行气流-组合运行容器两次；一次作为scheduler，一次作为webserver。
我们在这里做错什么了？这是
浏览 2提问于2017-02-23得票数 46
我正在上使用气流(版本: composer-1.10.2- airflow -1.10.6)。
我意识到，当有许多任务要处理时，调度程序不会调度任务(参见下面的甘特视图)
(不要注意颜色，红色的任务是"createTable操作符“，如果表已经存在，就会失败，所以在下一部分(重要的部分)运行之前，它们必须失败5次)
任务之间有时间间隔！(例如，上午10时至下午15时5小时，什么也没有发生)
正常情况下，它可以很好地工作~40个DAG，每个任务约100到200个任务(有时更多)。但是最近我增加了两个DAG，它有很多任务(每个任务大约5000)，调度程序非常慢，或者没有调度任务。在屏
浏览 3提问于2020-06-04得票数 3
我正试图在Kubernetes执行器中设置气流的request_cpu参数，但是我还没有找到我能做到的地方。在中，我找到了default_cpus，但是根据，没有任何地方可以使用它，在Kubernetes部分的其他地方，我也无法找到对CPU请求的引用。
如何在气流库伯内特斯执行器中设置request_cpu参数？
编辑:理想情况下，我想要做的是将其设置为全局缺省值，而不是基于每个操作符，尽管总的来说，我认为将其设置为每个操作符/任务更有意义。
浏览 4提问于2020-02-27得票数 3
对于Apache气流来说是新的，并且对代码和数据是如何在多节点气流设置中跨工作节点使用的很好奇。
当考虑ETL逻辑应该位于dag中的dag中，还是在dag中的操作符调用的单独文件中时，我从这里(https://www.astronomer.io/guides/dag-best-practices/)看到：
试着像配置文件一样对待DAG文件，并为钩子和操作符留下所有的重担。
由此，我的问题是：( 1)在多节点气流设置中，在工人之间同步操作员代码的最佳方法是什么？2)如果设置了多个节点，是否需要在所有工作人员之间安装共享驱动器以存储中间数据(或者气流是否有其他内部方式在工人之间传递数据以完成dag
浏览 0提问于2019-10-08得票数 1
回答已采纳
1回答
我在气流中使用ECSOperator，我需要把旗子传递到码头运行。我在互联网上搜索，但是我找不到给出一个ECSOperator标志的方法，比如：-D，--cpus等等。
是否有一种方法可以使用ECSOperator (我们可以传递标记和网络配置)将这些标志传递给码头运行(如果某个条件为真)，或者只能在运行码头映像的ECS容器中定义这些标志？
浏览 6提问于2022-10-16得票数 1
单元日志包含查询所花费的总时间、获取的行数等信息以及内部方法调用。
有任何方法来获得cpu，IO和内存使用的特定蜂巢查询吗？
浏览 0提问于2018-05-11得票数 3
回答已采纳
1回答
我有一个有超过100,000个任务的airflow DAG。我最多只能运行1000个任务。除此之外，调度程序挂起，the服务器无法呈现任务，并且在UI上极其缓慢。 我已经尝试增加，min_file_process_interval和processor_poll_interval配置参数。 我将num_duration设置为3600，以便调度程序每小时重新启动一次。 我在the服务器或调度程序上遇到了什么限制吗？一般来说，如何处理气流中的大量任务？任何配置设置等都会非常有帮助。 另外，我是否应该在这种规模上使用SubDagOperator？敬请指教。 谢谢,
浏览 10提问于2019-05-19得票数 4
回答已采纳
1回答
我正在使用正式的Helm图进行气流。除了工作节点以外，每个Pod都能正常工作。
即使在工作节点中，也有2个容器(git-sync和worker-log-groomer)工作正常。
错误发生在CrashLoopBackOff的第三个容器(worker)中。退出代码状态为137 OOMkilled。
在我的openshift中，内存使用量显示为70%。
虽然这个错误是由于内存泄漏而产生的。这件事不是碰巧发生的。请帮帮忙，我已经穿这件衣服一个星期了。
Kubectl描述吊舱气流-0 ->
worker:
Container ID: <>
Image:
浏览 9提问于2022-02-28得票数 1
回答已采纳
2回答
气流工人-暖气停工
、、、、
我有一个管理的气流集群使用云作曲家-1.17.6-气流-2.0.2。集群相当小(4个工作荚，1个调度程序荚)，并且启用了自动缩放功能。
然而，我正在经历的气流工人重新启动非常频繁，即使只有少数几个工作正在运行。
这是我在使用kubectl日志重新启动之前看到的消息。
worker: Warm shutdown (MainProcess)
知道是什么引起的吗？我尝试将celery acks_late设置为True，celery worker_max_tasks_per_child设置为500，但是问题仍然存在。
提前谢谢你。
浏览 18提问于2022-06-28得票数 0
回答已采纳
1回答
气流任务的内存、CPU和IO
、、、、
我正在解决一个问题，以确定在AWS ECS容器中使用更多内存或CPU或IO的密集气流任务。我可以从ECS容器中看到内存和CPU的总体利用率。如何确定具体的流程和任务级别？任何帮助都将不胜感激。
浏览 8提问于2019-04-16得票数 0
2回答
从AWS文档中，我可以看到，如果使用Fargate，CPU和Memory属性在中是必需的，而在资源中的中则不是必需的。
这到底是怎么回事？如果我没有在ContainerDefinition中指定它，它将使用任务拥有的资源吗？如果任务中只有一个容器.定义这些价值观有意义吗？如果需要的话，对我来说似乎是多余的和冗长的。
浏览 1提问于2020-06-26得票数 9
回答已采纳
1回答
气流容错
、、、、
我有两个问题：
首先，Kubernetes执行器是什么意思?换句话说，如果一个工作节点出现故障，会发生什么？
第二个问题，整个气流服务器有可能停机吗？如果是，是否有自动运行的备份来继续工作？
注:我最近开始学习气流。提前感谢
这是我在学习apache气流时面临的一个理论问题，我已经阅读了文档，但没有提到如何处理容错。
浏览 7提问于2022-11-17得票数 0
上周刚买了一些新的内核和RAM，它们都会受到压力测试，看看它们是否好。不幸的是，在没有OD的情况下，我无法找到任何关于如何做到这一点的真正资源，所以我启动了StressLinux。
双QC Xeon 2.66's与HT，16 up，激发压力与：
stress --cpu 10240 --io 256 --vm 16 --vm-bytes 1G --vm-keep --timeout 2000
还击(除其他外)：
<-- worker 8129 got Signal 9
now reaping child worker process
failed run completed in
浏览 0提问于2013-02-21得票数 -2
回答已采纳
我想打印Linux进程读/写的字节总数。例如，我跑
gcc -c a.c
并且想看看GCC总共从Linux内核请求了多少字节，包括它的子字节，以及它们向内核发送了多少字节。
这一问题的不完全解决办法是：
rchar和wchar字段在/proc/PID/io中显示到目前为止的读/写字节数。它不考虑子进程。一旦进程结束，它就会丢失。
像strace这样的工具可以用来打印进程及其子进程的syscall(例如：read、write syscalls)，但是它无法聚合读/写的字节数。
如何打印Linux进程及其子进程读取/写入的字节总数？
浏览 4提问于2012-01-13得票数 6
回答已采纳
我们在Airflow中使用Local Executor来调度作业。当dag文件的数量增加时，我们面临着Dag运行中的缓慢，Dag内部的任务拾取处理非常缓慢。 目前我们保存了大约30个dag文件。每个dag最多有2到4个任务。 我们尝试了较少的dag数量，我可以看到它运行得很快。 我们可以在气流中使用的dag数量有限制吗？ 请给我建议如何解决这个问题。 我们使用的是Airflow 1.10.9。
浏览 17提问于2020-08-22得票数 2
通过试用大量的样本，我对气流的编程特性非常熟悉。阻止我深入挖掘的是它如何在不重载CPU或RAM的情况下执行其任务，是否有办法控制负载，使其不会耗尽资源
当调度程序执行“调度和更频繁地选择文件”的工作时，我知道一种减少负载的方法，方法是将以下字段min_file_process_interval和scheduler_heartbeat_sec的值更改为一分钟左右。虽然它减少了CPU的持续上升，但当间隔过去(即一分钟后)，它突然回到吸吸~95%的CPU，就像它在启动时那样。你如何减少它，使它永远不会消耗超过70%的CPU，至少？
编辑：
另外，当scheduler_heartbeat间隔过去时，我
浏览 0提问于2019-01-09得票数 5
回答已采纳
我正在将一个.NET应用程序重构为airflow。这个.NET应用程序使用多线程从mongoDB中提取和处理数据(如果没有多线程，这个过程大约需要10个小时，如果使用多线程，我可以减少这个时间)。 在mongoDB的每个文档中，我都有一个名为process的键值。该值用于控制哪个线程处理文档。我将开发一个气流DAG来优化这个过程。我怀疑的是性能和实现这一目标的最佳方法。 我的应用程序应该有多个任务(我将在python方法的输入中控制process变量)。或者我应该只使用一个任务，并在这个任务中使用Python MultiThreading？下图说明了我的疑虑。 Multi Task X Si
浏览 66提问于2021-09-15得票数 0
回答已采纳
1回答
我使用的是气流和Composer，由于我对气流调度器(它是慢的或停止的)有一些问题，版本:composer-1.10.4-气流-1.10.6
我推出了一个“巨大”的收集(因为我有时会需要它)与气流测试我的管道的可伸缩性。其结果是，我的调度程序显然只调度很少任务的DAG，而大型DAG的任务没有被调度。你对此有什么见解或建议吗？
下面是有关我当前配置的信息：
集群配置：
10个集群节点，20个vCPU，160 10内存
气流配置：
核
store_serialized_dags:真
dag_concurrency: 160
store_dag_code:真
min_fi
浏览 5提问于2020-06-11得票数 1
1回答
特定于数据科学的CI/CD (kubeflow，Algo，TFX，mlflow，sagemaker管道)的优势是什么?相对于已经烤好的更通用的口味: Jenkins，竹子，气流，Google，.
我猜想，数据科学提供了更多围绕普通ML操作的结构，并且更好地优化了训练、部署、并行执行和运行模型推理所需的计算和内存吗？
浏览 0提问于2020-01-29得票数 5
我正在学习内存映射IOs。到目前为止，我已经了解到CPU读取和写入特定的内存地址，以写入或读取到某个IO设备。在传统的方式中，IO设备用来产生中断，这就是CPU如何知道IO设备已经完成处理，它有要由CPU使用的结果。
但是在内存映射的IO中没有这样的规定，对吗？因此，根据我的知识(这没有意义)，要读取IO设备是否已经向CPU提供了任何结果，CPU每次都需要去读取内存。这不是很糟糕吗？这比投票更糟糕，对吧？因为它增加了从存储器读取的周期。
这里我漏掉了什么？请帮帮忙。
浏览 2提问于2020-04-19得票数 1
让我们想象一下，我们有n个独立的阻塞IO任务，例如对另一个服务器的rest调用任务。那么所有的答案我们都需要结合起来。每项任务都可以处理超过10秒。
我们可以按顺序处理它，在结束时花费~n*10秒：
Task1Ans task1 = service1.doSomething()；Task2Ans task2 = service2.doSomething()返回结果；
另一种策略是使用CompletableFuture并行处理它，并在所有任务上花费10秒时间：
CompletableFuture task1Cs = CompletableFuture.supplyAsync(()
浏览 14提问于2022-05-05得票数 3
2回答
我运行的气流与库伯内特斯执行者在对接-桌面库伯内特斯集群(在Mac上)。我在dag文件中有多个sensorOperators，它们每个都是下游依赖关系的一部分。总共有22个传感器操作员并行运行，结果执行5-7分钟后，我的kubernetes集群连接下降。在重新启动集群之后，我可以再次访问我的k8s dashbaord，并检查所有red失败任务的日志，它们似乎都在抱怨mysql连接失败。
[2019-08-15 10:09:03,829] {__init__.py:1374} INFO - Executing <Task(IngestionStatusSensor): ingesti
浏览 5提问于2019-08-15得票数 1
为什么任务定义在创建任务定义时需要内存、CPU和卷？容器需要CPU和Mem，这是有意义的。但是为什么任务定义需要这个呢？
我理解它，因为它的名字意味着它只是一项任务，但现在我想知道它是什么？
浏览 0提问于2020-11-11得票数 1
回答已采纳
我有一个关于内存使用和多线程应用程序的技术问题。
我的场景是，我构建了一个服务器应用程序(在C#中)，它经常运行并定期(每分钟)更新DB信息。应用程序被分成两个线程。第一个线程处理UI。第二个线程在一个连续的循环中处理所有的重复工作(直到Tasks标志= false)。当第二个线程完成它的任务时，它进入睡眠状态60秒，在此之后它循环并再次执行。
这个应用程序运行得很好，没有内存问题或资源问题，但我注意到了一些我不理解的奇怪的东西。
当应用程序正在工作(执行其任务)时，它利用了100%的可用CPU，内存下降到80k kb。但是当任务完成，第二个线程进入睡眠状态时，内存就会增加到180kb。
如果
浏览 2提问于2013-05-23得票数 0
1回答
但是，我的工作失败了，但是我并不完全理解。它似乎是由
"YarnSchedulerBackend$YarnSchedulerEndpoint: Container killed by YARN for exceeding memory limits. 24.7 GB of 24 GB physical“。
但是我怎样才能增加中的内存。
日志：
16/05/05 01:12:42 WARN org.apache.spark.scheduler.TaskSetManager: Lost task 332.0 in stage 0.0 (TID 332, cluster-4-w-40.c.l
浏览 3提问于2016-05-05得票数 0
2回答
火花的性能瓶颈
、、、
在NSDI 2015上发表的“在数据分析框架中提高性能的意义”的论文得出结论，CPU(而不是IO或网络)是Spark的性能瓶颈。凯在Spark上做了一些实验，包括BDbench、TPC和处理工作负载(只使用Spark？)在这篇论文里。我不知道这个结论对于建立在Spark上的一些框架是否正确(比如流，通过网络接收连续数据流，网络IO和磁盘都会承受很大的压力)。
浏览 1提问于2015-05-15得票数 1
回答已采纳
2回答
我有一个结构(用C语言)声明如下：
struct readyQueue
{
int start;
int total_CPU_burst;
int CPU_burst;
int CPU_bursted;
int IO_burst;
int CPU;
struct readyQueue *next;
};
struct readyQueue *readyStart = NULL;
struct readyQueue *readyRear = NULL;
readyStart = mallow(sizeof(struct readyQueu
浏览 4提问于2014-05-13得票数 4
回答已采纳
3回答
做一个top检查io等待，我得到以下数字：
Cpu(s): 6.7%us, 1.4%sy, 1.2%ni, 85.5%id, 5.0%wa, 0.0%hi, 0.3%si, 0.0%st
看看这些数字(%us ~= %wa)，它们是否意味着：
等待的CPU进程几乎和工作进程一样多？(=>坏)
工作流程正在等待其执行计划的5%0%(本例中为=> ok )
一些其他的东西
浏览 0提问于2014-11-19得票数 6
回答已采纳
3回答
我在官方的气流文档中读到
这到底是什么意思？作者提出的扩大规模是什么意思？也就是说，当不足以使用气流，或者什么时候有人会使用气流和芹菜之类的东西结合使用？(dask相同)
浏览 0提问于2018-03-15得票数 24
回答已采纳
1回答
我试图将动态工作流引入到我的领域中，这涉及到不同模型推断的多个步骤，其中一个模型的输出被输入到另一个model.Currently中，很少有芹菜工作人员分散在主机上来管理推理链。随着复杂性的增加，我们正在尝试动态地构建工作流。为此，我得到了一个动态DAG设置和塞勒伊执行器工作。现在，有什么办法我可以保留目前的芹菜设置和路线气流驱动的任务给相同的工人？我理解这些工作人员中的设置应该可以访问DAG文件夹和环境，与气流服务器相同。我想知道如何在这些服务器中启动芹菜工人，这样气流就可以从python应用程序的手动工作流中执行相同的任务。如果使用命令“气流芹菜工人”启动员工，则无法访问应用程序任务。如果
浏览 5提问于2021-05-27得票数 1
回答已采纳
我想要写和运行一个有向无圈图(DAG)，其中有几个任务以串行或并行方式运行。理想的情况是：
def task1():
# ...
def task2():
# ...
graph = Sequence([
task1,
task2,
Parallel([
task3,
task4
]),
task5
]
graph.run()
它将运行1 -> 2 -> (3和4并发) -> 5。任务需要访问全局范围来存储结果、写入日志和访问命令行参数。
我的用例是编写一个部署脚本。并行任务是IO绑
浏览 0提问于2019-10-27得票数 5
回答已采纳
1回答
慢盘引起的高CPU负载？
、、、
我们正在一个3岁的服务器(四核Xeon，4GB RAM，SAN磁盘)上运行一个在线应用程序。除了web应用程序之外，服务器还承载一个SQL-、FTP-、SFTP、SMTP和POP服务.
多年来，客户数量显著增加，服务器现在被推向极限，往往在大时间范围内达到100%的CPU。
当我监视服务器性能时，我注意到任务管理器通常报告100%的CPU (performance )或接近它，但是System进程(process )报告了大约30%。
问题：
当系统空闲进程超过0%时，CPU总工作量是否能达到100%？我的观察正确吗？
更新：
TomTom善意地回答了我的提问，并提供了以下信息：
等待磁盘I
浏览 0提问于2014-01-09得票数 2
气流系统中DAGS的实际数量限制是多少？
在创建了数百个DAGS之后，我们看到了严重的延迟。
有人在运行1000的DAGS吗？
浏览 0提问于2018-09-13得票数 2
public class Example {
public static void main(String[] args) {
// print statement at the start of the program
System.out.println("Start...");
System.out.print("Number of available processors are: ");
System.out.println( Runtime.getRuntime().availableProces
浏览 5提问于2022-01-28得票数 1
回答已采纳
我们想要达到的目标：
我们希望使用气流来管理我们的机器学习和数据管道，同时使用Kubernetes来管理资源和调度作业。我们想要实现的是气流组织工作流(例如，各种任务依赖关系)。在失败时重新运行作业)和Kubernetes来编排基础结构(例如集群自动标度和单个作业分配到节点)。换句话说，气流将告诉库伯奈特集群该做什么，而库伯奈特斯决定如何分配工作。同时，我们也希望气流能够监测各个任务的状态。例如，如果我们有10个任务分散在一个由5个节点组成的集群中，那么气流应该能够与集群进行通信，并且报告显示了这样的情况:3项“小任务”已经完成，1项“小任务”已经失败，并将重新运行，其余的6项“大任务”仍在运
浏览 0提问于2018-06-19得票数 15
回答已采纳
情况:风流1.10.3运行在库伯内特斯吊舱，LocalExecutor，parallelism=25每天晚上我们的DAG将开始他们的预定运行，这意味着许多任务将并行运行。每个任务要么是启动另一个pod上的实际工作的KubernetesPodOperator，要么是等待另一个任务完成的ExternalTaskSensor (在ETL中)。
问题:每一个启动的任务将创建另外两个本地进程(除了工作进程)，每个进程占用70 up。但是所有这些进程都在等待，要么等待另一个pod (KubernetesPodOperator)完成，要么等待另一个任务完成(ExternalTaskSensor)。这是一个巨
浏览 2提问于2020-03-05得票数 5
回答已采纳
1回答
我试图诊断一个表现不佳的气流管道，我想知道在气流调度器中，我应该期望什么样的性能，类似于“每秒调度的任务”。
我几乎没有排队的任务，我的许多任务在几秒钟内就完成了，所以我怀疑调度器是有限的组件，这是我的错，因为我有很多快速的任务。不过，如果可以避免的话，我宁愿不重写我的DAG。
我能做些什么来提高调度程序排队任务的速度？
管道细节
我只有两只狗在跑。一次排定每5分钟一次，另一次很少由第一次触发。我目前正试图以这种频率回填几年，但可能需要改变我的做法：
至于工作节点:我目前有4台功能相当强大的服务器，它们在磁盘、网络、cpu、RAM、交换设备中的资源利用率还不到10%。关闭3名工作
浏览 0提问于2018-02-01得票数 5
2回答
我们有一个composer环境，其配置细节如下。
作曲家版本:作曲家-1.10.0-气流-1.10.6
机器型号:n1-标准-4
磁盘大小(GB)：100
工作节点:6个
python版本:3
worker_concurrency: 32
平行度:128
我们在DAG中有一个问题来初始化它的任务，这需要花费更多的时间。例如，DAG有3个任务，如Task1 -> Task2 -> Task3。Task1初始化所需时间(最少5分钟)，并在几秒钟内初始化该任务的完成时间。Task2初始化了5分钟，并在几秒钟内执行。就像这个任务的初始化需要时间，但是任务
浏览 0提问于2020-05-28得票数 0
3回答
我想知道CPU如何将数据写入IO端口(例如:串行/并行/USB)(并从IO端口读取数据)。
是否有指令直接将数据发送到IO端口，例如：
send the number 3 to pin 0 of serial port 1
或者CPU是否写入指定的内存位置，一旦数据被写入到该内存位置，数据将自动发送到IO端口，例如：
send the number 3 to memory location 0x12345
现在，一旦数字3被写入内存位置0x12345，它将自动发送到串行端口1的引脚0。
浏览 3提问于2017-05-29得票数 2
回答已采纳
1回答
Load使用正在运行或可运行或处于不间断睡眠状态的进程。那么，处于不间断睡眠状态的进程是否与顶部命令中的%wa相对应？这两种方法都是指等待IO的线程，因此，假设一个线程增加，另一个线程也会增加，这似乎很直观。
然而，我看到的正好相反。%等待不增加，%空闲较高，负载平均也较高。我读过关于这方面的其他问题，但我没有找到令人满意的答案，因为它们不能解释这种行为。
如果%wait不包括不间断的睡眠状态，那么它到底是什么？是%wait与加载不真正对应吗？(例如，在一个2 CPU机器上的负载可能是10，但它只贡献了30%的等待%)
这个IO与不间断状态下的IO有什么不同？在这种情况下，有什么可能的补救办法
浏览 0提问于2019-06-21得票数 4
我的MapR集群中有两个位置，我的spark作业正在从这两个端点加载数据。其中一个端点具有巨大的数据，而其他端点则相对较少。现在，当我做一个像.reduceByKey或.groupByKey这样的混洗操作时，我得到了OOM异常： "java.lang.OutOfMemoryError: Java heap space
at java.nio.HeapByteBuffer.<init>(HeapByteBuffer.java:57)
at java.nio.ByteBuffer.allocate(ByteBuffer.java:335)
at org
浏览 33提问于2020-08-25得票数 0
1回答
如何在气流中节流当前的工作？
、、、、
我是个气流新手。但我现在正在研究如何在气流中节流当前的工作。有没有人对并发或在气流中节流有所了解。任何建议都可能有帮助。非常感谢。
浏览 2提问于2016-11-01得票数 4
我对气流很陌生，我想知道execution_timeout和dagrun_timeout在气流方面的区别。实际上，在我的代码库中，我目前使用的是execution_timeout，但是有些dags不尊重超时。
浏览 0提问于2019-07-16得票数 13
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM活动推荐
腾讯云开发者
