假设我有一个包含3个节点的Flink集群。一个节点用于作业管理器，另外两个节点用于任务管理器。每个任务管理器有3个任务槽。因此，当我提交并行度等于2的作业时，Flink将分配两个任务槽。所以，我的问题是，Flink将如何分配这些任务槽？ 一些场景 F
浏览 13提问于2020-08-23得票数 0
回答已采纳
我使用下面的命令来启动一个flink纱线会话。yarn-session.sh -jm 4096 -tm 4096 -n 4 -s 2 使用上面的命令，意味着将启动4个任务管理器(也意味着启动4个纱线容器，因为每个任务管理器都是一个纱线容器)，每个任务管理器有由于一个任务管理器是一个纱线容器，这意味着每个任务管理器只分配一个核心，但我为每个任务<e
浏览 42提问于2020-08-23得票数 1
回答已采纳
在flink流处理框架中，我没有几个问题。请告诉我你对这些问题的意见。
假设我用task-manger/job-manger?If节点构建集群，其中使用m节点作为作业管理器(对于HA)，那么，剩下的节点(n-m)是每个节点中的问号管理器？，那么我们有n核，那么我们如何控制/使用特定数量的内核到中，然后添加新节点作为任务管理器，作业管理器是否自动将任务分配给新添加
浏览 10提问于2022-08-17得票数 0
我在一个由15台机器组成的裸机集群上制作了一个Flink流应用程序的原型。我使用的是yarn-mode，有90个任务槽(15x6)。
该应用程序从单个Kafka主题读取数据。Kafka主题有15个分区，因此我也将源运算符的并行度设置为15。然而，我发现Flink在某些情况下会将2-4个使用者任务实例分配给同一个任务管理器。这会导致某些节点变得网络受限( Kafka主题服务于大量数据
浏览 0提问于2018-08-10得票数 2
谁能帮我理解一下Flink应用程序中任务槽、并行性和cpu内核之间的意义和区别吗？
此外，如果我有一个EMR集群有一个主节点和4个核心节点。每个核心节点具有4 vCore、8 GiB内存和EBS存储:64 GiB。我的代码中有7个平面映射函数。(我没有更改任何默认配置)我希望有人能帮助我理解有多少任务管理器、并行性、任务和<em
浏览 0提问于2019-08-26得票数 3
回答已采纳
我使用flink独立的5节点集群，每个任务管理器有4个cpu核心。设置任务槽数大于cpu核数可以吗？
浏览 15提问于2017-07-23得票数 1
在Apache Flink系统架构中，我们有客户端进程、主进程(JobManager)、工作进程(TaskManager)的概念。 上面的每个进程基本上都是一个JVM进程。TaskManager执行单独的任务，每个任务在一个线程中执行。因此，这种管理器到进程或任务到线程的映射是清晰的。 那么TaskManager中的插槽呢？插槽映射到什么？
浏览 55提问于2020-04-29得票数 1
回答已采纳
给出以下yarn-session命令： yarn-session.sh -d -n 12 -tm 4096 -qu QueueX -s 4 -jm 2048 我们将任务管理器的内存指定为4096，并将每个任务管理器的槽数指定为4，并且将任务管理器的内存的1/4分配给每个任务槽。那么，CPU核心又如何呢？ 我们可以为每个
浏览 213提问于2020-08-24得票数 0
回答已采纳
此外，我们通过一个ansible角色在openshift上设置了flink集群，但不幸的是，它不是从ansible galaxy存储库中获取的，所以我不能引用任何已发布的设置。可能，大多数配置更改都必须在上面提到的配置flink文件之外的地方完成。我不明白的是，如何控制提交新作业会自动为每个作业派生一对新的作业管理器和一个任务管理器(1+1)实例，而不是只使用一个
浏览 33提问于2019-09-06得票数 1
回答已采纳
1回答
我们不希望每个Flink集群部署一个以上的作业。
如何更改职务和会话群集每个任务管理器的任务槽数？在我的例子中，我在VirtualBox上运行docker，其中我为这台机器分配了4个CPU。但是，每个任务管理器只生成一个用于“职务群集”的任务槽。但是，对于会话群集，在同一台机器上，每个任务管理
浏览 1提问于2020-01-10得票数 2
回答已采纳
假设一个集群被设置为> 1，那么配置任务管理器中任务槽数的最佳实践是什么？
我们正在运行1.6.3版本的Flink集群。Flink 1.7发布说明指出："Flink现在适当地支持具有多个插槽的TaskManagers“。是否建议
浏览 1提问于2019-03-21得票数 2
回答已采纳
2回答
我们已经在v1.13.0上开发了一个Flink应用程序，并将其部署在Kubernetes上，该应用程序在Kubernetes pod上运行任务管理器实例。我不确定如何确定每个任务管理器实例的理想任务槽数量。我们应该在每个任务管理器/pod上配置/选择一个任务槽，还是在每个任务管理器/pod上配置/选择两个或
浏览 2提问于2021-05-25得票数 1
我有一个基于Flink 1.4.2的Flink独立集群(1个作业管理器，4个任务槽)，并想提交两个不同的Flink程序。不确定这是否可能，因为一些flink归档文件说一个作业管理器只能运行一个作业。Flink集群只有一台机器可用，我们不想使用任何资源管理器，比如Mesos或Yarn。
有什么提示吗？
浏览 2提问于2018-06-12得票数 3
它的文件大小为10 of。但是，对于一个100 the的文件，shell抛出一个NullPointerException：
at org.apache.flink.api.common.accumulators.SerializedListAccumulator.deserializeList我的代码(改编自)： var text = env.rea
浏览 0提问于2015-10-27得票数 2
回答已采纳
在Flink中，像' flatMap '，'map‘之类的运算符被称为任务，如果我将flatMap的并行度设置为30，那么这个任务有30个SubTasks。Flink会简单地在该插槽中创建30个线程，还是使用类似线程池的东西？上面不是一个合适的例子。假设在作业中我有运算符flatMap和map，它们的并行度都是1，而我只有一个插槽，这个插槽会创建两个线程吗？(链接已禁用)
浏览 1提问于2020-09-11得票数 0
2回答
我正试图确定如何为我的flink工作划分任务插槽。更具体地说，是否有理由每个任务管理器使用2个任务槽(或更多)，而不是每个任务管理器使用一个任务时隙？我看到每个任务管理器有多个任务插槽有助于减少网络开销，但还有其他好处吗？
此外，我想知道“备用”任务槽是否有好处(即将并行性设置为小于可用任务插槽数量的<
浏览 45提问于2022-08-09得票数 1
每台机器都有一个任务管理器。我知道Flink中的插槽数可以由taskmanager.numberOfTaskSlots控制。我最初总共分配了12插槽(每个任务管理器都有4插槽)。虽然插槽之间没有明确的CPU隔离(如前面提到的)，但我假设每个插槽大约使用一个核心。我猜对了吗？
我在代码中没有提到任何插槽共享组，我的管道没有任何阻塞边缘。每个任务的并行性是相同
浏览 14提问于2022-06-07得票数 1
回答已采纳
1回答
我有一个flink作业(2个任务管理器)，作业并行度为64，任务槽为64。 我将其中一个运算符的并行度设置为16。该运算符(16个并行度)插槽未在两个任务管理器中均匀分布。它通常需要更高的任务位，比如一个任务管理器中的10/11和其他任务管理器中的5/6。 我使用的
浏览 95提问于2021-03-23得票数 0
回答已采纳
我有一个简单的Flink作业，它从ActiveMQ源代码和接收器读取到数据库和打印。我使用2 TaskManagers在Kubernetes中部署作业，每个任务的Task Slots为10 (taskmanager.numberOfTaskSlots: 10)。我配置的并行性超过了可用的总TaskSlots (本例中为10 )。当我看到Flink Dashboard时，我看到这个作业只在一个TaskManager中运行，而另一个Tas
浏览 2提问于2020-03-06得票数 2
1回答
我正在使用flink集群，在两个不同的物理节点上有9个任务管理器。当我将jar提交给Flink的Jobmanager(Master)时，jar到底发生了什么。我的意思是，jar是被分发到所有工作节点，还是函数的某些部分被分配到所有工作节点？我之所以这样问是因为，当我试图运行我的应用程序时，它正在本地成功地运行，但是当主题在集群上运行时，会在FlatMapFunction上给出一个序列化错误。
浏览 2提问于2017-02-23得票数 1
云服务器
ICP备案
云直播
即时通信 IM
实时音视频
腾讯云开发者
