腾讯云开发者社区-腾讯云

开发者社区

文档建议反馈控制台

文章/答案/技术大牛

发布

综合排序丨最热优先丨最新优先

Flink资源调度模型

作者：王刚，腾讯CSIG高级工程师 Flink 资源模型 / 调度设计背景知识首先，我们来简单回顾一下 Flink 作业的运行时模型，然后再来探讨在这种运行模型下，Flink 的资源模型和调度架构的设计和实现我们接下来从 Task 运行维度分析，一层层来看 Flink 的资源模型设计。资源模型首先，我们介绍 Flink 基本的几个运行时概念。调度模型该小结部分内容引自深入解读Flink资源管理机制 [4] 概览 Flink 的资源调度是一个典型的两层模型。 Flink Cluster 到 Flink Job 资源调度过程如下图，Cluster 到 Job 的资源调度过程中主要包含两个过程。 Flink Job 到 Task 调度过程 JobMaster 中的 Scheduler 组件，会根据 Execution Graph和 Task 的执行状态，决定接下来要调度的 Task。

腾讯云大数据

2022-07-04

1.4K0

标签:

Kubernetes环境中作业帮大模型服务流量调度优化实践

作业帮采用了一种针对 Kubernetes 环境中大模型服务的创新流量调度方案，相较于传统 Ingress 组件显著提升了资源效率、稳定性和易用性。由于大模型文件较大（通常几十到数百 GB），重新加载模型耗时较长，服务不可用时间进一步延长。解决方案为解决这些问题，作业帮提出了一种综合的大模型服务流量调度方案，专为 Kubernetes 中的大模型服务设计，整合成模型网关 (Model API Gateway)，以增强大模型服务的流量调度能力集成 token 计算能力问题大模型推理计算成本高昂，在多租户环境中需要跟踪资源使用（大模型场景普遍采用 token 消耗）以进行计费和配额管理。传统 Ingress 不具备此类功能。总结通过模型网关 (Model API Gateway) 实现针对 Kubernetes 中大模型服务独特需求的流量调度方案，克服了传统 Ingress 的局限性。

深度学习与Python

2025-08-06

8100

标签:

《大模型背后的隐形战场：异构计算调度全解析》

要实现CPU、GPU和AI芯片在大模型训练中的高效协同调度，并非易事，其中存在着诸多棘手的挑战。首先，不同类型芯片的计算能力、存储容量与带宽以及数据处理速度都有着显著差异。而这种延迟对于大模型训练来说，可能会导致计算资源的等待时间增加，影响整个训练的流畅性与效率。此外，大模型训练任务本身的复杂性也对协同调度提出了更高的要求。通过合理的任务调度和数据分配，使得数据在各个节点之间的传输更加均衡，提高整个系统的通信效率和稳定性。在大模型训练过程中，资源的管理与动态调整至关重要。随着大模型技术的不断发展，对异构计算协同调度策略的要求也将越来越高。未来，我们有望看到更加智能化、自适应的协同调度算法的出现。异构计算在大模型训练中的协同调度策略是一个充满挑战与机遇的研究领域。它不仅关系到当前大模型训练的效率和质量，也将对未来人工智能技术的发展产生深远的影响。

程序员阿伟

2025-06-01

5250

标签:

腾讯技术创作特训营S13

golang的GMP调度模型

GMP是三个缩写 G : groutine M : Machine 系统线程 P : Processor 处理器 GMP调度就是循环在与P(处理器)绑定的M(系统线程)上寻找可执行的G(协程) ?

2021-04-09

1.5K0

标签:

golang的MPG调度模型

3）如果G1协程阻塞，比如读取文件或者数据库 4）这时就会创建M2主线程（也可能是从已有的线程池中取出M2）并且将等待的三个协程挂到M2下执行，M1主线程下的G1仍然执行文件的读写 5）这样的MPG调度模式

2019-09-10

2K0

标签:

快速学习-ElasticJob调度模型

调度模型与大部分的作业平台不同，ElasticJob 的调度模型划分为支持线程级别调度的进程内调度 ElasticJob-Lite，和进程级别调度的 ElasticJob-Cloud。进程内调度 ElasticJob-Lite 是面向进程内的线程级调度框架。通过它，作业能够透明化的与业务应用系统相结合。进程级调度 ElasticJob-Cloud 拥有进程内调度和进程级别调度两种方式。常驻任务类似于 ElasticJob-Lite，是进程内调度；瞬时任务则完全不同，它充分的利用了资源分配的削峰填谷能力，是进程级的调度，每次任务的会启动全新的进程处理。

2020-09-22

4180

标签:

大模型的黄金时代并未结束——只是主角，从“模型厂商”变成了“调度平台”。

当OpenAI深陷“预训练泥潭”，Gateone.ai 正悄然成为多模型时代的“智能调度中枢”——不靠单一大模型称王，而靠灵活组合、精准调度、高效落地制胜。 + Agent” 战略，年底密集发布补位这释放出一个清晰信号：大模型军备竞赛已从“谁更大”，转向“谁更聪明地用模型”。一、单一大模型神话破灭，企业需要“模型舰队”OpenAI 曾靠 GPT-4 一家独大，但如今：GPT-5 缺乏实质进化，无法应对复杂Agent任务Orion 失败暴露 “全能模型”路线不可持续硬件依赖用国产模型（Qwen、DeepSeek）+ Gateone 调度，实现安全可控现在，无需等待 OpenAI 的“Shallotpeat”修复，也无需押注下一个“伪GPT-5”—— 立即接入 Gateone.ai ✨ 硬件自适应部署，TPU/GPU/边缘端无缝切换 ✨ 企业级成本控制与合规审计大模型的黄金时代并未结束——只是主角，从“模型厂商”变成了“调度平台”。

超级神性造梦机器

2025-12-01

3480

标签:

大模型时代的流量调度与架构演进：解构基于语义的路由策略

传统的反向代理与负载均衡算法，其调度决策完全建立在 L4/L7 协议层的确定性特征（如 IP、Header、URL）或后端服务器负载（如连接数、响应延迟）之上。随着大语言模型（LLM）集群成为新的流量下游，传统的调度范式遭遇了资费、容量及模型能力的非对称限制。 AI 时代模型调度的核心冲突：非对称约束的引入然而，当流量的下游从“传统微服务”演变为“大语言模型（LLM）集群”时，传统的负载均衡算法突然失效了。由于利用了生成式大模型的语义理解能力，即使用户的 Prompt 表述较为隐晦或复杂，模型依然能够完成准确的意图归类。路由作为全量流量的入口，如果每个请求都在 Access 阶段挂起并同步等待大模型返回分类结果，将导致业务请求的首字延迟不可控。同时，全量请求调用大模型会产生极高的 Token 成本。

2026-07-06

1280

标签:

通用大模型VS垂直大模型

在人工智能这个充满无限可能的领域内，通用大模型和垂直大模型各有千秋。就我个人而言，在二者之间的选择上，并不存在偏向某一方的倾向。我觉得应当依据实际应用场景的具体需求，来挑选最为契合的大模型。通用大模型通用大模型，乃是旨在应对多种任务与数据类型的庞然大物级人工智能模型。在知识覆盖的广度方面，通用大模型无疑具有明显的优势。当我们对于当下所需模型所涉及的精确专业领域的界限感到模糊不清时，选择通用大模型无疑是一种明智之举。垂直大模型接下来谈谈垂直大模型。然而，由于垂直大模型的训练内容聚焦于当前行业，其涉猎的范围更集中，数据针对性更强，所以在提供专业咨询时往往更加精准、细致，这也正是垂直大模型的独特价值所在。因此，对于通用大模型或者垂直大模型，更倾向于哪一方不取决于个人想法，而是取决于用户需要。

六月的雨在Tencent

2024-12-30

8890

标签:

腾讯技术创作特训营S11#重启人生

大模型聚合API路由算法选型：从静态分发到动态调度的技术演进

随着大模型产业规模化落地，企业普遍采用多模型聚合架构，整合通用大模型、垂直领域模型、轻量化推理模型等异构资源。一、大模型聚合路由技术演进阶段大模型API聚合路由技术历经三代迭代，核心演进逻辑为：从固定规则匹配升级为实时数据驱动，从单一负载均衡升级为语义感知、算力感知、成本感知的多维智能调度。但其核心局限在于无任务语义感知能力，仅基于资源状态调度，无法识别请求复杂度，仍存在“小任务用大模型、大任务用小模型”的错配问题，成本与性能优化空间有限。 5.3语义驱动动态调度核心优势新一代语义驱动动态调度算法，是当前大模型聚合API路由的最优选型方案。五、技术演进趋势总结大模型聚合API路由的核心演进趋势，是从资源驱动转向语义驱动、场景驱动、成本驱动的多维智能调度。

2026-05-29

2360

标签: