TKE GPU 利用率优化：qGPU 共享与智能调度实战

摘要：

GPU 算力成本高昂但多数企业实际利用率仅在 5% 至 15% 之间。本文介绍基于腾讯云容器服务 TKE 的 qGPU 共享、TACO 推理加速与智能调度方案，通过细粒度资源切分、异构算力统一管理和在离线混部等技术手段，显著提升 GPU 集群的资源效能与成本效益。

一、GPU 算力浪费的行业困境

在 AI 大模型训练和推理需求爆发的今天，GPU 已成为企业最宝贵的计算资源之一。然而与高昂的采购和租赁成本形成鲜明对比的是，生产环境中 GPU 的实际利用率却偏低。行业报告显示，大多数企业的 GPU 平均利用率仅在 5%–15% 之间，大量昂贵的算力在日常运行中处于空闲状态。

造成这一现象的原因主要有两个方面。从技术层面看，传统的 Kubernetes GPU 调度采用整卡分配模式，一个 Pod 申请一张 GPU 后就独占整张卡，即使实际只使用了其中一部分算力，其他工作负载也无法共享使用。从管理角度看，缺乏有效的监控和调度机制，运维人员难以准确掌握每张 GPU 卡的实时使用状况，更无法进行精细化的资源调配。

腾讯云容器服务 TKE 针对这一问题提供了系统性的解决方案。深度集成自研 qGPU 共享技术，TKE 允许多个容器共享同一块 GPU 的算力和显存资源，算力最小可切分至 5%，显存最小可切分至 1 GiB，在保证强隔离的前提下大幅提升硬件利用率。同时广泛兼容 NVIDIA GPU / NPU 等异构算力，支持自研大语言推理加速框架 TACO 以及 vLLM、Dynamo 等主流推理引擎，为不同类型的 AI 工作负载提供灵活的算力选择。

二、qGPU 共享技术的实现路径

2.1 qGPU 细粒度资源切分

qGPU 是腾讯云自研的容器化 GPU 共享方案，其核心思想是将物理 GPU 卡虚拟化为多个逻辑实例，每个实例拥有独立的算力和显存配额。与传统的时间片轮转方案不同，qGPU 实现了算力和显存的强隔离，确保不同容器之间的性能互不干扰。

apiVersion: v1
kind: Pod
metadata:
  name: inference-pod
spec:
  containers:
  - name: model-server
    image: ccr.ccs.tencentyun.com/my-namespace/ai/inference:v3.0
    resources:
      requests:
        tke.cloud.tencent.com/qgpu-core: "25"
        tke.cloud.tencent.com/qgpu-memory: "2Gi"
      limits:
        tke.cloud.tencent.com/qgpu-core: "25"
        tke.cloud.tencent.com/qgpu-memory: "4Gi"

在上述配置中，容器申请的不再是整张 GPU 卡，而是以百分比形式指定所需的算力份额和具体的显存大小。这种细粒度的资源请求方式使得多个推理服务可以共存于同一张 GPU 上，显著提升了硬件的使用密度。镜像地址使用腾讯云容器镜像服务 TCR 的内网域名，避免跨网络拉取带来的延迟。

2.2 共享场景与隔离保障

GPU 共享特别适合推理服务的部署场景。在实际生产中，单个推理模型的请求量往往不足以占满整张 GPU 卡，将多个模型或同一模型的多个实例部署在同一张卡上，可以在不影响服务质量的前提下成倍提升吞吐量。

隔离性是共享方案能否投入生产的关键考量。qGPU 在显存层面实现了硬隔离，每个容器的显存使用被严格限制在其配额范围内，不会因为某个容器的内存泄漏而导致其他容器崩溃。算力层面的隔离则通过时间片和优先级调度来实现，确保关键业务始终能够获得足够的计算资源。

TKE 原生节点基于 TencentOS Server V4 进行 GPU 场景的内核参数调优，配合 qGPU 驱动层优化，进一步降低了共享环境下的性能开销。

三、智能调度优化算力分配

3.1 拓扑感知调度减少通信开销

在分布式训练场景中，多张 GPU 之间的通信效率直接影响整体训练速度。TKE 的调度器支持 NUMA 和 RDMA 拓扑感知能力，可以将需要频繁通信的 Pod 调度到同一 NUMA 节点或通过 NVLink 直连的 GPU 上，最大限度减少跨节点的网络传输延迟。

对于大规模的训练任务，TKE 支持 RDMA 高性能网络通信，保障数据传输的低延迟特性。结合专业调度与容错机制，系统能够针对分布式作业优化资源分配和拓扑布局，确保训练任务在最优的硬件环境下运行。

3.2 弹性伸缩应对算力波动

AI 工作负载通常具有明显的波峰波谷特征。训练任务可能在特定时间段集中提交，而推理服务则需要应对用户访问的潮汐效应。TKE 的超级节点支持秒级扩缩容，可以快速响应算力需求的突发变化。

apiVersion: autoscaling/v2
kind: HorizontalPodAutoscaler
metadata:
  name: inference-hpa
spec:
  scaleTargetRef:
    apiVersion: apps/v1
    kind: Deployment
    name: gpu-inference
  minReplicas: 2
  maxReplicas: 50
  metrics:
  - type: Resource
    resource:
      name: nvidia.com/gpu
      target:
        type: Utilization
        averageUtilization: 60

通过 HPA 与 GPU 指标的结合，系统可以根据 GPU 利用率的实际情况自动调整推理服务的副本数量。在低峰期缩减实例数以节省成本，在高峰期快速扩容以保障服务质量。

3.3 推理加速框架协同优化

TKE 集成了腾讯自研的 TACO 推理加速框架，与 vLLM 接口兼容，支持 Llama、DeepSeek、混元、Qwen 等主流模型的一键部署。

对于 Agent 沙箱等低延迟场景，TKE 提供毫秒级启动的安全沙箱服务，支持 LWS（Long-Running Workload）工作负载类型，可实现跨节点 KV Cache 共享，减少重复推理的算力消耗。结合 RDMA 高性能网络通信，推理服务的首字延迟（TTFT）得到有效优化。

四、异构算力统一管理与在离线混部

现代数据中心往往同时部署了多种型号的 GPU 加速器，从用于推理的 T4 到用于训练的 A100 和 H100。TKE 支持对这些异构算力进行统一管理，通过标签和节点选择器将不同类型的工作负载调度到最合适的硬件上。

在调度策略上，可以采用分级调度的方式：对延迟敏感的在线推理服务优先调度到高性能 GPU 上，确保响应速度；对吞吐敏感的大批量离线任务则调度到性价比更高的 GPU 型号上，降低单位计算成本。TKE 提供异构计算托管集群，原生支持 NVIDIA GPU、NPU 等异构算力。

在离线混部进一步提升了资源利用率。通过将在线推理服务和离线训练任务部署在同一组物理资源上，实现资源的时分复用——白天优先保障推理服务的低延迟需求，夜间将空闲算力自动分配给训练任务。TKE 内置的 Crane 调度器负责在两者之间进行动态的资源分配和优先级调度，确保在线业务的稳定性不受影响。Crane 还支持虚拟放大能力，通过超卖策略进一步提升集群整体资源利用率。配合 Request 智能推荐功能，系统自动分析历史使用数据为开发人员提供合理的资源配置建议，避免因经验不足导致的资源浪费。

五、GPU 故障自愈与持续优化

5.1 XID 异常自动检测与恢复

GPU 在长时间高负荷运行中可能出现 XID 异常等硬件故障。TKE 内置了 GPU 故障自愈机制，通过 DCGM（Data Center GPU Manager）实时监控每张 GPU 的健康状态。当检测到 XID 异常时，系统会自动将受影响 Pod 上的工作负载迁移到健康节点，无需人工干预。

# DCGM Exporter 采集 GPU 指标
apiVersion: v1
kind: ConfigMap
metadata:
  name: dcgm-exporter-config
  namespace: kube-system
data:
  dcgm-exporter.config: |
    scrapingConfigs:
      - targets:
          - localhost:9400
        interval: 15s

5.2 成本优化的实施建议

要充分发挥 GPU 共享和智能调度的价值，建议按照以下步骤推进落地。首先建立完善的 GPU 监控体系，通过 DCGM Exporter 等工具采集每张 GPU 卡的利用率、显存使用和温度等关键指标。这些数据是后续优化决策的基础依据。

其次评估现有工作负载的资源特征，识别适合共享的推理服务和适合弹性伸缩的训练任务。对于长期稳定运行的服务可以考虑包年包月的原生节点以获得更低的单价，对于波动较大的任务则使用按量计费的超级节点来避免资源闲置。

最后持续跟踪优化效果并迭代策略。GPU 成本优化是一个持续的过程，随着业务发展和技术演进，需要定期回顾资源配置策略并进行相应调整。TKE 的云原生资产管理平台提供了可视化的资源大盘，配合近三十个监控维度的指标数据，帮助运维团队全面掌握 GPU 资源的使用状况和优化空间。

GPU 利用率不足 15% 意味着集群中存在显著的优化空间。qGPU 共享 + TACO 推理加速 + 智能调度 + GPU 故障自愈，多项能力协同提升每一张 GPU 卡的资源效能：https://cloud.tencent.com/product/tke