vLLM 被设计用于支持基于文本的自回归生成任务的大型语言模型，为了解决多模态、文本生成和视频生成等任务，vLLM社区推出了全新的vLLM-Omni框架，扩展了它对全模态模型推理和服务的支持：

全模态：文本、图像、视频和音频数据处理

非自回归架构：将 vLLM 的自回归（AutoRegressive ，下文简称AR）支持扩展到扩散变换器（DiT）和其他并行生成模型

异构输出：从传统文本生成到多模态输出

https://docs.vllm.ai/projects/vllm-omni/en/latest/

https://github.com/vllm-project/vllm-omni

https://docs.google.com/presentation/d/1qv4qMW1rKAqDREMXiUDLIgqqHQe7TDPj/edit?slide=id.p4#slide=id.p4

uv venv --python 3.12 --seed
source .venv/bin/activate

安装vllm和vllm-omni（vllm-omni需要依赖vllm）：

uv pip install vllm==0.12.0 --torch-backend=auto
uv pip install vllm-omni

from vllm_omni.entrypoints.omni import Omni

if __name__ == "__main__":
    omni = Omni(model="Qwen/Qwen-Image")
    prompt = "a cup of coffee on the table"
    outputs = omni.generate(prompt)
    images = outputs[0].request_output[0].images
    images[0].save("coffee.png")

# Create an omni_lm with HF model name.
from vllm_omni.entrypoints.omni import Omni

omni_lm = Omni(model="Qwen/Qwen3-Omni-30B-A3B-Instruct")

# Example prompts.
om_inputs = {"prompt": prompt,
             "multi_modal_data": {
                 "video": video_frames,
                 "audio": audio_signal,
             }}

# Generate texts and audio from the multi-modality inputs.
outputs = omni_lm.generate(om_inputs, sampling_params_list)

vllm serve Qwen/Qwen3-Omni-30B-A3B-Instruct --omni --port 8091

curl http://localhost:8091/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{
    "model": "Qwen/Qwen3-Omni-30B-A3B-Instruct",
    "messages": [{"role": "user", "content": "Describe vLLM in brief."}],
    "modalities": ["text"]
  }'

vLLM社区基于对当前多模态模型的结构观察，把多模态模型分成三类：

1.DiT作为主要结构，AR（自回归）作为文本编码器（例如：Qwen-Image）这是一个强大的图像生成基础模型，能够进行复杂的文本渲染和精准的图像编辑。

2.AR作为主要结构，DiT作为多模态生成元（如BAGEL）一个统一的多模态理解与生成模型，支持计算机文本输出和视觉生成。

3.AR+DiT（例如 Qwen-Omni）一个原生端到端全模态LLM，用于多模态输入（文本/图像/音频/视频......）和输出（文本/音频......）。

基于上面三种观察，vLLM-Omni的架构设计如下：

该框架通过多种优化技术实现高性能：

利用继承自vLLM的高效KV缓存管理。

采用流水线阶段执行重叠以确保高吞吐量。

依赖OmniConnector和跨阶段的动态资源分配。

集成支持扩散加速。这由加速层管理，加速层处理：

    缓存：包含DBCache、TeaCache及第三方集成（如cache-dit）。

    并行性：支持TP、CP、USP和CFG。

    Attention：提供第三方集成接口（例如 FA3、SAGE、MindIE-SD）。

    量化：支持包括FP8和AWQ在内的多种量化实现。

    算子融合：支持自定义和第三方集成。

vLLM-Omni学习

vLLM 被设计用于支持基于文本的自回归生成任务的大型语言模型，为了解决多模态、文本生成和视频生成等任务，vLLM社区推出了全新的vLLM-Omni框架，扩展了它对全模态模型推理和服务的支持。

AI Infra工程师

人工智能

vLLM-Omni是vLLM社区推出的全模态模型推理框架，支持文本、图像、视频和音频处理。它扩展了vLLM的自回归架构，集成扩散变换器(DiT)实现并行生成，提供高效KV缓存管理和多模态输出能力。支持Qwen系列等模型，通过流水线执行、算子融合等优化技术提升性能。

2026新春采购季

tione

文章

问答

视频

教程

学习中心

腾讯云实验室

直播

竞赛

腾讯云代码分析专区

腾讯iOA零信任安全管理系统专区

腾讯云架构师技术同盟交流圈

腾讯云数据库专区

腾讯云智能顾问专区

腾讯云原生专区

腾讯混元专区

腾讯云TCE专区

腾讯云Lighthouse专区

腾讯云HAI专区

腾讯云Edgeone专区

腾讯云存储专区

腾讯云智能专区

腾讯轻联专区 

腾讯云开发专区

TAPD专区

腾讯轻量云游戏服专区

腾讯云最具价值专家

腾讯云架构师技术同盟

腾讯云创作之星

腾讯云开发者先锋

腾讯云代码助手

云原生构建

TAPD 敏捷项目管理

Cloud Studio

SDK中心

API中心

命令行工具

涵盖代码开发、场景应用、自动测试全流程，助你从零构建专属AI助手

一站式MCP教程库，解锁AI应用新玩法

聚焦“写作效率、视觉美观与运行性能”三方面进行全面升级，为您提供更高效、稳定的创作环境

社区富文本&Markdown编辑器全新改版上线，欢迎大家体验!

诚挚邀请您参与本次调研，分享您的真实使用感受与建议。您的反馈至关重要，感谢您的支持与参与！

vLLM-Omni学习

vLLM-Omni学习

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐