智谱GLM-4.5-Air量化大模型，本地部署，实测

大家好，我是 Ai 学习的老章

之前对智谱 AI 的关注比较少，最近发布的的 GLM4.6 非常能打

GLM-4.6 的代码生成能力已达到国际领先水平，与 Claude Sonnet 4 模型持平，是国内目前表现最优的编程专用模型，在综合性能评估中位列全球第四，与阿里巴巴旗下 Qwen3-Max-Preview 模型并列中国区榜首，同时摘得全球开源模型桂冠。

国内大模型开源这一块，除了 DeepSeek 和 Qwen，其实智谱也很能打的

之前偶尔关注智谱，是看到美国商务部把它列为实体清单，还有 OpenAI 点名它是全球战略的竞争对手

OpenAI 旗下 Global Affairs 账号近日发布专题博文《Chinese Progress at the Front》，罕见聚焦中国 AI 企业发展动态。文中明确将 2019 年成立的智谱 AI 定义为 "中国大模型领域新锐代表"，强调其通过良性竞争构建的技术生态，已成为中国打造自主 AI 体系的核心力量。

OpenAI 旗下 Global Affairs 账号近日发布专题博文《Chinese Progress at the Front》，罕见聚焦中国 AI 企业发展动态。文中明确将 2019 年成立的智谱 AI 定义为 "中国大模型领域新锐代表"，强调其通过良性竞争构建的技术生态，已成为中国打造自主 AI 体系的核心力量。

但是 GLM-4.6 本地部署还是有点成本太高

原版 714GB、FP8 版本模型文件也 355GB 了

倒是 GLM-4.5-AIR 有了比较靠谱的量化版本——GLM-4.5-Air-AWQ-4bit，它的模型文件只有 64GB 不到（GLM-4.5、GLM-4.5-Air、GLM-4.5-Air-FP8 的模型文件大小分别是 717GB、221GB、113GB）

国内镜像：https://modelscope.cn/models/cpatonn-mirror/GLM-4.5-Air-AWQ/files

国内镜像：https://modelscope.cn/models/cpatonn-mirror/GLM-4.5-Air-AWQ/files

GLM-4.5系列模型是为智能代理设计的基础模型，GLM-4.5-Air 采用了更紧凑的设计，总共有1060 亿参数，120 亿活跃参数。在 12 个行业标准基准测试中的全面评估中，GLM-4.5-Air 在保持卓越效率的同时，也取得了具有竞争力的59.8分。

本地部署

下载模型：modelscope download --model cpatonn-mirror/GLM-4.5-Air-AWQ --local_dir ./dir

vllm 启动模型，我用一张 141GB 的 H200 显卡拉起模型，启动脚本如下：

启动很顺利

先来做一个性能测试，速度还行，加大 max-num-seqs 还能把总平均 Token 生成速度拉更高，这也是用vllm启动safetensors，而非选择llama.cpp启动GGUF的好处。不要再用Ollama，不要再用llama.cpp

简单看下代码和现实世界理解能力：用大模型生成人体器官结构图

GLM-4.5-air

ChatGPT

GLM-4.6

DeepSeek-V3.2

看官方测评数据和市面上的评价，GLM-4.5-Air 总体看性价比还是很高的，比肩而立 DeepSeek-R1 了，运行成本却低 N 多档次