

>瑞莎星睿 O6 (Radxa Orion O6) 拥有高达 28.8TOPs NPU (Neural Processing Unit) 算力，支持 INT4 / INT8 / INT16 / FP16 / BF16 和 TF32 类型的加速。

那么如何使用 CIX P1 NPU SDK 运行基于 NPU 加速推理的人工智能模型和应用，如果你已经拥有了一个硬件设备，NPU SDK 包含 NOE Compiler 与 CIX AI Model Hub, 要获取 SDK 需要通过申请 CIX 早鸟计划获取。 申请链接： [CIX 早鸟计划](https://earlybird.cixtech.com/#/)
## 安装UV环境

为了方便管理Python环境，我们使用UV作为Python的环境管理，你可以通过官方文档进行安装
[安装 | uv 中文文档](https://uv.doczh.com/getting-started/installation/#__tabbed_1_1)
运行以下命令进行安装
```
curl -LsSf https://astral.sh/uv/install.sh | sh
```![image-20251113011549697](https://developer.qcloudimg.com/http-save/yehe-1456138/178e57d75b26add6be4c0b19aab15935.png)
![image-20251113011938888](https://developer.qcloudimg.com/http-save/yehe-1456138/b05da3325f7f730a57afeb59b13cfde0.png)
按照提示添加环境变量
```
source $HOME/.local/bin/env
```## 创建一个Python3.10的环境

我们后面需要用的模型可以从魔搭社区进行下载，并且为了方便后面的开发，建议大家创建一个专属的虚拟环境
```
mkdir work
cd work
mkdir llm
cd llm
uv init --python 3.10
uv run main.py
```![image-20251113223620261](https://developer.qcloudimg.com/http-save/yehe-1456138/5ec8212e66955cd61aa8835572f113da.png)
添加modelscope库，方便我们后面进行模型的下载
```
uv add modelscope
```![image-20251113223827216](https://developer.qcloudimg.com/http-save/yehe-1456138/cc9d23685f4c980edabcb29b62bdedb2.png)
如果速度比较忙，可以在当前目录的project.toml文件中加入如下配置
```
[[tool.uv.index]]
url = "https://pypi.tuna.tsinghua.edu.cn/simple"
default = true
```![image-20251113224113224](https://developer.qcloudimg.com/http-save/yehe-1456138/40cf57d460e4d7fa810a07a039f1b539.png)
![image-20251113224139876](https://developer.qcloudimg.com/http-save/yehe-1456138/a57ec457366da3f808aabf009daea889.png)
## 安装Llama.cpp

克隆仓库
```
git clone https://github.com/ggml-org/llama.cpp.git
```![image-20251113224248350](https://developer.qcloudimg.com/http-save/yehe-1456138/0934fe1a79900405bb939c19556fb1d1.png)
偶尔github连接会比较慢，肯能需要上点魔法
![image-20251113224448251](https://developer.qcloudimg.com/http-save/yehe-1456138/c91b3054c132f557f0fdf9e3658fd612.png)
![image-20251113225321873](https://developer.qcloudimg.com/http-save/yehe-1456138/4c431063761bf8dbd610dd3421200e98.png)
编译 llama.cpp
```
sudo apt install cmake gcc g++
```
![image-20251113231223754](https://developer.qcloudimg.com/http-save/yehe-1456138/796e775482fe13eb2ecc8e2a828ac6ff.png)
编译项目
```
cd llama.cpp
cmake -B build
```![image-20251113231940859](https://developer.qcloudimg.com/http-save/yehe-1456138/2337cf2a8a6558bcaa5c353696f0f2df.png)
如果看到上面的报错，可以运行下面的命令安装,然后在build
```
sudo apt install curl libcurl4-openssl-dev
```![image-20251113232141898](https://developer.qcloudimg.com/http-save/yehe-1456138/b7981907faeba49ac0f3305170c748e5.png)
继续输入`cmake --build build --config Release`
![image-20251113232229742](https://developer.qcloudimg.com/http-save/yehe-1456138/0024b6148ac3ecf671bfdab81b871833.png)
在编译的同时，我们可以去魔搭社区去下载GGUF格式的模型，为后面的体验做准备
新开一个终端，然后运行下面的命令进行模型的拉取
这里我们以[通义千问3-8B-GGUF · 模型库](https://www.modelscope.cn/models/Qwen/Qwen3-8B-GGUF)为例
```
cd work/llm/
uv run modelscope download --model Qwen/Qwen3-8B-GGUF --local_dir ../models/Qwen/Qwen3-8B-GGUF
```![image-20251113232946487](https://developer.qcloudimg.com/http-save/yehe-1456138/38adee50b9bfa52b480ae65325833de8.png)
等待模型完成下载。于此同时我们之前的build工作也完成了
![image-20251113233215270](https://developer.qcloudimg.com/http-save/yehe-1456138/716e2d93fd74bf3bdac11fb1a7c70e30.png)
>其实如果你使用的和我的型号一样的话，推荐用如下的命令进行build，它对硬件有优化
`cmake -B build -DGGML_NATIVE=OFF -DGGML_CPU_ARM_ARCH=armv9-a+i8mm+dotprod -DGGML_CPU_KLEIDIAI=ON`

![image-20251113233423533](https://developer.qcloudimg.com/http-save/yehe-1456138/e17537dfb4f79829fc4ee489a360fcca.png)
## 推理测试

当我们的模型下载完成后如下
![image-20251113233721991](https://developer.qcloudimg.com/http-save/yehe-1456138/e5030248a07d24df166cd8780f811d35.png)
运行如下命令进行推理测试
```
cd build/bin
./llama-cli -m ../../../../models/Qwen/Qwen3-8B-GGUF/Qwen3-8B-Q5_K_M.gguf
```![image-20251113233839270](https://developer.qcloudimg.com/http-save/yehe-1456138/8eac49ff64b7e4b6f65d996c32cbce6d.png)
>-m 后面接的是你模型保存的位置

![image-20251113234047579](https://developer.qcloudimg.com/http-save/yehe-1456138/98c8c98a6bd77838b0ff142084f9fee4.png)
![image-20251113234450159](https://developer.qcloudimg.com/http-save/yehe-1456138/fec0ce97b5c7a4dd9847fcfff66c9aaf.png)
我这边运行后会卡死，于是决定换一个再小一点的模型试试
```
uv run modelscope download --model Qwen/Qwen3-4B-GGUF --local_dir ../models/Qwen/Qwen3-4B-GGUF
```![image-20251113235241214](https://developer.qcloudimg.com/http-save/yehe-1456138/92e35989b5b0a02a2b695ed40c863584.png)
运行推理命令
```
./llama-cli -m ../../../../models/Qwen/Qwen3-4B-GGUF/Qwen3-4B-Q4_K_M.gguf
```![image-20251113235421470](https://developer.qcloudimg.com/http-save/yehe-1456138/c90fd7bba8be682d2fbbafdac5df8d65.png)
依然还是会卡退掉。PS：突然发现8B的运行错版本了，应该是Q4_K_M才对。但并不影响闪退
换1.7B的再试试
```
uv run modelscope download --model Qwen/Qwen3-1.7B-GGUF --local_dir ../models/Qwen/Qwen3-1.7B-GGUF
```![image-20251114000520083](https://developer.qcloudimg.com/http-save/yehe-1456138/1dfb0f0a9e22a6e565a52697ac0e5ead.png)
运行推理命令
```
./llama-cli -m ../../../../models/Qwen/Qwen3-1.7B-GGUF/Qwen3-1.7B-Q8_0.gguf
```![image-20251114000640983](https://developer.qcloudimg.com/http-save/yehe-1456138/1b78baa60433d3e91895f1d1c98b24b2.png)
很好正常启动了，尝试对话一下
![image-20251114000742927](https://developer.qcloudimg.com/http-save/yehe-1456138/ce5b118a100ab10d2f1186310ab4b6f9.png)
运行了一下，可是刚刚思考一点就闪退了，至此我怀疑可能是电源的问题。
更换了电源后，可以进行正常对话了
![image-20251114001121912](https://developer.qcloudimg.com/http-save/yehe-1456138/5a3b672c0403313b242a0c54b744164f.png)
做一下GGUF 基准测试看看
```
./llama-bench -m ../../../../models/Qwen/Qwen3-1.7B-GGUF/Qwen3-1.7B-Q8_0.gguf
```![image-20251114001448227](https://developer.qcloudimg.com/http-save/yehe-1456138/32ccd95436bd8dfa144d3a03166b5766.png)
懂行的朋友可以点评一下。
我有理由怀疑自强的闪退也是由于电源的问题，于是我测试了一下，果然如此
**4B效果**
![image-20251114001822323](https://developer.qcloudimg.com/http-save/yehe-1456138/2c4e908d222962fa6e06b3e2ea54ed91.png)
![image-20251114002223007](https://developer.qcloudimg.com/http-save/yehe-1456138/1a510502cb5f61cc8b4f7b8132cc612c.png)
**8B效果**
![image-20251114002650325](https://developer.qcloudimg.com/http-save/yehe-1456138/2f37b5bded31d0b37e6021be030d8df9.png)
![image-20251114003551414](https://developer.qcloudimg.com/http-save/yehe-1456138/cbe3e9b25815fbe3f82c9d8b0f414495.png)
各项参数的含义

|段名|含义|
|:-:|:-:|
|PP|Prompt Tokens：每个输入样本的 prompt 长度（token 数）|
|TG|Text Generation Tokens：每个样本生成的 token 数|
|B|Batch Size：同时推理的输入样本数（并发）|
|N_KV|KV Cache 数量 = (PP + TG) × B|
|T_PP s|Prompt 处理时间（秒）|
|S_PP t/s|Prompt 阶段吞吐率（tokens/s）|
|T_TG s|生成阶段耗时（秒）|
|S_TG t/s|生成阶段吞吐率|
|T s|总时间（秒）|
|S t/s|总体吞吐率（PP+TG×B 的 token/s）|


----
今天我们一起在这个主板上成功的运行了Qwen3-8B, Qwen3-4B, Qwen3-1.7B的量化版本，总体体验下来还是可以进行简单的使用，后续我们有时间会和大家一起在这个开发板上做一些工程上的尝试，敬请期待。

瑞莎星睿 O6 (Radxa Orion O6) 拥有高达 28.8TOPs NPU (Neural Processing Unit) 算力，支持 INT4  INT8  INT16  FP16  BF16 和 TF32 类型的加速。

瑞莎星睿 O6 (Radxa Orion O6)  运行大模型

测试开发工程师

硬件

人工智能

开发工具

瑞莎星睿O6搭载28.8TOPs NPU算力，支持多种数据类型加速。本文详细讲解如何通过CIX P1 NPU SDK运行AI模型，包括环境配置、模型下载及推理测试全过程。实测Qwen3系列模型在开发板上的运行效果，并解决电源导致的闪退问题，为开发者提供实用参考。

Python

ai-class

文章

问答

视频

教程

学习中心

腾讯云实验室

直播

竞赛

腾讯云代码分析专区

腾讯iOA零信任安全管理系统专区

腾讯云架构师技术同盟交流圈

腾讯云数据库专区

腾讯云智能顾问专区

腾讯云原生专区

腾讯混元专区

腾讯云TCE专区

腾讯云Lighthouse专区

腾讯云HAI专区

腾讯云Edgeone专区

腾讯云存储专区

腾讯云智能专区

腾讯轻联专区 

腾讯云开发专区

TAPD专区

腾讯轻量云游戏服专区

腾讯云最具价值专家

腾讯云架构师技术同盟

腾讯云创作之星

腾讯云开发者先锋

腾讯云代码助手

云原生构建

TAPD 敏捷项目管理

Cloud Studio

SDK中心

API中心

命令行工具

涵盖代码开发、场景应用、自动测试全流程，助你从零构建专属AI助手

一站式MCP教程库，解锁AI应用新玩法

聚焦“写作效率、视觉美观与运行性能”三方面进行全面升级，为您提供更高效、稳定的创作环境

社区富文本&Markdown编辑器全新改版上线，欢迎大家体验!

诚挚邀请您参与本次调研，分享您的真实使用感受与建议。您的反馈至关重要，感谢您的支持与参与！

社区新版编辑器体验调研

瑞莎星睿 O6 (Radxa Orion O6)  运行大模型-腾讯云开发者社区-腾讯云

瑞莎星睿 O6 (Radxa Orion O6) 运行大模型

瑞莎星睿 O6 (Radxa Orion O6) 运行大模型

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐