本地运行RWKV大语言模型，同时支持N、A、I卡和CPU！

本地运行RWKV大语言模型，同时支持N、A、I卡和CPU！

RWKV Runner 提供了一个轻量级的环境，使用户能够在本地轻松运行 RWKV 大模型，并体验多样化的人工智能功能。凭借其仅约10MB的体积（不包括依赖项），RWKV Runner 成为了体验聊天机器人、辅助写作、音乐创作等AI应用的理想工具。

软件特性一览

即插即用的AI体验：无需繁琐设置，即可享受聊天、写作、作曲等AI互动体验。支持聊天机器人预设，以及MIDI设备输入和音轨编辑。

用户友好的界面设计：直观的参数配置界面，丰富的提示信息，多语言支持，主题切换，以及自动在线更新功能。

内置扩展功能：集成WebUI，一键启动Web服务，实现硬件资源共享。内置模型转换工具、下载管理器，以及远程模型检视功能。Windows用户还享有一键LoRA微调功能。

广泛的硬件兼容性：通过预设的多级显存配置，确保软件在不同配置的电脑上均能良好运行。支持通过配置页面将策略切换至CPU / WebGPU，使得AMD、Intel等显卡用户也能流畅使用。

模块化架构：支持前后端分离部署，用户可将RWKV Runner作为客户端使用，或单独部署前端服务、后端推理服务，以及带有WebUI的后端推理服务。

下载与安装指南

下载并解压后，直接双击exe文件即可启动程序。

软件已预置多款模型，选择合适的模型后即可开始体验。

对于 NVIDIA（英伟达）显卡用户，请选择带有“GPU”前缀的模型配置。

对于 AMD 或 Intel 显卡用户，请选择带有“CPU”或“AnyGPU”前缀的模型配置。

功能预览

RWKV Runner 提供了基于RWKV模型的聊天、写作和作曲三大核心功能。

聊天功能

启动聊天机器人，与AI进行互动对话，提出问题或寻求建议。

写作功能

提供文本内容，AI将帮助进行续写、翻译等创作任务。

作曲功能

基于MIDI格式，AI可协助进行乐谱的创作和续写，并提供播放功能。

MIDI（Musical Instrument Digital Interface）是将音乐元素数字化的标准协议，它传递的是音乐信息，如音符、旋律、节奏和效果，而非实际声音。

其他模型下载方式

下载 RWKV 模型有多种方式：

1. 使用RWKV runner内置下载功能（默认方式）

在RWKV runner的“模型”板块，用户可以筛选并直接下载所需的RWKV模型。

注意：下载模型前，请确保勾选了“使用 Hugging Face 镜像源”选项。