本地部署阉割版DeepSeek或其他大模型的方法

  本文介绍在Windows电脑中，本地部署DeepSeek等大模型的方法。

  在2025年的年初，DeepSeek横空出世，很多人都第一时间在电脑中本地部署了它（因为官网确实太卡了，经常服务器超时）；我当初也部署了一个，但是部署之后发现很鸡肋：因为只要是在自己电脑上部署的DeepSeek，那么大家肯定选择的就不是其参数数量最多的671b版本（因为这个版本对硬件的要求实在是太高了）；而除了这个版本之外，用其他几个参数版本部署的所谓本地DeepSeek，都不是满血版，而是阉割版——这个阉割版，除了会think一下显得很高级之外，感觉完全没有通义等其他免费浏览器直接访问的大模型好用。

  所以，我当初部署完之后，也一直没有将这个部署过程发出来；但是最近周末正好有空，就还是记录一下（虽然网上已经很多同类的帖子了——但其中不少帖子连自己部署的不是满血版这个事情都说不清楚），如果确实有需要本地部署（比如内网环境使用），或者后期又有其他新的开源大模型需要本地部署尝鲜的，还是可以参考。

  首先，需要下载管理、运行大型语言模型的工具Ollama，其可以帮助我们更容易地在本地或云端环境中加载、运行和测试这些大模型。我们直接进入其官方网站（https://ollama.com/）来下载即可。

  进入上述网站，点击“Download”图标，如下图所示。

  随后，选择自己电脑操作系统对应的版本，如下图所示。

  我这里下载的是Windows版本的。下载完成后，将得到一个.exe格式的安装包，如下图所示。

  双击其即可开始安装Ollama，如下图所示。其中，具体安装过程，大家就按照流程提示来操作即可，这里不再赘述。

  安装完成后，可能找不到Ollama的窗口，此时可以在电脑右下角找到其图标，如下图所示。

  此外，也可以在开始菜单看到其图标，如下图所示。

  随后，我们即可开始下载开源的DeepSeek。在年初DeepSeek爆火后，Ollama官网也直接接入了其下载入口，所以我们可以还回到Ollama的官方网站（https://ollama.com/），并点击左上角的“Models”，如下图所示。

  随后，找到其中的DeepSeek，如下图所示。

  接下来，选择我们需要的版本，如下图所示。其中，不同版本的名称就是其参数数量；满血版的DeepSeek就是最下面的671b版本，而其他参数数量少一些的版本，就是阉割的版本。建议大家按照自己的电脑配置，选择其中的7b或8b版本即可——我当时用了一台配置还算可以，但是已经用了六、七年的笔记本电脑，运行8b版本就非常卡顿了。

  选择版本后，点击下图中右侧的那个标志，即可开始下载。

  下载完成后，Ollama会自动识别到我们的下载，并将其安装、部署到我们本机。我们此时只需要在命令行中，输入如下代码，即可开始运行上述我们下载好的DeepSeek。

ollama run deepseek-r1:8b

  其中，deepseek-r1:8b就是我前面下载的8b版本的DeepSeek；如果大家下载的是其他参数的版本，或者下载的是其他开源的大模型，那么就需要修改一下代码。

  运行上述代码，如下图所示。

  稍等片刻，等待所有进度条完成，就可以在命令行中，和自己本地部署的DeepSeek交流了，如下图所示。

  但是此时，我们只能在命令行中与大模型互动（因为Ollama自身是没有桌面窗口的）；如果希望可以有一个更加可视化的互动界面，我们可以再安装支持在桌面窗口中与大模型交流的工具。

  我一开始是准备用Cherry Studio这个工具的，如下图所示。

  但是，不知道为什么，我当初在其官网一直没有办法下载软件，如下图所示。

  所以，就选择用另一个工具Chatbox AI了。还是一样的，访问其官方网站（https://chatboxai.app/en），并选择下载，如下图所示。

  下载后，同样得到一个.exe格式的安装包，如下图所示。

  随后，双击其开始安装，如下图所示。

  安装完毕后，打开它并选择“使用自己的 API Key 或本地模型”，如下图所示。

  在其中，注意选择“Ollama API”而不是直接选择“DeepSeek API”，如下图所示。因为我们前面是基于Ollama部署的DeepSeek，相当于加了一层中转，所以如果直接选择“DeepSeek API”的话，Chatbox AI是识别不到的。

  随后，选择我们所下载的模型，如下图所示。

  接下来，就可以在Chatbox AI中，用可视化的方法，与DeepSeek交流了，如下图所示。

  至此，大功告成。