首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
MCP广场
社区首页 >专栏 >本地私有化部署 DeepSeek & Dify ,告别“服务器繁忙,请稍后再试”

本地私有化部署 DeepSeek & Dify ,告别“服务器繁忙,请稍后再试”

作者头像
巫山老妖
发布于 2025-06-16 13:39:54
发布于 2025-06-16 13:39:54
42500
代码可运行
举报
文章被收录于专栏:小巫技术博客小巫技术博客
运行总次数:0
代码可运行

前言

DeepSeek 最近实在太火爆了,导致官网对话访问经常提示“服务器繁忙,请稍后再试”。 如下图所示:

DeepSeek访问问题

关于什么是DeepSeek这里就不科普了,自己上网随便查一下就知道了。

DeepSeek

官网:https://www.deepseek.com/

目前DeepSeek最大的问题是访问流量太大,导致用户体验不好,它的深度思考模型和联网能力没有充分发挥出来,不过我相信后续加大投入,这类问题应该能得到缓解。

本文主要面向想在本地部署私有模型的开发同学,打造专属私人AI助手。

前置准备

硬件环境

  • • MacBook Pro(推荐)
  • • CPU >= 2 Core
  • • 内存 >=16GB (推荐)

笔者的电脑配置:

电脑配置

软件环境

  • • Docker
  • • Docker Compose
  • • Ollama
  • • Dify 社区版
  • • ChatBox

注:这里只演示在MacBook的部署过程,WindowsLinux的同学请自行实践。

安装Ollama & 加载模型

什么是Ollama?

Ollama 是一款跨平台的大模型管理客户端(MacOS、Windows、Linux),旨在无缝部署大型语言模型 (LLM),例如 DeepSeek、Llama、Mistral 等。Ollama 提供大模型一键部署,所有使用数据均会保存在本地机器内,提供全方面的数据隐私和安全性。

Ollama 下载页面

官网:https://ollama.com/

下载&加载本地模型

下载安装完ollama后,通过命令行可以查看对应的版本,并可以开始部署你想要的模型,这里选择的是deepseek-r1(默认是7b)。

图片
图片

通过ollama运行DeepSeek R1模型

图片
图片

deepseek-r1 模型版本

https://ollama.com/library/deepseek-r1

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
ollama run deepseek-r1

安装交互式UI:ChatBox

什么是ChatBox?

Chatbox AI 是一款 AI 客户端应用和智能助手,支持众多先进的 AI 模型和 API,可在 Windows、MacOS、AndroidiOS、Linux 和网页版上使用。 https://chatboxai.app/zh

图片
图片

chatbox 设置

  • • 选择模型提供方:OLLAMA API
  • • 填入API域名:http://127.0.0.1:11434
  • • 选择模型:deepseek-r1:latest

验证本地模型对话

图片
图片

使用deepseek-r1对话结果

至此你已经可以通过chatbox来跟deepseek对话, 如果你只是想体验DeepSeek的功能, 下面关于Dify 大模型服务搭建可以略过。

Dify 搭建个人知识库

什么是Dify?

Dify 是一款开源的大语言模型(LLM) 应用开发平台。它融合了后端即服务(Backend as Service)和 LLMOps 的理念,使开发者可以快速搭建生产级的生成式 AI 应用。即使你是非技术人员,也能参与到 AI 应用的定义和数据运营过程中。

图片
图片

Docker Compose部署

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
git clone https://github.com/langgenius/dify.git
cd dify/docker
cp .env.example .env

参考Docker Compose部署 https://docs.dify.ai/zh-hans/getting-started/install-self-hosted/docker-compose

启动Docker容器

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
docker compose up -d # 如果版本是Docker Compose V1,使用命令:docker-compose up -d

假设遇到以下问题,可以在前面我们安装的Docker Desktop设置里面配置镜像:

图片
图片

镜像失效问题

Docker Engine 配置

图片
图片

增加代理镜像

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
{
  "builder": {
    "gc": {
      "defaultKeepStorage": "20GB",
      "enabled": true
    }
  },
  "experimental": false,
  "registry-mirrors": [
    "https://registry.dockermirror.com",
    "https://docker-0.unsee.tech",
    "https://docker.1panel.live",
    "https://docker.imgdb.de",
    "https://docker.m.daocloud.io",
    "https://docker.tbedu.top",
    "https://image.cloudlayer.icu",
    "https://docker.melikeme.cn",
    "https://cr.laoyou.ip-ddns.com",
    "https://dockerpull.cn",
    "https://hub.fast360.xyz",
    "https://docker.hlmirror.com"
  ]
}

国内代理经常失效或访问超时,这里可以多尝试几次,或者配置新的代理镜像地址。

参考:目前国内可用Docker镜像源汇总(https://www.coderjia.cn/archives/dba3f94c-a021-468a-8ac6-e840f85867ea)

镜像容器启动成功如下所示:

图片
图片

docker容器启动成功截图

Dify 平台添加Ollama模型

1、浏览器访问http://localhost/(默认 80 端口),进入Dify。

2、首次进入初始化设置账号密码

3、点击 Dify 平台右上角头像-> 设置 -> 模型供应商,选择Ollama,点击“添加模型

图片
图片
图片
图片

添加 Ollama

  • • 模型名称:deepseek-r1
  • • 基础URL:http://host.docker.internal:11434
图片
图片

Ollama 模型

Dify 创建应用

图片
图片

Dify 创建聊天助手

Dify支持聊天助手、Agent、文本生成等基础应用,还支持进阶应用Chatflow和工作流。这里我们先简单尝试创建聊天助手,填入基本信息,点击“创建”即可。

Dify 创建知识库

主页选择知识库 -> 创建知识库 -> 上传知识,搭建属于你自己的知识库。

图片
图片

Dify 创建知识库

图片
图片

引用知识库

AI应用引用知识库

至此,基于Dify搭建个人知识库已完成, 如此一来模型可以基于知识库输出更精确的的问答。

写在最后

本文实践了如何通过Ollama 本地部署DeepSeek R1 模型,并且尝试通过Dify 平台来创建个人知识库,进而搭建专属私人的AI 助手。笔者在实践的过程中也收获良多,打开了自己尝试AI工具的思路。

DeepSeek 的爆火估计会让全球科技巨头重新审视“大力(堆芯片,高成本)出奇迹”的问题,一家名不见经传的小公司为什么能够突破创新,而且诞生在中国,难道我们已经摆脱“追随者”的身份了?我相信这只是开始,AI军备竞赛已经开始打响,作为普通人无法避开科技浪潮,如何不让自己随波逐流,或许我们需要躬身入局去体验,思考和探索。

本文参与 腾讯云自媒体同步曝光计划,分享自微信公众号。
原始发表:2025-02-06,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 巫山老妖 微信公众号,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
暂无评论
推荐阅读
行人检测--OpenCV与TensorFlow SSD对比
OpenCV行人检测我们使用HOG特征提取+SVM训练,使用默认API检测,详细了解可参考:https://zhuanlan.zhihu.com/p/75705284
Color Space
2020/01/13
3.4K0
行人检测--OpenCV与TensorFlow SSD对比
使用Tensorflow Object Detection API实现对象检测
Tensorflow Object Detection API自从发布以来,其提供预训练模型也是不断更新发布,功能越来越强大,对常见的物体几乎都可以做到实时准确的检测,对应用场景相对简单的视频分析与对象检测提供了极大的方便与更多的技术方案选择。tensorflow object detection提供的预训练模型都是基于以下三个数据集训练生成,它们是:
OpenCV学堂
2018/07/26
1.1K0
使用Tensorflow Object Detection API实现对象检测
体感游戏 | 手势识别玩飞机大战游戏(四) 使用深度学习实现手势识别玩飞机大战游戏
今天是第四部分:使用深度学习实现手势识别玩飞机大战游戏的功能。这里标题我把TensorFlow实现改为了深度学习实现,这里识别手势主要用到的是目标检测,当然不止TensorFlow可以实现,其他能够做到实时的目标检测网络也很多,比如最近比较火的YoloV4/V5。这里演示我为了方便,就用我以前训练好的SSD手势识别模型,你只需要使用下面的代码,加载模型就可以测试:
Color Space
2021/01/22
1.8K0
Tensorflow Object Detection API 终于支持tensorflow1.x与tensorflow2.x了
基于tensorflow框架构建的快速对象检测模型构建、训练、部署框架,是针对计算机视觉领域对象检测任务的深度学习框架。之前tensorflow2.x一直不支持该框架,最近Tensorflow Object Detection API框架最近更新了,同时支持tensorflow1.x与tensorflow2.x。其中model zoo方面,tensorflow1.x基于COCO数据集预训练支持对象检测模型包括:
OpenCV学堂
2020/09/08
1.2K0
Tensorflow Object Detection API 终于支持tensorflow1.x与tensorflow2.x了
tensorflow object detection API使用之GPU训练实现宠物识别
之前写过几篇关于tensorflow object detection API使用的相关文章分享,收到不少关注与鼓励,所以决定再写一篇感谢大家肯定与支持。在具体介绍与解释之前,首先简单说一下本人测试与运行的系统与软件环境与版本
OpenCV学堂
2019/11/13
2.4K1
基于OpenCV与tensorflow实现实时手势识别
基于OpenCV与tensorflow object detection API使用迁移学习,基于SSD模型训练实现手势识别完整流程,涉及到数据集收集与标注、VOC2012数据集制作,tfrecord数据生成、SSD迁移学习与模型导出,OpenCV摄像头实时视频流读取与检测处理,整个过程比较长,操作步骤比较多,这里说一下主要阶段与关键注意点。
OpenCV学堂
2018/09/29
5.5K1
基于OpenCV与tensorflow实现实时手势识别
ubunu16.04 TensorFlow object detection API 应用配置
TensorFlow object detection API应用–配置 主要参考 : https://github.com/tensorflow/models/blob/master/research/object_detection/g3doc/installation.md https://www.cnblogs.com/zongfa/p/9662832.html
用户1148525
2019/05/26
5750
tensorflow Object Detection API使用预训练模型mask r-cnn实现对象检测
Mask R-CNN是何凯明大神在2017年整出来的新网络模型,在原有的R-CNN基础上实现了区域ROI的像素级别分割。关于Mask R-CNN模型本身的介绍与解释网络上面已经是铺天盖地了,论文也是到处可以看到。这里主要想介绍一下在tensorflow中如何使用预训练的Mask R-CNN模型实现对象检测与像素级别的分割。tensorflow框架有个扩展模块叫做models里面包含了很多预训练的网络模型,提供给tensorflow开发者直接使用或者迁移学习使用,首先需要下载Mask R-CNN网络模型,这个在tensorflow的models的github上面有详细的解释与model zoo的页面介绍, tensorflow models的github主页地址如下: https://github.com/tensorflow/models
OpenCV学堂
2018/09/29
5.8K2
tensorflow Object Detection API使用预训练模型mask r-cnn实现对象检测
MaskRCNN 基于OpenCV DNN的目标检测与实例分割
这里主要记录基于 OpenCV 4.x DNN 模块和 TensorFlow MaskRCNN 开源模型的目标检测与实例分割 的实现.
AIHGF
2019/05/13
1.9K0
MaskRCNN 基于OpenCV DNN的目标检测与实例分割
Python 数据科学入门教程:TensorFlow 目标检测
你好,欢迎阅读 TensorFlow 目标检测 API 迷你系列。 这个 API 可以用于检测图像和/或视频中的对象,带有使用边界框,使用可用的一些预先训练好的模型,或者你自己可以训练的模型(API 也变得更容易)。
ApacheCN_飞龙
2022/12/01
1.5K0
Python 数据科学入门教程:TensorFlow 目标检测
利用Tensorflow构建自己的物体识别模型(一)
利用Tensorflow训练搭建自己的物体训练模型,万里长征第一步,先安装tensorflow。
月小水长
2019/07/31
6270
利用Tensorflow构建自己的物体识别模型(一)
Faster RCNN 基于 OpenCV DNN 的目标检测实现
在前面已经测试过 YOLOV3 和 SSD 基于 OpenCV DNN 的目标检测实现,这里再简单实现下 Faster RCNN 基于 DNN 的实现.
AIHGF
2019/05/13
1.1K0
Faster RCNN 基于 OpenCV DNN 的目标检测实现
深度学习入门篇--手把手教你用 TensorFlow 训练模型
该文介绍了如何使用TensorFlow实现YOLO v2神经网络模型对图像进行分类,并给出了代码示例和训练过程的详细步骤。
付越
2017/10/16
9.9K2
深度学习入门篇--手把手教你用 TensorFlow 训练模型
TensorFlow 目标检测模型转换为 OpenCV DNN 可调用格式
在 OpenCV4.X 版本(OpenCV3.4.1之后版本) 可以采用 cv2.dnn.readNetFromTensorflow(pbmodel, pbtxt) 函数直接调用 TensorFlow 训练的目标检测模型.
AIHGF
2019/05/13
2.6K0
TensorFlow 目标检测模型转换为 OpenCV DNN 可调用格式
目标检测_1
注:上编的路径尽量使用绝对路径,不要使用相对路径和~符号 可能报错 生成frozen_inference_graph.pb文件 及其他文件
Dean0731
2020/05/08
5550
Auto-Tinder-训练AI玩打火机刷卡游戏
Auto Tinder是一个纯粹出于娱乐和教育目的而创建的概念项目。绝不能滥用它来伤害任何人或向平台发送垃圾邮件。自动绑定脚本不应与您的绑定文件一起使用,因为它们肯定违反了绑定服务条款。
代码医生工作室
2019/10/31
1.7K0
Auto-Tinder-训练AI玩打火机刷卡游戏
[Tensorflow] 使用SSD-MobileNet训练模型
因为Android Demo里的模型是已经训练好的,模型保存的label都是固定的,所以我们在使用的时候会发现还有很多东西它识别不出来。那么我们就需要用它来训练我们自己的数据。下面就是使用SSD-MobileNet训练模型的方法。
wOw
2018/09/18
14K3
Mask-RCNN模型的实现自定义对象(无人机)检测
打开标注工具PixelAnnotation 选择好dataset路径之后,顺序开始标注数据即可!
OpenCV学堂
2019/08/09
1.9K2
Mask-RCNN模型的实现自定义对象(无人机)检测
干货 | tensorflow模型导出与OpenCV DNN中使用
Deep Neural Network - DNN 是OpenCV中的深度神经网络模块,支持基于深度学习模块前馈网络运行、实现图像与视频场景中的
OpenCV学堂
2019/04/29
5K0
干货 | tensorflow模型导出与OpenCV DNN中使用
使用TensorFlow一步步进行目标检测(5)
本教程进行到这一步,您选择了预训练的目标检测模型,转换现有数据集或创建自己的数据集并将其转换为TFRecord文件,修改模型配置文件,并开始训练模型。接下来,您需要保存模型并将其部署到项目中。
云水木石
2019/07/01
5520
使用TensorFlow一步步进行目标检测(5)
推荐阅读
相关推荐
行人检测--OpenCV与TensorFlow SSD对比
更多 >
LV.1
这个人很懒,什么都没有留下~
目录
  • 前言
  • 前置准备
  • 安装Ollama & 加载模型
    • 什么是Ollama?
    • 下载&加载本地模型
  • 安装交互式UI:ChatBox
    • 什么是ChatBox?
    • 验证本地模型对话
  • Dify 搭建个人知识库
    • 什么是Dify?
    • Docker Compose部署
    • 启动Docker容器
    • Docker Engine 配置
    • Dify 平台添加Ollama模型
    • Dify 创建应用
    • Dify 创建知识库
  • 写在最后
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档