前言
网络组建不易,学习网络知识就要循序渐进,别急,看看这个文章,掌握如何通过 、、、络! 作者:神的孩子都在歌唱
我们经常为海量文档找不到关键内容而烦恼,那么可以使用AI 帮忙轻松检索个人笔记,并且还能优化我们的文章,以我们的风格生成文章。今天,我来教你用 Ollama 和 MaxKB 搭建一个属于自己的 AI 知识库,让你的知识随时为你服务. Ollama 作为轻量级模型管理平台,可以快速安装、运行多种 AI 模型,如 DeepSeek-R1、Llama3 等。本文将手把手教你如何:
✅ 安装 Ollama ✅ 运行 DeepSeek-R1 模型 ✅ 配置 ChatBox 客户端 ✅ 构建 MaxKB 知识库
开源地址: Ollama 官方文档
下载并解压 Ollama 安装包:
curl -L https://ollama.com/download/ollama-linux-amd64.tgz -o ollama-linux-amd64.tgz
sudo tar -C /usr -xzf ollama-linux-amd64.tgz
安装成功后,/lib 和 /bin 文件夹下将生成相应的文件。
ollama serve
查看版本号确认安装是否成功:
ollama -v
sudo useradd -r -s /bin/false -U -m -d /usr/share/ollama ollama
sudo usermod -a -G ollama $(whoami)
创建 ollama.service
文件:
sudo nano /etc/systemd/system/ollama.service
添加以下配置:
[Unit]
Description=Ollama Service
After=network-online.target
[Service]
ExecStart=/usr/bin/ollama serve
User=ollama
Group=ollama
Restart=always
RestartSec=3
Environment="PATH=$PATH"
Environment="OLLAMA_HOST=0.0.0.0:11434" # 暴露端口,方便外部访问
[Install]
WantedBy=multi-user.target
sudo systemctl daemon-reload
sudo systemctl start ollama
sudo systemctl enable ollama
模型版本 | 参数量 | 内存占用(近似) | 推理速度(参考) | 适用场景 |
---|---|---|---|---|
DeepSeek-R1 1.5B | 1.5B | ~1.2GB(FP16) | 极快(低端GPU/CPU) | 轻量任务、嵌入式设备、快速响应 |
DeepSeek-R1 7B | 7B | ~5GB(FP16) | 快(中端GPU/CPU) | 本地开发、对话机器人、文本生成 |
DeepSeek-R1 14B | 14B | ~12GB(FP16) | 中等(高端GPU) | 高性能需求、复杂推理、代码补全 |
DeepSeek-R1 32B | 32B | ~24GB(FP16) | 较慢(需高端GPU) | 专业任务、大规模数据处理、研究 |
模型地址: https://ollama.com/library/deepseek-r1:1.5b
ollama run deepseek-r1:1.5b
安装完成后,可以直接开始提问!
curl http://192.168.235.131:11434/api/chat -d '{
"model": "deepseek-r1:1.5b",
"messages": [
{ "role": "user", "content": "你好" }
]
}'
命令 | 作用 | 示例 |
---|---|---|
ollama pull <模型名> | 下载模型 | ollama pull deepseek-r1:7b |
ollama list | 查看已安装的模型 | ollama list |
ollama rm <模型名> | 删除本地模型 | ollama rm llama3:8b |
ollama cp <源模型> <新模型> | 复制模型(用于自定义) | ollama cp deepseek-r1:7b my-r1 |
命令 | 作用 | 示例 |
---|---|---|
ollama run <模型名> | 运行模型并进入交互对话 | ollama run deepseek-r1:7b |
ollama run <模型名> "<提示词>" | 直接执行单次推理 | ollama run deepseek-r1:7b "你好!" |
Ctrl+D | 退出交互模式 | (在交互界面按组合键) |
命令 | 作用 | 示例 |
---|---|---|
ollama create <模型名> -f Modelfile | 基于 Modelfile 创建自定义模型 | ollama create my-r1 -f ./Modelfile |
ollama show <模型名> --modelfile | 查看模型的 Modelfile 配置 | ollama show deepseek-r1:7b --modelfile |
ChatBox 官网: Chatbox AI
下载安装后,你就可以在本地轻松使用 DeepSeek-R1 模型进行交互。
MaxKB 文档: MaxKB 官方文档
按照文档配置 MaxKB 环境,并添加 Ollama 模型。
随意填写 API Key,模型与 Ollama 连接。
⚡ DeepSeek-R1 1.5B: 响应速度快,但逻辑简单,有点“呆瓜”。 🏆 DeepSeek-R1 32B: 逻辑推理能力更强,回答质量显著提升,适合高端 AI 应用。
作者:神的孩子都在歌唱 本人博客:https://blog.csdn.net/weixin_46654114 转载说明:务必注明来源,附带本人博客连接