DeepSeek-快速搭建Linux版本

运维小路

发布于 2025-02-19 23:21:36

9900

代码可运行

文章被收录于专栏：运维小路运维小路

运行总次数：0

代码可运行

我们上一小节介绍了Win的搭建方法，但是如果要作为长期使用，使用Linux搭建会是一个更好的办法，这也是作为一个Linux运维的觉悟，并且还可以供局域网小伙伴一起用(暂时不考虑性能等问题)。

1.下载ollma

Ollama 是一个开源的大型语言模型（LLM）本地化部署框架，旨在简化用户在本地运行和管理大模型的流程。

https://ollama.com/download/linux

但是这个有一个弊端就是下载很慢，而且如果中途失败只能重新来，所以这里还可以直接去github下载，或者从Win下载上传到Linux服务器里面。

mkdir ollama 
wget https://github.com/ollama/ollama/releases/download/v0.5.11/ollama-linux-amd64.tgz
#也可以本地电脑下载，然后上传到服务器里面

2.解压文件

tar xvf  ollama-linux-amd64.tgz

3.启动ollama

这个是操作启动会占用当前ssh窗口，因为他是前台启动。

#添加环境变量,如果不添加则监听在127.0.0.1
export OLLAMA_HOST=0.0.0.0
./bin/ollama serve

4.下载模型

我们这里还是以最小化的模型，运行成功以后，在控制台其实就可以进行对话。

./bin/ollama run deepseek-r1:1.5b

5.运行对话

6.添加到第三方对话

这里和操作win方法是一样的，只是这里要填写对应的ip地址，这里要注意防火墙配置确保这个端口是可达的，这样我们局域网内的小伙伴都是链接使用。

7.自动化脚本

这里就实现了通过脚本自动启动，给多人使用。如果在考虑开机自启动则更好，真实环境注意路径匹配问题。

#!/bin/bash
# 定义模型名称和版本
MODEL_NAME="deepseek-r1:1.5b"
OLLAMA_PATH="/data/ollama/bin/ollama"
# 设置环境变量以指定监听地址
export OLLAMA_HOST=0.0.0.0
# 启动ollama服务，默认端口
echo "Starting ollama serve on $OLLAMA_HOST with default port..."
$OLLAMA_PATH serve &
SERVE_PID=$!
# 等待几秒钟以确保ollama服务已完全启动
echo "Waiting for ollama serve to start..."
sleep 5
# 检查ollama服务是否已经启动成功（假设默认端口为11434，可以根据实际情况调整）
DEFAULT_PORT=11434
if ! nc -zv 127.0.0.1 $DEFAULT_PORT; then
    echo "Failed to start ollama serve."
    exit 1
fi
echo "ollama serve started successfully."
# 启动模型
echo "Starting model $MODEL_NAME..."
$OLLAMA_PATH run $MODEL_NAME &
MODEL_PID=$!
# 输出启动信息
echo "Model service started with PID $MODEL_PID, listening on $OLLAMA_HOST:$DEFAULT_PORT"

本文参与腾讯云自媒体同步曝光计划，分享自微信公众号。

原始发表：2025-02-19，如有侵权请联系 cloudcommunity@tencent.com 删除

linux