RockyLinux9.5下使用ollama搭建本地AI大模型DeepSeek

yuanfan2012

发布于 2025-02-08 15:26:17

20400

代码可运行

文章被收录于专栏：WalkingCloudWalkingCloud

运行总次数：0

代码可运行

RockyLinux9.5下使用ollama搭建本地AI大模型DeepSeek

一、安装ollama Linux版本

https://ollama.com/download/linux

可以使用一键安装脚本进行安装ollama

curl -fsSL https://ollama.com/install.sh | sh

我这边由于网络原因，使用一键安装脚本速度太慢

采用半手动的方式安装

https://github.com/ollama/ollama/blob/main/docs/linux.md

参考上面的Manual install的部分

先使用下载 https://ollama.com/download/ollama-linux-amd64.tgz 然后修改https://ollama.com/install.sh 脚本中一小段，进行半自动安装ollama

curl -o ollama_install.sh https://ollama.com/install.sh

vim ollama_install.sh

将如下三行改为
#curl --fail --show-error --location --progress-bar \
#    "https://ollama.com/download/ollama-linux-${ARCH}.tgz${VER_PARAM}" | \
    $SUDO tar -xzf ollama-linux-amd64.tgz -C "$OLLAMA_INSTALL_DIR"

意思是不从网络上下载，只接本地解压

然后执行安装脚本

这时Ollama API监听在127.0.0.1上

The Ollama API is now available at 127.0.0.1:11434

vim 修改/etc/systemd/system/ollama.service 在如下位置添加如下行

Environment="OLLAMA_HOST=0.0.0.0:11434"

systemctl daemon-reload
systemctl restart ollama

firewall-cmd --permanent --zone=public --add-port=11434/tcp
firewall-cmd --reload
 
ollama --version

验证olloma是否安装成功

二、使用ollma拉取deepseek模型

https://ollama.com/library/deepseek-r1

这里我选取7b版本约4.7Gb

ollama run deepseek-r1:7b

三、docker部署open-webui图形化界面接入deepseek

yum install -y yum-utils
yum-config-manager --add-repo https://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo
yum install docker-ce docker-ce-cli containerd.io

cat >> /etc/docker/daemon.json << EOF
{
"log-driver": "json-file",
"log-opts": {
"max-file": "3",
"max-size": "500m"
},
"data-root":"/data/docker", 
"bip": "10.112.0.1/24"
}
EOF

systemctl enable docker.service
systemctl restart docker.service

运行open-webui

docker run -d -p 80:8080 -e OLLAMA_BASE_URL=http://192.168.31.98:11434 -v /data/open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

docker logs -f open-webui

等待出现INFO: Uvicorn running on http://0.0.0.0:8080 (Press CTRL+C to quit)的日志时即可浏览器打开open-webui