首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
MCP广场
社区首页 >专栏 >Ollama【部署 04】Linux环境离线安装Ollama及模型文件(sha256缓存与gguf模型文件)

Ollama【部署 04】Linux环境离线安装Ollama及模型文件(sha256缓存与gguf模型文件)

原创
作者头像
yuanzhengme
发布2025-08-23 18:19:18
发布2025-08-23 18:19:18
5770
举报
文章被收录于专栏:Linux相关Linux相关

@TOC

1.环境说明

有些时候,需要离线进行本地大模型的部署,此次为保证环境离线,我使用的是笔记本电脑安装的虚拟机(系统是openEuler),安装的整个流程笔记本电脑都是断网状态。

2.安装软件

首先要安装 Ollama,下载 ollama-linux-amd64.tgz后解压即可使用,完全可以离线。

3.导入模型

3.1 使用 sha256 缓存

联网时将执行ollama run xxxx下载的模型文件 sha256-6e4c38...复制到其他服务器的 /root/.ollama/models/blobs目录下,其他服务器使用 ollama run xxxx运行相同的模型,实现了模型文件的复用,但离线时报错:

代码语言:bash
复制
pulling manifest
Error: pull model manifest: Get "https://registry.ollama.ai/v2/library/deepseek-r1/manifests/1.5b": dial tcp: 
lookup registry.ollama.ai on xxx.xxx.xxx.x:53: read udp xxx.xxx.xxx.xxx:50447->xxx.xxx.xxx.x:53: i/o timeout

并非是无法离线迁移模型文件,而是流程不对。以 deepseek-r1:1.5b 为例,完整流程如下:

  1. 迁移注册文件

/root/.ollama/models/manifests/registry.ollama.ai/library/文件夹下的 /deepseek-r1/1.5b文件夹和文件复制到其他服务器,其内容如下:

代码语言:json
复制
{
    "config": {
        "digest": "sha256:a85fe2a2e58e2426116d3686dfdc1a6ea58640c1e684069976aa730be6c1fa01",
        "mediaType": "application/vnd.docker.container.image.v1+json",
        "size": 487
    },
    "layers": [
        {
            "digest": "sha256:aabd4debf0c8f08881923f2c25fc0fdeed24435271c2b3e92c4af36704040dbc",
            "mediaType": "application/vnd.ollama.image.model",
            "size": 1117320512
        },
        {
            "digest": "sha256:369ca498f347f710d068cbb38bf0b8692dd3fa30f30ca2ff755e211c94768150",
            "mediaType": "application/vnd.ollama.image.template",
            "size": 387
        },
        {
            "digest": "sha256:6e4c38e1172f42fdbff13edf9a7a017679fb82b0fde415a3e8b3c31c6ed4a4e4",
            "mediaType": "application/vnd.ollama.image.license",
            "size": 1065
        },
        {
            "digest": "sha256:f4d24e9138dd4603380add165d2b0d970bef471fac194b436ebd50e6147c6588",
            "mediaType": "application/vnd.ollama.image.params",
            "size": 148
        }
    ],
    "mediaType": "application/vnd.docker.distribution.manifest.v2+json",
    "schemaVersion": 2
}
  1. 迁移缓存的模型文件(5 个)
  1. 使用命令查看模型列表
代码语言:bash
复制
./ollama ls

NAME                    ID              SIZE    MODIFIED
deepseek-r1:1.5b        a42b25d8c10a    1.1 GB  49 minutes ago

可以看到模型已经迁移成功了。

3.2 使用下载的 gguf 模型

可以去《魔搭社区》下载需要的 gguf 格式的模型文件,这里以最新发布的 gemma3-1b 模型举例,搜索到模型后,选择模型文件,我使用的是 Git 下载,需要先安装 git-lfs 工具。

下载文件:

可以选择适合的版本进行使用,还蛮值的哭一下的,0.3.9版本的 Ollama 无法使用 Gemma3 模型,这里找个较小的 GGUF 模型 orca-mini-3b.gguf进行流程演示。

  1. 添加 Modelfile 文件(模型的配置文件)
代码语言:bash
复制
vim Modelfile

# 文件内容为模型文件的完整路径
FROM <model_path>/<mode_file>

实例

代码语言:bash
复制
vim Modelfile-orca
# 文件内容
FROM ./orca-mini-3b.gguf
  1. 创建模型
代码语言:bash
复制
# 模型名称可自行编写
./ollama create <model_name> -f <path_to_Modelfile>

实例

代码语言:bash
复制
# 运行
./ollama create orca-mini:3b -f Modelfile-orca
# 输出
transferring model data 100%
using existing layer sha256:4c876b7b0994294c677a6a1b375a0c618270f456585b42e443665ca4b89f917a
creating new layer sha256:f523886ce06140cd1fc63379074119b032a55dfaa82123addd15a136d20dca86
writing manifest
success
  1. 使用命令查看模型列表
代码语言:bash
复制
NAME                    ID              SIZE    MODIFIED
orca-mini:3b            7c7761bf092b    2.0 GB  About a minute ago
  1. 查看 /root/.ollama/models/manifests/registry.ollama.ai/library/orca-mini/3b内容
代码语言:json
复制
{
  "config": {
    "digest": "sha256:f523886ce06140cd1fc63379074119b032a55dfaa82123addd15a136d20dca86",
    "mediaType": "application/vnd.docker.container.image.v1+json",
    "size": 263
  },
  "layers": [
    {
      "digest": "sha256:4c876b7b0994294c677a6a1b375a0c618270f456585b42e443665ca4b89f917a",
      "from": "/root/.ollama/models/blobs/sha256-4c876b7b0994294c677a6a1b375a0c618270f456585b42e443665ca4b89f917a",
      "mediaType": "application/vnd.ollama.image.model",
      "size": 1979946720
    }
  ],
  "mediaType": "application/vnd.docker.distribution.manifest.v2+json",
  "schemaVersion": 2
}

4.简单总结

使用 gguf 格式模型 Ollama 也会将其转换,也可以使用转换后的文件进行迁移。

原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。

如有侵权,请联系 cloudcommunity@tencent.com 删除。

原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。

如有侵权,请联系 cloudcommunity@tencent.com 删除。

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
目录
  • 1.环境说明
  • 2.安装软件
  • 3.导入模型
    • 3.1 使用 sha256 缓存
    • 3.2 使用下载的 gguf 模型
  • 4.简单总结
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档