前往小程序,Get更优阅读体验!
立即前往
发布
社区首页 >专栏 >本地部署大模型!超级简单,一分钟即可完成!

本地部署大模型!超级简单,一分钟即可完成!

原创
作者头像
MGS浪疯
发布2024-12-13 22:46:30
发布2024-12-13 22:46:30
6230
举报
文章被收录于专栏:MGS浪疯 BlogMGS浪疯 Blog

Ollama安装教程

Windows

首先打开ollama官网https://ollama.com/

2.png
2.png

这里使用的是windows,直接选择下载即可

2.png
2.png

文件下载好后之间打开点击安装即可

3.png
3.png

默认会安装到c盘,请预先给c盘足够的空间来保证环境安装和模型下载所需空间充足

安装完成后打开windows PowerShell

可以输入ollama来验证是否安装成功或者变量配置是否有问题

4.png
4.png

模型下载

这里以wizardlm2模型为例,我们只需要在命令行中输入ollama run wizardlm2:7b即可

5.png
5.png

等待模型下载完毕即可

纯净系统启动可能存在vc运行库缺少问题

image.png
image.png

如果出现这个问题,安装vc运行库即可

命令行调用模型

再次输入 ollama run 模型名称 即可启动

7.png
7.png

出现 send a message即为启动成功

单条文本直接输入回车即可调用

8.png
8.png

如果涉及多条文本的输入,则需要在文本开始前和结束位置输入"""

如下图

9.png
9.png

(多行内容的提示词)

前后加入"""

10.png
10.png

输入到PowerShell后效果

11.png
11.png

Linux安装教程

首先打开ollama官网,系统选择Linux(这里使用的是debian12,其他可能略有差异)

复制Linux安装脚本

image.png
image.png

随后粘贴到终端直接执行即可

4.png
4.png

执行后会自动进行下载安装

安装完毕后我们可以输入ollama进行验证是否安装成功

3.png
3.png

若能正常输出ollama的内容则安装成功

下载模型与启动模型与windows一样,直接输入ollama run 模型名称即可

这里以gemma:2b模型为例,在终端直接输入 ollama run gemma:2b然后执行即可,就会自动开始下载

2.png
2.png

下载完毕后使用同样的指令即可启动模型,使用方法和windows一样

1.png
1.png

原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。

如有侵权,请联系 cloudcommunity@tencent.com 删除。

原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。

如有侵权,请联系 cloudcommunity@tencent.com 删除。

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
目录
  • Ollama安装教程
    • Windows
    • 命令行调用模型
    • Linux安装教程
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档